8/21（土）に開催された ISUCON 11 予選に BASE から4チームが参加しました。 参加者の感想をお届けします！ チーム「牡蠣に当たる時の効果音→カキーン」 BASEバックエンドチームの @cureseven です。このチームはエンジニアコミュニティのメンバーから募ってできたチームであり、BASEからは私のみ参加しています。 ISUCON11では31位 92336点でした。ISUCONに向けて 16回の練習 を重ねてきましたが、予選敗退という結果に終わり非常に悔しいです。 やったことの詳細は

こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)です。しかし、そのアーキテクチャを採用したがゆえに権限モデルが複雑化し、初心者にとって理解の難しい挙動をすることもあります。この記事ではBi

2021 年 8 月 19 日(木)に開催された、AWS Innovate – Data Editionにて、 CTOの大谷が「転職サービスにおけるデータ分析基盤の構築事例」というテーマで、ミイダス インフラチームのチャレンジについて発表しました。セッション概要

こんにちは。クルーズ株式会社CTOの鈴木です。   以前の「 SHOPLISTのシステムをモダンなアーキテクチャに変えようとしたら予想以上に闇が深かった話   」でも書いたのですが、現行のSHOPLISTにおけるOSや ミドルウェア がとにかく古い状態でした。 今回はOS ミドルウェア をバージョンアップした話について共有していこうと思います。 OS/ ミドルウェア のバージョンアップはインフラ的な山場の一つです。 CentOS の6.4は2020年の11月でサポート終了、PHP5.4は2015年に終了し

はじめに はじめまして、2021年4月新卒入社の土屋( @hrktcy )です。バックエンドエンジニアとして6月にテクノロジーセンター Eng6G に所属しました。 背景 Eng6G では スマプレチャレンジ と呼ばれるサービスを、サーバレスなシステムを構築して開発・保守・運用しています。またバックエンドには Go を採用しており、比較的モダンな技術スタックによるプロダクト開発が行われています。 [参考]mediba に入社したらアジャイル志向のチームで最高だった件〜モブワーク無双でテレワークを超越します

こんにちは。クルーズ株式会社CTOの鈴木です。 前回の投稿「 SHOPLISTのシステムをモダンなアーキテクチャに変えようとしたら予想以上に闇が深かった話 」の続きです。 レガシーシステム 脱却のため、まずは リファクタリング でできる限りのことをする。という話なのですが、これは方針を決めたにすぎません。 今回は、SHOPLISTにおいて レガシーシステム 脱却のためにどのような計画を立てて、何からどのように進めていたかについて共有していこうと思います。   まずは 兵站 （サポートとして投下できるヒト・

こんにちは。テクノロジー本部の稲垣です。 LIFULLでは、提供するサービスによって、様々なDBが稼働しています。 異なるDBエンジン間でのデータ移行が必要となるプロジェクトが立ち上がることとなり、AWSが提供しているAWS Database Migration Service（AWS DMS）による検証を行う機会がありました。 www.lifull.blog AWS Database Migration Service（AWS DMS）がリリースされて間もないころに、一度検証目的で使ったことがありました

こんにちは、ECプラットフォーム部の権守です。普段はID基盤やAPI Gatewayの開発を行い、ZOZOTOWNのリプレイスに携わっています。 本記事では、ID基盤で開発・導入したMySQL実行計画の簡易検査を行うツールを紹介します。 ツール開発の経緯 RDBにおけるテーブル設計は利用するクエリに応じて適切なインデックスを設定するなど専門的な知識を必要とし、設計できる人が限られてきます。しかし、アプリケーション上で利用されるクエリは機能の追加・改修に伴って日々変化していくため、それら全てに目を通し、漏れ

はじめに DELISH KITCHEN のデータベースについて紹介します。 サービスやバックエンドシステムの全体像については DELISH KITCHEN のサービスとバックエンドシステムのお話 - every Engineering Blog で紹介しています。よろしければご覧ください。 概観 DELISH KITCHEN ではサービスの大半のデータの保存に Amazon RDS を使用しており、データベースエンジンとしては主に MySQL を使用しています。サーバーがいくつかに分かれておりデータベース

こんにちは。ミイダスVPoEの大谷です。この度、パーソルグループ 横断のAWS合同勉強会を開催しました。グループ内でAWSを使っているチームやクラウド活用を推進しているチームが増えたので、情報共有の目的と、グループでテクノロジーをもっと盛り上げていきたという思いで今回企画をしました。ミイダスでは「巨大データベースの運用とデータレイク」というテーマで府川が登壇しましたので、その内容についてご紹介します。

CI部 佐竹です。 本ブログでは、RDS for MySQL で general_log テーブルがクラッシュした場合の対処方法(repair)と、その理由について記載しました。CloudWatch Logs を利用することでクラッシュの回避も可能です。

はじめに こんにちは。SRE部MLOpsチームの中山（ @civitaspo ）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも 全国在宅勤務制度 のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、 Kubeflow を使ったMLOps基盤構築

はじめに Datadog で Mysql の接続監視をする際、 設定ファイルに DB パスワードを直書きしたくないなーと思っていたところ、どうやら以下の「Secrets Management」機能でシークレット値を取得できるとのことなのでやってみました。 公式ドキュメントはこちら 記事目安...15分 はじめに 「Secrets Management」機能 スクリプトについて 概要 動作環境 使い方 シークレットキーの登録 AWS Secrets Manager との連携 pythonモジュールのインスト

はじめに こんにちは、スタメンの松谷( @uuushiro )です。この記事では、MySQLのパフォーマンススキーマを利用し、トランザクションの実行時間を調査する方法を紹介します。なお、検証に利用した実行環境は Amazon Aurora MySQL5.7互換 です。 なぜトランザクションの実行時間を調査したいのか 過去に弊社が提供するWEBサービスのデータベースに、ALTER文などのデータ定義言語(以下DDL)をオンラインで実行した際、DDL対象のテーブルへのクエリが「Waiting for table

こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQ