はじめに アップデート内容 Amazon Aurora PostgreSQL互換エディションがアップデート 拡張機能追加 1. 全文検索を高速化するためのpg_bigm拡張機能をサポート 2. 時間やシリアルIDベースのテーブルパーティショニングを管理するためのpg_partman拡張機能をサポート 3. データベースジョブをスケージュールするためのpg_cron拡張機能をサポート 4. PostgreSQLシステム統計にアクセスするためのpg_proctab拡張機能をサポート 最後に はじめに 今回は、

こんにちは。ミイダスVPoEの大谷です。この度、パーソルグループ 横断のAWS合同勉強会を開催しました。グループ内でAWSを使っているチームやクラウド活用を推進しているチームが増えたので、情報共有の目的と、グループでテクノロジーをもっと盛り上げていきたという思いで今回企画をしました。ミイダスでは「巨大データベースの運用とデータレイク」というテーマで府川が登壇しましたので、その内容についてご紹介します。

はじめに 技術広報の yayawowo です。 2021年度3本目のブログ投稿となります。 システム構築だけでなく、保守から運用に至るまで Linux コマンドを使う機会は多いのではないのでしょうか。 ただ、頻繁に Linux コマンドに触れていないと忘れてしまう方も多いはず…。（私は良く忘れます。笑） そこで今回は、 よく使う Linux コマンド を操作別に一覧表にまとめました。 このブログを見れば基本的なことも解決できるよう、 Linux コマンドのオプションや便利機能も紹介しておりますので、是非ご

こんにちは、上野です。 AWS認定試験のひとつである、認定データベースの本を書きました。2021/6/17発売予定で、現在予約可能な状態です。 私は認定セキュリティ対策本に引き続き、2回目の執筆でした。 要点整理から攻略する『AWS認定 データベース-専門知識』 (Compass Booksシリーズ)作者:NRIネットコム株式会社,佐々木 拓郎,上野 史瑛,小西 秀和,小林 恭平マイナビ出版Amazon 本書は認定試験の合格を主な目的としていますが、AWSにおけるデータベースサービスを網羅的に紹介しており

こんにちは、BASE株式会社Data Strategyチームの杉です。 ショッピングアプリ「BASE」では、検索にAmazon Cloudsearchを使用していました。今回、検索基盤をAmazon Elasticsearch Service(以下、ES)に移行し、Data Strategyチームで管理をする方針にしました。 この記事では商品が更新された際などにどのように検知し、データをESにいれるようにしたかなど、基盤の部分をメインにご紹介をします。 1. 背景 検索は新しいショップに出会うきっかけを作

介護や医療、ヘルスケア、シニアライフの領域で高齢社会の情報インフラを構築している株式会社エス・エム・エス（以下、SMS）のエンジニアの神谷です。コードを書く以外にも、採用などの組織づくり、開発環境整備など幅広く仕事をしています。 自分がSMSに入社したタイミングでは、開発現場にはよくある、開発環境がアップデートされていない、デプロイのためのコストが高く一度のリリースが大きくなってしまうなど「技術的負債」がたまっており、どのように負債を解消していくかを模索していました。 今回は、技術的負債の解消にどう取り組

はじめに こんにちは。マイグレーションチームの藤本です。 この記事では、 先日のリニューアル に伴って導入したBackends For Frontends（以下、BFF）で、Redisを使ったキャッシュの事例をご紹介します。キャッシュを導入する際に起きる問題とその回避策について、サーバーサイドのアプリケーションで行った対策をもとに紹介していきます。 ZOZOTOWNリニューアルとBFF ZOZOTOWNで導入したBFFは、複数のAPIのレスポンスをフロントエンドが必要とする形式に集約して返却することを主な

小西秀和です。 2020年度に続き2021年、2022年、2023年もJapan AWS All Certifications Engineer(旧称：APN ALL AWS Certifications Engineer)、Japan AWS Top Engineer(Services) (旧称：APN AWS Top Engineer)に選出していただきました。これも多くの方に読んでいただいたAWS認定記事に依るところが大きいと思いますが、今後はAWS認定以外の記事も書いていこうと思います。まずはデー

はじめに こんにちは、スタメンの松谷( @uuushiro )です。この記事では、MySQLのパフォーマンススキーマを利用し、トランザクションの実行時間を調査する方法を紹介します。なお、検証に利用した実行環境は Amazon Aurora MySQL5.7互換 です。 なぜトランザクションの実行時間を調査したいのか 過去に弊社が提供するWEBサービスのデータベースに、ALTER文などのデータ定義言語(以下DDL)をオンラインで実行した際、DDL対象のテーブルへのクエリが「Waiting for table

こんにちは。エンジニアのrs_shoです。 投稿は5回目になります。今回は初心者向けの SQL について説明しようと思います。 はじめに SQLとは 各SQLの命令文 データの検索(閲覧) SELECT文の書き方 SELECT文の使用方法 データの登録(挿入) INSERT文の書き方 INSERT文の使用方法 データの更新(編集) UPDATE文の書き方 UPDATE文の使用方法 データの削除 DELETE文の書き方 DELETE文の使用方法 条件指定 WHERE句の書き方 WHERE句の使用方法 SEL

こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQ

はじめに こんにちは、推薦基盤部の与謝です。ECサイトにおけるユーザの購買率向上を目指し、レコメンデーションエンジンを研究・開発しています。最近ではディープラーニングが様々な分野で飛躍的な成果を収め始めています。そのため、レコメンデーション分野でも研究が進み、精度向上に貢献し始めています。本記事では、ディープニューラルネットワーク時代のレコメンド技術について紹介します。 目次 はじめに 目次 パーソナライズレコメンドとは 深層学習より前の推薦手法 協調フィルタリング Matrix Factorizatio

こんにちは。アーキテクト部の廣瀬です。 弊社ではサービスの一部にSQL Serverを使用しており、BigQuery上のデータ基盤へテーブルを連携しています。連携の仕組みは非常によくできているものの、データ不整合や遅延が発生し得るという課題を抱えていました。しかし、SQL Serverのスナップショット分離レベルを導入することでそれらを解決できました。本記事では、抱えていた課題および解決までの流れと、スナップショット分離レベルを導入する際に気を付ける点を紹介します。 データ基盤連携の方法と課題 データ基盤

はじめに スクリプト 1. Amazon VPC Flow LogsがAmazon Athenaと統合可能に 2. AWS BatchがジョブレベルでEFSボリュームをサポート 4. CloudFormationでAWS Budgets予算アクションのサポートが可能に 5. Amazon Comprehendが、カスタムモデルに対するIAM Condition KeyとCMKのサポート 6. JDBCをサポートするデータベースや、Amazon Redshiftのデータを、AWS Glue DataBrew

品質改善推進ユニット 品質統括グループの岡です。 社内の開発が円滑に効率よく進められるような仕組みづくりや、システムやプロセスの品質向上のための活動をしています。 昨年より始めた取り組みを紹介いたします。 きっかけ LIFULLでは、常に新しいことに挑戦し、スピード感を持って日々開発を進めていける土壌があります。 一方で、組織も大きくなり運営するサービスも増加してきたこともあり、開発チーム、各プロジェクト、システムの状況を把握することが難しくなってきました。 そんな状況の中で、情報をもっと早くキャッチアッ