概要 こんにちは、バンダイナムコネクサスの小林です。 今回は過去のブログでも取り上げた、ゲームタイトル横断分析ダッシュボードのアーキテクチャを見直したプロジェクトについてご紹介します。 2021年にローンチされたこの横断分析ダッシュボードは社内でも非常に好評で、利用者の拡大とともに出てくる様々な要望を取り込み、機能追加を行いながら運用を続けていました。 一方で、このダッシュボードを支えるデータパイプラインを運用するメンバーはごく少数であったため、限られたリソースは機能追加などのリクエスト対応に割かれること

金融IT本部 入社1年目の河岸歩希です。 会社の同期と個人開発に取り組んでいます。 その過程で「LINEのような個別チャット機能」を実装するにあたり、AWSのサーバーレス構成（Lambda ＋ DynamoDB）の採用を検討することになりました。 今回は実際に調査と設計を行う中で得られた気づきについて共有させていただきます。 はじめに 想定読者 本記事の目的 チャット機能の要件 DynamoDBの設計を理解する 基本的な仕組み プライマリキーとパーティション ホットパーティションに注意する データアクセス

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発に将来携わるエンジニアを想定し、これから広告関連のデータを触る予定の方、Airflowで開発予定の方々にとって有益な情報となることを願います。 記事に書いてあること 前回までの記事 第3章ではAirflowコードをできる限り型化して広告データパイプラインを開発したことを紹介しました。 今回の記事 今回は、第3章で触れた「Airflowコードを型化した

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発プロジェクト立ち上げに将来携わるエンジニア、PM、ビジネスサイドのメンバー全員を想定し、これから広告関連のデータを触る予定のエンジニアやPMはもちろん、広告関連のデータに関わりのない方、非エンジニアの方にとっても有益な情報となることを願います。 記事に書いてあること 前回までの記事 前回の第2章では 「1. 出稿している広告のデータを毎日収集し、利用

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 第1章のプロジェクト発足ではプロジェクト発足に至った背景やプロジェクト運営上の工夫についてご紹介しました。 第2章の今回は出稿している広告のデータを毎日収集し、利用しやすく整えるために行なったデータパイプライン開発を紹介していきます。 対象読者はデータ基盤新規開発プロジェクト立ち上げに将来携わるエンジニア、PM、ビジネスサイドのメンバー全員を想定し、これから広告関連のデータを触

はじめに 2025年5月、dbt Labs から新しい実行エンジン dbt Fusion のpublic beta がリリースされました。現在はGA（General Availability）に向けた動きも進んでいます。 dbt Fusion による実行速度の向上やSQLの理解力強化については、すでに多くの場で紹介されていますが、個人的にはデータ分析基盤の拡張において避けて通れない「ELTパイプラインの変更」への寄与に着目しています。 そこで本記事では、dbt Fusion が提供する変更関連の機能に絞り

はじめに こんにちは。Turing MLOpsチームの海老澤です。 自動運転AIを作るためには大規模なデータセットが必要です。 Turingでは「データセントリックAI」の考え方のもと、膨大なセンサーデータを活用し、大容量、高品質かつ多様性のある学習データセットの構築に取り組んでいます。 この大規模なデータセットで学習されたE2E自動運転は都内でも30分ほど走行できるレベルに到達しています。 https://zenn.dev/turing_motors/articles/bc6436727234ad しか

データ戦略部 データプロダクト課 データインフラストラテジーセクションに所属しているデータエンジニアの藤井です。 データインフラストラテジーセクションはネクサスの必需品である「データ」という必需品の基盤を支えるセクションです。 今回は、データインフラストラテジーセクションがグループ会社向けに構築しているデータ基盤について紹介したいと思います。 アーキテクチャ アーキテクチャは以下のようになっています。よくあるデータ基盤構成になっているかと思いますが、今回はグループ企業、規模の大きい会社ならではのことを記述

みなさん、こんにちは。AWS ソリューションアーキテクトの野間です。今週号も盛りだくさんです。開催直前になりますが、2 月 27 日 （金）に「 企業でつかうためのCoding Agent「Kiro」 オンライン勉強会 」が開催されます。まだ申し込み受付中ですのでAI エージェントを活用した開発プロセスの効率化に関心がある方はぜひ参加ください！また 3 月 26 日（木）には「 Amazon Quick Suite で変わる業務の現場 — 活用企業・AWS社員による事例紹介 」が開催されます。分析業務や定

この記事は、合併前の旧ブログに掲載していた記事（初出：2018年8月20日）を、現在のブログへ移管したものです。現時点の情報に合わせ、表記やリンクの調整を行っています。開発3センターでサーバサイドの開...

はじめに こんにちは、介護/障害福祉事業者向け経営支援「カイポケ」の介護レセチームでエンジニアをしている沖口です。 チームで管理しているテーブルに長年の運用によりデータ量が相当数まで増えてきたものがあり、idカラムの型をINT UNSIGNEDからBIGINTに変更する必要がありました。 先日、その対応をAurora MySQLの BlueGreenDeployment （以降では省略してBlueGreenDeploymentと記載）を用いて短時間のメンテナンスで実現できたため、その事例を紹介します。 背

はじめに 東芝テック株式会社は、流通・小売業界やさまざまなワークプレイスに向けたソリューションを開発、提供しています。POS システムにおいては国内外でトップシェアを誇るリーディングカンパニーであり、グローバルリテールプラットフォーム「ELERA」による小売業務全体のデジタル化を支援しています。ELERA は、「タッチポイント」「ソリューション」「データサービス」の 3 軸でビジネスを展開し、高い拡張性とリアルタイムな情報活用によって現場の課題解決を支援することで、店舗運営の効率化や意思決定の高度化につな

こんにちは。ワンキャリアでデータサイエンティストをしている申（シン）です。 普段は、社内のデータを用いた分析や、機械学習モデルの構築を通じて、ビジネスの意思決定支援を行っています。

1. はじめに：なぜ「ただ並列化」しても速くならないのか？ Snowparkを用いてデータ分析や加工を行っていると、処理時間の長さがボトルネックになる場面に直面します。その際、「Pythonなのだから並列化すれば速くなるはずだ」と考えるのは自然な発想でしょう。 しかし実際に実装してみると、次のような問題に遭遇することがあります。 マルチプロセス（Joblib）で高速化を試みたところ、PicklingError が発生する マルチスレッド化しても、処理時間がほとんど変わらない（場合によっては遅くなる） その

はじめに こんにちは、Recruit Data Blog 担当の森です。 2026年1月20日、リクルートの飲食事業である『ホットペッパーグル