MySQLに高い互換性を持つデータベースのTiDBには、古いデータを自動的に削除するTTL(Time to Live)の機能があります。本記事では、これを活用しコスト削減および障害耐性の向上を実現した事例を紹介します 背景 メルカリでは、商品に対してコメントを付与することができ、値引きの依頼だったり、さまざまなやり取りを行うことができます。このコメントが、例えば公序良俗に違反すると想定される場合、お客さまがそれを「通報」する機能がありますが、メルカリ内部でも自動的にこれらを検知する仕組みが古くから実装され

はじめに こんにちは、ビジネス・アナリティクス部マーケティング・サイエンスブロックの 茅原 です。普段はマーケティング施策の効果検証を担当しています。マーケティング・サイエンスブロックではAI協働型分析フロー構築の取り組みをしています。本記事では本取り組みの詳細や、この中で得られた知見をご紹介します。 目次 はじめに 目次 背景・課題 取り組みの紹介 分析環境の標準化 AI活用フロー検証のためのGitHubリポジトリ構築 分析設計書の活用 分析作業フローの定型化 再利用性を高める工夫 文化の醸成 まとめ

こんにちは。サイオステクノロジーの和田です。前回は こちら でアウトボックスパターンという設計パターンを紹介しましたが、今回はその設計パターンを実現できる River というライブラリを使ってみたので紹介したいと思います。それではいきましょう。 River とは River は Go 言語で書かれた PostgreSQL 専用のジョブキューライブラリです。PostgreSQL をバックエンドとして使用することで、アウトボックスパターンを簡単に実装できます。主な特徴として、Redis や RabbitMQ

G-gen の min です。Google Cloud のデータ変換パイプラインツールである Dataform で、データ品質テストを実装するための アサーション （assertion）機能について解説します。 概要 Dataform とは アサーションとは アサーションの種類 組み込みアサーションの詳細 nonNull uniqueKey / uniqueKeys rowConditions 手動アサーションの詳細 定義方法 参照整合性のチェック例 集計値のチェック例 アサーションの依存関係の制御 すべ

Merry Christmas 🎅🎄 というわけで CyberAgent Group SRE Adv ...

はじめに こんにちは、クラウドエース株式会社 第四開発部の多賀です。 データ分析や活用において、頻繁に課題となるのが 「データの欠損」 です。 「顧客リストの電話番号が抜けている」「住所が入っていない」といった不完全なデータに対し、Web 検索等を用いて情報を補完しようとする場合、これまでは外部スクリプトを作成して API を利用したり、あるいは手作業で検索してデータを更新するといった対応が必要でした。 しかし、BigQuery ML (BQML) と Gemini、そして Grounding with

みなさん、こんにちは。DevHRチームの長谷川(X： @hasehathy )です。 街はすっかり年末の雰囲気ですね…！noteでも「1年の振り返り」機能が公開されたりと、2025年について考えるタイミングが増えてきました。 今月もデスクツアー記事や自社主催の技術イベントなど、11月の活動をまとめてお届けします！

この記事は、NTTデータ Snowflake アドベントカレンダー の25日目（最終日）の記事です。 はじめに Snowflake はデータ品質をモニタリングするための機能としてデータメトリクス関数 (Data Metric Functions:DMF)を提供しています。 DMF を利用することで DMBOK2（データマネジメント知識体系ガイド第2版） で定義されているデータ品質の一般的な評価軸（正確性、完全性、一貫性、整合性、妥当性、適時性、一意性、有効性）に関する品質チェックを継続的に実現可能です。

生成AIが生み出す新しい負債「理解負債」について こんにちは！ 株式会社ココナラのVP of Product Engineeringの村上です。 こちらは株式会社ココナラ Advent Calendar 2025 25日目の記事です。 本内容は以下の登壇内容について深堀りしたものとなります。 https://sakuragaoka-tech.connpass.com/event/374785/ 登壇資料も合わせてご確認ください。 はじめに 「このコード、どういう意図で書いたんですか？」 PRレビューでの何

こんにちは、 エニグモ の嘉松です。普段はデータ活用推進室にて、データ分析・データ活用の推進やMAツールを用いた CRM 施策などを担当しています。 本記事は Enigmo Advent Calendar 2025 の最終日（25日目）の記事です。1ヶ月間にわたり様々なテーマで繋いできたバトンも、いよいよ今回が最終回となります！ 最終回は、データ分析・データ活用の裏側を支える技術にフォーカスし、BigQueryに関する（少しディープな）知見を共有します。 時点データとは？ データ分析において、現時点のデー

はじめに こんにちは、スタメンにてにてエンジニアインターンをしております中村です。 「 TUNAGチャット 」では、データベースとしてGoogle Cloud（旧GCP）のAlloyDB for PostgreSQLを利用しています。以前から平日昼間のCPU使用率は55~65％の水準でしたが、ある時期からデプロイのタイミングでDBのCPU負荷が100%に達し、一時的に障害となる事態が問題となりました。 一週間で２度、CPU使用率が100%までスパイクした様子 調査の結果、今回のDB負荷の原因は「オプティマ

こんにちは、AI ShiftのLinです。 この記事は AI Shift Advent Calendar 2025 の24日目の記事です。 Lead Forward Deployed EngineerのLinです。東京側のFDEチームと沖縄のAI Operationチームをリードしています。 この記事の要約 この記事では、Forward Deployed Engineer（FDE）という職種について紹介します。FDEは、お客様の業務に最も近い場所で働くエンジニアです。技術とビジネスの両面から課題解決に取り

この記事は、NTTデータ Snowflakeアドベントカレンダーの24日目です。 1. はじめに：Streamlit in Snowflakeで“作りたいものがすぐ作れる”と実感した話 こんにちは。データマネジメント統括部の田辺です。 今年入社した新卒1年目です。 現在のプロジェクトでは、生成AIにプロンプトを与えて Snowflake 上でファイルフォーマット・テーブル・プロシージャなどの 資材を自動生成する仕組みのトライアルを進めています。 この仕組みでは、Snowflake のテーブルで管理している

この記事は「ビギナーズ Advent Calendar 2025」の24日目の記事です。 はじめに 自身が現在担当している案件は、Databricksを使用したデータパイプラインの作成を行っています。データ活用を加速させるために、Databricksにデータを一元集約しようとしており、フェデレーション接続されたテーブルに対するデータパイプラインを開発しています。 ある時、とあるビューのパイプライン作成を依頼されました。そのビューは名前に「/」を含んでいたため、フェデレーション上に表示されませんでした。この

この記事は Bitkey Developers Advent Calendar 2025 24日目の記事です。 株式会社ビットキーで データアナリストをしている@bitkey_r_ikutaが担当します。 はじめに 私の所属しているData Platformチームは、ビジネスサイドからのデータ集計依頼に対して、BigQueryでデータ集計用のSQLクエリを作成し、その後の可視化やインサイトの提供につなげています。 このとき、多くの場合3~5つ以上の様々なテーブルを結合して集計する必要があるのですが、毎回「