こんにちは、 エニグモ の嘉松です。普段はデータ活用推進室にて、データ分析・データ活用の推進やMAツールを用いた CRM 施策などを担当しています。 本記事は Enigmo Advent Calendar 2025 の最終日（25日目）の記事です。1ヶ月間にわたり様々なテーマで繋いできたバトンも、いよいよ今回が最終回となります！ 最終回は、データ分析・データ活用の裏側を支える技術にフォーカスし、BigQueryに関する（少しディープな）知見を共有します。 時点データとは？ データ分析において、現時点のデー

はじめに こんにちは、スタメンにてエンジニアインターンをしております中村です。 「 TUNAGチャット 」では、データベースとしてGoogle Cloud（旧GCP）のAlloyDB for PostgreSQLを利用しています。以前から平日昼間のCPU使用率は55~65％の水準でしたが、ある時期からデプロイのタイミングでDBのCPU負荷が100%に達し、一時的に障害となる事態が問題となりました。 一週間で２度、CPU使用率が100%までスパイクした様子 本記事では、以下のアプローチで行ったパフォーマンス

こんにちは、AI ShiftのLinです。 この記事は AI Shift Advent Calendar 2025 の24日目の記事です。 Lead Forward Deployed EngineerのLinです。東京側のFDEチームと沖縄のAI Operationチームをリードしています。 この記事の要約 この記事では、Forward Deployed Engineer（FDE）という職種について紹介します。FDEは、お客様の業務に最も近い場所で働くエンジニアです。技術とビジネスの両面から課題解決に取り

この記事は、NTTデータ Snowflakeアドベントカレンダーの24日目です。 1. はじめに：Streamlit in Snowflakeで“作りたいものがすぐ作れる”と実感した話 こんにちは。データマネジメント統括部の田辺です。 今年入社した新卒1年目です。 現在のプロジェクトでは、生成AIにプロンプトを与えて Snowflake 上でファイルフォーマット・テーブル・プロシージャなどの 資材を自動生成する仕組みのトライアルを進めています。 この仕組みでは、Snowflake のテーブルで管理している

こんにちは、Analysis Platformチームの上野です。 キャディ株式会社のアドベントカレンダー 24日目の記事です。 この記事ではAnalysis Platformチームで実施した、機械学習モデルの複雑な後処理の実行基盤の技術選定について説明します。同様の技術選定をする際の参考になると幸いです。 既存のアーキテクチャとその課題 キャディでは一部の機械学習モデルの推論処理を以下のような非同期のアーキテクチャで行なっています。一部の推論ワーカーでは他のワーカーの結果と組み合わせて後処理をする必要があ

この記事は「ビギナーズ Advent Calendar 2025」の24日目の記事です。 はじめに 自身が現在担当している案件は、Databricksを使用したデータパイプラインの作成を行っています。データ活用を加速させるために、Databricksにデータを一元集約しようとしており、フェデレーション接続されたテーブルに対するデータパイプラインを開発しています。 ある時、とあるビューのパイプライン作成を依頼されました。そのビューは名前に「/」を含んでいたため、フェデレーション上に表示されませんでした。この

この記事は Bitkey Developers Advent Calendar 2025 24日目の記事です。 株式会社ビットキーで データアナリストをしている@bitkey_r_ikutaが担当します。 はじめに 私の所属しているData Platformチームは、ビジネスサイドからのデータ集計依頼に対して、BigQueryでデータ集計用のSQLクエリを作成し、その後の可視化やインサイトの提供につなげています。 このとき、多くの場合3~5つ以上の様々なテーブルを結合して集計する必要があるのですが、毎回「

本記事は【 Advent Calendar 2025 】の19日目の記事です。 はじめに マイナビの2年目データエンジニアのItです 今回はSnowflakeデータベースに蓄積されるデータ（ACCOUNT_USAGEスキーマなど）を用いて、コストの可視化をしてみました。 背景 Snowflakeの利用者（主にビジネスサイドの人たち）に対してコストの可視化をし、コストの透明化を図りたいと考えていました。 「コストの可視化、そんなもんSnowsightで見ればいいでしょ！」 と言われてしまいそうなので、現在の

本記事は、” Achieve a high-speed InnoDB purge on Amazon RDS for MySQL and Amazon Aurora MySQL ”  を翻訳したものです。 パージ は、MySQL データベースにおけるハウスキーピング操作です。InnoDB ストレージエンジンは、 マルチバージョン同時実行制御 (MVCC) やロールバック操作のために不要となった、 undo ログ や削除マークの付いたテーブルレコードのクリーンアップを、この操作に依存しています。私

はじめに 現在注目を集めているSnowflake Cortex AISQL。 その中で音声データを扱えるAI_TRANSCRIBE 関数 が、今後さらなるユースケースに活用できると感じたため、今回試してみたいと思います！ この記事は、NTTデータ Snowflakeアドベントカレンダー23日目です。 Cortex AISQL 概要 Cortex AISQLは、SQLクエリから直接AI機能を呼び出せる仕組みです。 従来慣れ親しんできたSQL構文を活かしながら、AIを活用した分析が可能になります。 Corte

はじめに 私はエンジニアとしては未経験でNTTデータに中途入社し、2025年1月から本格的に Snowflake を触り始めました。 初めて Snowsight にログインしたとき、画面上にはさまざまなメニューや機能が並んでおり、まずは試しに SQL を実行してみようと思ったのですが、“どこで SQL を書けばよいのか”、“実行結果をどこで確認するのか”が分からず戸惑ったことを覚えています。 Snowflake というツール自体が初めてだったこともあり、最初に “要点だけがまとまった簡易的なガイド” があ

この記事は、 CADDi Tech/Product Advent Calendar 2025 の23日目の記事です。 DataManagementチームの福田です。弊社ではCTOと共に機密データの取り扱いを決定し、その方針をBigQuery Policy TagsとDataContractで自動的に反映する体制を構築しています。今回は約15,000カラム以上のデータで実践した経営層を巻き込んだデータガバナンスの仕組みを解説します。 はじめに 企業向けSaaSでは、顧客データに対して通常よりも厳格なアクセス

2025年10月に公開された「GRFICSv3」の環境構築手順と、制御ネットワーク向けIDS「OsecT」を組み合わせた検証記事です。 専用のダミーIFを用いたパケット可視化の手法や、Pythonスクリプトによる攻撃の実行、およびIDSでの検知アラート発生の様子を紹介します。 GRFICSv3とは GRFICSv3の実行 GRFICSv3の画面紹介 シミュレータ画面 エンジニアリングワークステーション画面 攻撃者端末の画面 Caldera画面 PLC (OpenPLC) 画面 HMI (Scada-LTS

こんにちは、WEBエンジニアのChoi（チェ）です。 BUYMA の購入者向け機能を開発するチームで、主に SEO 改善の業務を担当しています。 この記事は Enigmo Advent Calendar 2025 の23日目の記事です。 Rails を使用する際は一般的に MySQL や PostgreSQL が使われますが、 BUYMA では用途に応じて SQL Server も使用しています。 最初は「どの SQL も大差ないだろう」と思っていましたが、運用を開始すると Rails + SQL Ser

この記事は株式会社ビットキー Advent Calendar 2025、22日目の記事です。 プラットフォーム開発部Cross Service Backendチーム(通称CSBチーム) の @daikideal が担当します。 https://qiita.com/advent-calendar/2025/bitkey_developer はじめに 私たちのチームのプロダクトはGoogle Cloudでホスティングされており、データベースとしてCloud SQL for PostgreSQLを使用しています