この記事は、NTTデータ Snowflake アドベントカレンダー の25日目（最終日）の記事です。 はじめに Snowflake はデータ品質をモニタリングするための機能としてデータメトリクス関数 (Data Metric Functions:DMF)を提供しています。 DMF を利用することで DMBOK2（データマネジメント知識体系ガイド第2版） で定義されているデータ品質の一般的な評価軸（正確性、完全性、一貫性、整合性、妥当性、適時性、一意性、有効性）に関する品質チェックを継続的に実現可能です。 本記事では DMF を使用してデータ品質をどの様に監視できるか、監視結果をどの様

はじめに このAdvent Calendarも、いよいよ最終日となりました。 これまで、この20年間に私が書いてきたWeb記事を振り返ってきましたが、最後にそこで感じたことを「変化」「責任」「挑戦」「感謝」の4つのキーワードでまとめたいと思います。やや自分語りの部分もありますが、最終回としてお付き合いいただければ幸いです。 変化 この20年で、本当にさまざまな変化がありました。 扱うテーマの変化＝技術の変化 テストや品質を軸としながら、新しいテーマが次々と加わってきました。 序盤（2006～2012年） テスト自動化（1日目、5日目、8日目、9日目）、メトリクス（2日目）、

はじめに Microsoftが開催する一年に一度の大イベント、Microsoft Ignite 2025に現地（サンフランシスコ）参加してきました！AIを中心とした最新テクノロジーが次々と発表され、会場全体が大きな期待と熱気に包まれていました。 本レポートでは、その中でも特に注目度の高かった Microsoft 365 Copilot の Agent Mode と、Copilot Studio の新機能 についてご紹介します。 👇初日Opening Keynoteの朝。良い席で見るために7:00から並びました。 M365 Copilot Agent Mode Agent M

この記事は「ビギナーズ Advent Calendar 2025」の25日目の記事です。 はじめに システム開発において「誰が」「何を」「どこまで操作できるか」を制御する「認可(Authorization)」は、欠かせない要素です。ユーザーごとの権限や共有範囲が複雑になると、従来の仕組みでは表現しきれない場面も出てきます。 たとえば、 同じグループのメンバーは編集可能、それ以外は閲覧のみ あるユーザーが作成したデータを、同じ組織のメンバーにだけ共有したい といったケースは、ロールや属性だけでは捉えにくくなってきます。 今回、携わっている案件で認可技術を学ぶ機会があり、OpenFG

gpt-oss-20bをCPUで推論したらGPUより爆速でした。なぜこのようなことになったのでしょうか？今日は最近のARMのCPU推論の話を書きます。 まずは、ベンチマーク結果を見ていきましょう。 評価環境 マシン: OrangePi 6 CPU: CIX CD8160 4x ARM Cortex-A720 (最大2.6 GHz) 4x ARM Cortex-A720 (最大2.4 GHz) 4x ARM Cortex-A520 (最大1.8 GHz) GPU: Immortalis G720 MC10 RAM: 32G 推論ソフト: llama.cpp: b7157 com

はじめに Excel、WordやPower Pointなどの社内文書を検索して質問に答えるAIエージェントを実現できないか調べてみたところ、全文検索サーバーのFessとOpenSearchのMCPサーバーを使えば簡単に実現できるのではと思い、試してみました。 Fessとは Fessとは、Webサイトやファイルサーバー内のデータを自動収集して高速な全文検索を可能にする、オープンソースの全文検索サーバーです。検索エンジンとしてOpenSearchまたはElasticsearchを選択可能です。 オープンソース: Apacheライセンスで提供され、無料で利用可能。 対応ファイル形式:

はじめに 2025年11月にMicrosoft が最新の技術戦略や製品情報を発表する年次テックカンファレンス “Microsoft Ignite 2025” に参加しました。 今回はアメリカ・サンフランシスコの Moscone Center と Chase Center を会場に開催され、周辺は技術イベントとは思えないほど多くの来場者で賑わい、活気に満ちていました。 本イベントでは多岐にわたるアップデートが発表され、全容について日本語でも様々な方がレポートをまとめています。ここでは一例として、当社の寺井のイベント参加レポートを紹介します。 https://zenn.dev/nttd

この記事は、NTTデータ Snowflakeアドベントカレンダーの24日目です。 1. はじめに：Streamlit in Snowflakeで“作りたいものがすぐ作れる”と実感した話 こんにちは。データマネジメント統括部の田辺です。 今年入社した新卒1年目です。 現在のプロジェクトでは、生成AIにプロンプトを与えて Snowflake 上でファイルフォーマット・テーブル・プロシージャなどの 資材を自動生成する仕組みのトライアルを進めています。 この仕組みでは、Snowflake のテーブルで管理している各種プロンプトを、 製造対象（file_format / table / pro

はじめに MEKIKI X AI ハッカソンもぐもぐ勉強会 Advent Calendar 2025 の 24 日目を担当する近藤です。 Advent Calendar も残すところあと 1 日となりました。 さて、今日は何の日でしょう？ そう、「クリスマスイブ」です。 ということで、私からは「3 大クラウドベンダーの AI 系資格に関する情報」をプレゼントします。 ちなみに、私は 20 万円分の資格試験を自分自身にプレゼントしました...(どんな試験を受けたのかは後日記事としてまとめようと思います) さて、生成 AI・機械学習・AI アプリケーション開発が急速に普及する中で、クラウ

はじめに このAdvent Calendarでは、過去に私が書いたテストや品質に関する記事の紹介をします。 本日紹介する記事はこちらです。 掲載日：2015年12月 掲載メディア：slideshare 生成AIによる要約 「わかりやすい日本語を書こう（完全版）」 は、読み手に誤解なく伝わる日本語を書くための実践的なガイドです。主なポイントは以下の通りです。 主語・述語を明確にする、修飾語を遠ざけない、1文を短くするなど、文構造を整える基本技法を紹介。 あいまい語（「適宜」「ちゃんと」「なるべく」など）や、抽象的で理解しにくい表現を避けることの重要性を説明。 「誰に」「何を」

この記事は「ビギナーズ Advent Calendar 2025」の24日目の記事です。 はじめに 自身が現在担当している案件は、Databricksを使用したデータパイプラインの作成を行っています。データ活用を加速させるために、Databricksにデータを一元集約しようとしており、フェデレーション接続されたテーブルに対するデータパイプラインを開発しています。 ある時、とあるビューのパイプライン作成を依頼されました。そのビューは名前に「/」を含んでいたため、フェデレーション上に表示されませんでした。この際、顧客から名前の変更は行えないと連絡されました。 この対応として、ビュー作成元

はじめに 私は普段、国内顧客向けにシステム設計・構築に関わる業務に携わっています。 今回、インドのプネーに2週間滞在し、株式会社NTTデータ先端技術が主催するグローバル人材育成研修である Go Global Intensive Program（G2IP）に参加しました。 G2IPは、グローバル業務で役立つ実践的な知識・能力習得を目的とし、異文化理解・コミュニケーションを通じて、グローバルでビジネスを創造できるリーダーシップを磨く研修です。 また、今回滞在したプネーは「東のシリコンバレー」、「インドのオックスフォード」とも呼ばれ、インド有数のIT都市であり、多くの大学や研究機関が集まる

はじめに データエンジニアをやっておりますTaichiです。 先日、MinIO の Docker イメージが公式から配布停止になりました。 https://github.com/minio/minio/issues/21647#issuecomment-3418675115 Issue コメントにもある通り、コミュニティ版は今後「ソースコード配布のみ」で、自分でビルドしてねという方針に変わっています。 ちょっとした手元の検証環境にMinIOを使っていた自分としては、docker runで簡単に立ち上がり、Amazon S3 互換 APIで操作できるOSSが欲しいなと思っています。 そ

はじめに CI/CDツールとして広く利用されているJenkinsにおいて、ユーザー管理を効率化するためにLDAP（Lightweight Directory Access Protocol）サーバーとの連携を行うことは一般的な運用設計の一つです。しかし、この認証周りの設定変更は非常にデリケートな作業であり、設定を誤ると「管理者を含む全ユーザーがログインできなくなる」という、いわゆるロックアウト状態に陥るリスクがあります。 管理画面にすら入れなくなってしまった場合、ブラウザ上からの設定修正は不可能です。こうなると焦ってしまいがちですが、Jenkinsは設定情報の多くをXMLファイルとし

はじめに 現在注目を集めているSnowflake Cortex AISQL。 その中で音声データを扱えるAI_TRANSCRIBE 関数 が、今後さらなるユースケースに活用できると感じたため、今回試してみたいと思います！ この記事は、NTTデータ Snowflakeアドベントカレンダー23日目です。 Cortex AISQL 概要 Cortex AISQLは、SQLクエリから直接AI機能を呼び出せる仕組みです。 従来慣れ親しんできたSQL構文を活かしながら、AIを活用した分析が可能になります。 Cortex AISQLでは、複数のAI関数が提供されています。 今回は、その中からA

はじめに 私はエンジニアとしては未経験でNTTデータに中途入社し、2025年1月から本格的に Snowflake を触り始めました。 初めて Snowsight にログインしたとき、画面上にはさまざまなメニューや機能が並んでおり、まずは試しに SQL を実行してみようと思ったのですが、“どこで SQL を書けばよいのか”、“実行結果をどこで確認するのか”が分からず戸惑ったことを覚えています。 Snowflake というツール自体が初めてだったこともあり、最初に “要点だけがまとまった簡易的なガイド” があれば、もっとスムーズに始められたのではと感じました。そうした自分自身の経験が、こ

はじめに このAdvent Calendarでは、過去に私が書いたテストや品質に関する記事の紹介をします。 本日紹介する記事はこちらです。 https://www.nttdata.com/jp/ja/trends/data-insight/2025/1016 掲載日：2025年10月16日 掲載メディア：DATA INSIGHT（NTT DATA） 生成AIによる要約 この記事は、生成AIの浸透によって変わるソフトウェア開発と、その品質保証の課題と考え方を整理したものです。まず、生成AIの利用が一般化する中で、開発効率が上がる一方、「誤った出力」「ブラックボックス性」「出力のば

こんにちは、MEKIKI X AIハッカソンもくもく勉強会の23日目を担当する株式会社NTTデータ システムインテグレーション事業本部 グローバルエンジニアリング＆イノベーション室 プロダクトディベロップメントユニット 開発担当の島﨑と申します。 この記事は、TECH WORLD HACKATHON2025 にて、最優秀賞を受賞したプロダクト CareBrief の開発の裏側に関する３日間の記録です。 TECH WORLD HACKATHON2025について HACKATHON（ハッカソン）とは ハッカソンとは、短期間（数時間〜数日）に集中的にアイデアを出し、実際にプロダクトや

背景：公開されたWebアプリへの脆弱性スキャンの観測 インターネットにWebアプリケーションを公開した瞬間から、そのシステムは世界中の攻撃者による脆弱性スキャンの対象になります。多くの場合は攻撃に至る前の 「調査段階」ですが、近年の攻撃は高度かつ自動化されており、スキャン結果が攻撃の機会を示すものであれば、即座に脆弱性を突かれる懸念があります。 例として下記の画像はAmazon Web Services（AWS）において、検証用に用意した環境でのAWS WAFのコンソール画面です。 日時は伏せていますが、日常的に数百〜数万件のリクエストがブロックされていることが確認できます。 これ

この記事は「ビギナーズ Advent Calendar 2025」の23日目の記事です。 はじめに こんにちは！株式会社NTTデータグループで生成AI関連の業務に携わっている大貫 豪です。 本記事ではLLMによるトピックモデル手法の中でもTopic-Activated Document Exploration (TADE) という手法を提案した論文について主に解説します。 想定読者 トピックモデル手法に興味がある方 生成AIを用いたトピックモデル手法の最新手法に興味がある方 この記事の目的 この記事を通じて紹介する内容は以下です。 トピックモデルに関する背景 従来のトピ