1. 企業におけるテキストデータの活用 企業が日々蓄積するデータの多くは、数値データだけでなく、メール、営業日報、コールセンターの記録、社内文書などのテキストデータが含まれます。。これらのデータは非構造化データと呼ばれ、構造が無いために分析しづらい一方で業務改善や意思決定に役立つ隠れたインサイトが含まれている可能性が高いです。。従来では、テキストマイニングツールを活用し、自然言語処理（NLP）技術によってテキストデータを解析する方法が採用されていましたが、以前のNLP技術を活用したテキストマイニングは主に単語や文の統計的性質に基づいて処理されることが多く、文脈の深い理解には限界がありました。 しかし、近年の生成AIの登場により、BERTやGPTといった高度なモデルがテキストの意味やコンテキストをより深く理解し、それに基づく分析が可能になっています。生成AIは、従来の自然言語処理技術では困難だった文脈の理解や、複雑な情報の抽出・整理を容易にすることで、企業のテキストデータ活用に新たな可能性をもたらしています。この進化により、テキストマイニングの手法も大きく変わり、単なる統計分析にとどまらず、より高度な洞察を得るためのツールへと発展しています。次世代のテキストマイニングを活用することで、従来技術では困難だった文脈の理解や、複雑な情報の抽出・整理を容易にし、企業のテキストデータ活用に新たな革新を生み出します。 本ブログでは、企業におけるテキストデータ活用の中でも、特にテキストデータの分析に焦点をあて、具体的な事例を紹介するとともに、従来の自然言語処理技術と生成AIを用いたテキスト分析との違いや、それぞれの利点・課題について掘り下げ、その実用性や使い分けのポイントについても詳しく解説します。 2. 活用事例 テキストデータの分析は、企業のさまざまな分野で活用され、業務改善や意思決定の質を向上させています。以下に、具体的な事例を紹介します。 2.1 営業日報による商談成否の要因分析 営業担当者が記録する営業日報には、商談の進捗状況や顧客の反応が詳細に書かれています。これらのテキストデータを分析することで、成功する商談の特徴や、失敗につながる要因を特定できます。例えば、特定のキーワード（価格交渉、競合比較、導入時の課題など）が頻出する商談の成約率を分析し、勝率の高い営業トークや顧客の関心ポイントを可視化することが可能です。また、特定の条件（業界、企業規模、意思決定プロセス）ごとに成功確率の高い営業戦略を導き出すことができます。 2.2 コールセンターのお客様の声分析による解約予兆の特定 コールセンターには、顧客からの問い合わせやクレームが日々蓄積されています。これらのデータをテキスト分析することで、顧客の不満や要望を抽出し、解約の予兆を特定することが可能です。例えば、解約に至った顧客が過去にどのような発言をしていたかを分析し、頻繁に登場するフレーズ（「使いづらい」「料金が高い」「サポートが遅い」など）を特定することで、早期にリスクを察知できます。センチメント分析や共起分析を用いることで、ネガティブな感情の強さや、解約を示唆する発言を分類し、適切なフォローアップ施策を講じることができます。 2.3 人事評価や社員アンケート分析による従業員エンゲージメントの向上 社員のモチベーションや職場環境の課題を把握するために、人事評価やアンケート結果の分析が重要視されています。従来、数値化された評価指標をもとに分析することが一般的でしたが、テキストデータの分析により、社員の自由記述から組織の課題をより深く理解できます。従来、テキストデータは定性データと呼ばれ数値化が困難でしたが、例えば、「上司との関係」「キャリア成長の機会」「ワークライフバランス」といったテーマごとに分類し、整理することで定量データとして扱い、エンゲージメント向上の阻害要因を特定できます。さらに、ネガティブなフィードバックがどの部署で多いのか、どの要素が離職リスクを高めるのかを分析することで、より戦略的な人事施策を打ち出すことが可能です。 2.4 IR資料のテキスト分析による投資家コミュニケーションの強化 企業が発表する決算報告書やIR向け資料には、投資家が企業の成長性やリスクを評価するための重要な情報が含まれています。定量データとこれらのテキストを分析することで、投資家の関心や反応を予測し、効果的なコミュニケーション戦略を構築できます。例えば、過去のIR資料と株価の変動を比較し、ポジティブな表現やネガティブな表現が投資家の意思決定にどのような影響を与えるかを分析することが可能です。また、競合企業のIR資料と比較し、自社のポジショニングを明確化することで、より説得力のある情報発信を行うことができます。 これらの事例から、テキストデータの分析が企業の課題解決や業務改善に大きく貢献することがわかります。2.1から2.4は活用事例の一部に過ぎず、テキストデータ分析の活用可能性はさらに幅広く存在します。例えば、製造業における品質管理のための作業報告分析、医療分野での電子カルテのテキスト分析による診断補助、法律分野での契約書や判例分析によるリスク評価など、業界ごとに多様な応用が考えられます。適切な分析手法を導入することで、より深い洞察を得て、戦略的な意思決定を支援することが可能です。 3. 自然言語処理に基づくテキスト分析の代表的な手法 N-gram N-gramは、テキストを連続するN個の単語や文字の単位に分割して分析する手法です。特に、単語やフレーズの頻出パターンを把握するのに役立ちます。例えば、顧客のレビューやコールセンターの会話データを分析し、頻出するフレーズを特定することで、特定の商品に関する評価傾向や問題点を抽出できます。N-gramの欠点として、単語の文脈を考慮しないため、長文の意味を正確に捉えることが難しい点が挙げられます。また、Nの値が小さすぎると文脈の理解が浅くなり、大きすぎるとデータスパースネス（データの不足）が発生しやすくなります。 トピックモデリング トピックモデリングは、大量のテキストデータやサイトから文書に潜むテーマ（トピック）を自動的に抽出する手法です。代表的なアルゴリズムとしてLDA（Latent Dirichlet Allocation）があり、異なる文書群の中で共通するトピックを分類するのに活用されます。例えば、社内の問い合わせ履歴を分析し、よくある質問のカテゴリーを特定することで、FAQの最適化に活用できます。トピックモデリングの欠点として、トピックの解釈が必ずしも直感的でない場合があることが挙げられます。また、教師なし学習であるため、結果の品質がアルゴリズムのパラメータ調整や前処理の精度に大きく依存します。 Word/Document Embedding Word/Document Embeddingは、単語や文書をベクトル形式に変換する技術で、文脈の類似性や関係性を数値的に表現することが可能です。代表的な手法にはWord2VecやBERTなどがあります。この技術を用いることで、例えば、求人情報と応募者の履歴書を比較し、適切なマッチングを自動化することができます。Word/Document Embeddingの欠点は、学習データに依存するため、ドメイン固有のデータに対しては適切な意味表現が得られない可能性があることです。 4. 生成AIによるテキスト意味特徴量の抽出 従来のNLPに基づいたテキスト解析の共通する短所として、単語の出現のような統計的な性質を分析しており、必ずしもその背後にある意味やコンテキストまでは理解できていない点が挙げられます。例えば、「製品A, 訪問」というN-gramを考えた場合に、「製品Aに関してお客様を訪問した」、「製品Aに関してお客様を訪問しようとしたが予定が合わなかった」は、全く意味が異なりますが、N-gram表現としては同じになってしまいます。結果として、テキストから抽出された特徴の解釈が難しくなり、元の文章を辿って確認をしないと、施策の立案や意思決定が難しくなるという課題があります。 そこで、当社dotDataでは、このような文章をAIに解釈させ、テキストに含まれる意味を抽出する、というアプローチを開発しています。例えば、営業日報のデータで成約率を分析するケースであれば、「営業とお客さんは面談できているか？」「お客さんに紹介している商品は何か？」という意味を特徴化することで、精度と解釈性の両面で、従来のテキスト特徴量よりもよい洞察が得られる可能性があります。 実際にどんな精度でこれが実現できるのか実例を見てみましょう。ここでは具体的なデータを用いたタスクとして、 大学に対する不満データ を使用して、述べられている不満が、 食事・カフェテリアに関する不満 オンライン授業に関する不満 学生課に関する不満 就職機会に関する不満 アクティビティ・イベントに関する不満 健康問題・福祉に関する不満 その他の不満 のどのカテゴリに属するかの分類を実施しました（生成AIが推定した不満の分類結果が、意味ラベルとして特徴化されます）。この評価では、ランダムに抽出した215件のテキストに対し、dotDataの生成AIによる意味抽出結果と、人間が分類した結果と比較しました（人間による分類を正解として、生成AIによる意味抽出結果を評価）。 最新の４つの生成AIモデルをdotDataのテキスト意味特徴ツールに接続した評価結果が以下の表となります。モデルにより若干の差はあるものの、ほぼ人間が分類したものと同じ分類ができていることがわかります（なお、Claude 3では、精度が70%程度と大きく劣化したため、最新のLLMの進化が伺えます）。 なお、誤分類のケースを見ると、 [誤分類例1] 文書：「キャンパスの自動販売機がよく故障していて不便です。」 人間による分類：「食事・カフェテリアに関する不満」 AIによる分類：「その他の不満」 [誤分類例2] 文書：「キャンパスの多様性をありがたく思っていますが、時々、異なる文化的グループの間に理解が欠けているように感じます。もっとお互いに交流し、学び合う機会が増えればいいのにと思います。」 人間による分類：「その他の不満」 AIによる分類：「アクティビティ・イベントに関する不満」 のように、人間でも完全な判断が難しいというケースが多いようです。 このように、生成AIを利用したテキストからの意味抽出は非常に強力なツールとなり得ますが、現状ではコスト面の課題があります。以下の表は、dotDataの意味特徴量の抽出ツールで、10万文書x1000文字のテキストに10種類の意味ラベルを付与する際にかかるコストを整理しました。 利用する生成AIによって10倍以上のコスト差があり、また10万文書に対するコストの絶対値として高いと見るか低いと見るかはアプリケーション次第ですが、無制限に使えるコスト感ではないため、目的をしっかりと定めて利用する必要がありそうです（なお、比較として、N-gram特徴などは、同規模のテキストデータであれば、無視できる程度のコストで実行することができるため、意味まで抽出可能な高精度な推論は魅力的である一方で、コストやスケーラビリティとしては従来の自然言語処理に基づく方法にも利点があります）。 dotDataの提供する、生成AIによる意味特徴抽出ツールは、単に生成AIによって意味ラベルを付与するだけではなく、企業での利用を想定して、以下のような機能が備わっています。 AIによる意味ラベルの推薦 ：テキストから抽出したい意味は、コンテキスト依存ですが、データセットを入力すると、テキストの内容から「どのような意味を抽出するとよいか」について、AIが自動的に分析して推薦してくれる機能です。これによって、ユーザーは、抽出すべき意味に素早くあたりをつけることができ、テキスト分析や、分析対象のデータに一定不慣れでも、簡単にテキストから意味を抽出することができます。 意味抽出精度の高速で低コストの評価 ：抽出可能な意味やその抽出精度は、ユーザーがプロンプトとして与える「意味の定義」の正確性に依存します。プロンプトを事前に正確に定義することは難しく、必然的に結果を見ながらのチューニングを伴いプロセスとなりますが、そこで生成AIのコスト（上述）が問題となります。dotDataの提供する、生成AIによる意味特徴抽出ツールは、全量データにプロンプトを適用する前に、低コストかつ高速に意味ラベルの精度評価をしながら、ユーザーがプロンプトをチューニングするための機能が備わっています。 dotDataの特徴量自動設計との連携 ：テキストからの意味特徴の抽出は、それ自体が有用な情報となりますが、それらの情報を加工することで、さらに深い洞察を抽出することができます。例えば、「1ヶ月間で、サービス品質に関する不満を３回以上、サポートに問い合わせたお客様は、その後３ヶ月以内に、サービスを退会する可能性が高まる」と言った形で、サポートのお問い合わせから「サービス品質に関する不満」という意味を抽出した上で、それをユーザーごとに１ヶ月間集計をした特徴は、解約の強い予兆となる特徴と言えます。 5. まとめ 本稿で紹介した従来の自然言語処理と生成AIを組み合わせたテキスト分析の事例から、今後は大規模言語モデルのさらなる性能向上や推論コストの最適化が見込まれ、企業が抱える膨大なテキストデータを深く分析するハードルは一層下がると考えられます。これにより、従来のNLP技術を補完しながら文脈や意味を考慮した高度な洞察を得る手法が定着し、企業におけるテキストデータの新たな活用方法が生まれるでしょう。企業としては、目的に応じた生成AI活用や、意味抽出の精度評価・運用ノウハウを蓄積することで、テキストデータの価値を最大限に引き出しながら、より的確な意思決定やイノベーションを推進できる未来が期待されます。 The post 生成AIによる企業におけるテキスト分析の進化と活用事例 appeared first on dotData .

1. データ分析のエージェントAI 「 生成AIとは？ – 生成AIは企業のデータ活用をどのように進化するのか？ 」で解説したように、生成AI（ジェネレーティブAI / 生成系AI）は、さまざまな業界で大きな変革をもたらしている。特に最近では、「エージェントAI（Agentic AI）」というキーワードが注目されており、これまで高度な専門教育を受けた人間の専門家しか実行できなかった業務を、AIが自律的に実行する世界が現実のものとなりつつある。例えば、顧客対応の自動化、財務データの異常検知、医療診断の補助など、さまざまな分野でエージェントAIの実用化が進んでいる。各企業はこの分野に注力しており、多くのキーワードやアーリーステージの関連サービスが登場している。 このトレンドは、企業のデータ活用においても例外ではない。生成AIとエージェントAIの発展により、これまで計算機科学（コンピューターサイエンス）の専門教育を受けたデータサイエンティストやデータアナリストが担っていた「データ分析」の業務が、エージェントAIによってコストの削減と自動化が進む可能性が高まっている。特に、BIツールとエージェントAIの融合が進むことで、より直感的な分析が可能になり、データ分析の障壁が大幅に下がると期待されている。 BIサービスの領域では、Amazon QuicksightのエージェントAIを活用することで、従来のBIツールよりも高度なデータ可視化やレポート作成が可能となり、データの活用方法が劇的に変わると考えられている。 本ブログでは、2024年12月のAWS re:Inventで発表されたAmazon Q in Quicksightのクイックレビューを行い、データ分析におけるエージェントAIの現状と今後の可能性について考察する。 2. Amazon Q in Quicksightとは？ Amazon Quicksightは、AWSが提供するBI（ビジネスインテリジェンス）ツールで、Amazon Q in Quicksightは、そのAmazon Quicksightに統合された生成AIベースのアシスタントである。Amazon Quicksight自体は、クラウドネイティブなBIツールとして知られており、企業のデータ可視化やレポート作成を支援するサービスだが、Amazon Qの導入により、従来のBIとは全く異なる体験を提供しようとしている。 Amazon Qは、ユーザーが自然言語で質問を入力することで、BIダッシュボードの作成やデータ分析を支援する。従来であればBIツールの活用において、SQLクエリの記述やデータモデルの理解が必要だったが、Amazon Qを利用することで、データを入力し、簡単な指示を与えるだけで、データの傾向分析や異常値の検出、基本的な要因分析などが自動で実行できるという点を特長としている。また、Amazonのクラウド技術であるAWSサービスを用いて大量のデータ処理を高速かつ効率的に行うことが可能になり、分析環境の最適化を図ることができる。 ユーザーの悩みの種となるBIツールの操作性においても、Amazon Qは直感的なUIを提供し、より多くのビジネスユーザーが活用しやすい設計になっている。 主な機能として、 自然言語クエリ : ユーザーが「今月の売上トレンドを教えて」と入力すると、自動的に関連するデータを抽出し、適切なグラフを作成する。 データインサイトの分析 : データセットを解析し、異常値の検出やトレンド分析を自動的に提示する。 ダッシュボードの作成支援 : 自然言語での指示に基づき、ユーザーが希望する視覚的なレポートを簡単に作成できる。さらに、Amazon Quicksightを利用することで、データソースの埋め込みを活用し、BIダッシュボードを外部ポータルサイトや社内システムに統合できる。 このように、Amazon Q in Quicksightは、ユーザーの意図を理解し、適切なデータ処理や視覚化を行うことで、BIの領域におけるエージェントAIの役割を果たしている。これにより、従来はデータアナリストやBIエンジニアが対応していたデータ分析の一部が、より幅広いビジネスユーザーにも開放されることになる。企業は、Amazon Qを活用することで、データドリブンな意思決定を加速させ、競争優位性を高めることが期待されている。Amazon Q in Quicksightの登場は、BIと生成AIの融合の一例として、今後のデータ分析のあり方を大きく変える可能性を秘めている。 次のセクションでは、実際にAmazon Q in Quicksightを試してみた結果を紹介する。 3. Amazon Q in Quicksightを触ってみた Amazon Q in Quicksightの基本的な使い方は、使いたいデータセット（テーブル）を指定した上で、データに関する質問をAmazon Qに対して問いかける。例えば、以下の例は、クーポン利用に関する３つのCSVファイル（Redemption.csv、Transaction.csv、Customer.csv）を指定し、「Low coupon redemption rate（クーポンの利用率が低い）」と指示を出すと、以下のスクリーンショットにあるように、クーポンの利用率が低い原因についての分析を自動的に実施する。注目すべきは、ユーザーが指示を出さなくても、Amazon Qがデータの読み込み、分析、可視化を自動で実行する点である。 また、必要に応じて、簡単なテーブルの結合を自動的に実施してくれる。以下は、クーポン利用に貢献している要因を問い合わせたところ、「Customer.csv」と「Redemption.csv」を自動的に結合し分析してくれた。結合自体は単なるIDマッチであるが、どのテーブルを組み合わせるべきか？をAmazon Qが自動的に検討している点が興味深い。 しかし、一部の分析結果については検証が必要なケースも多く、誤った解釈を提示する場合もある。例えば以下の例では銅の価格変動について分析をしようとしているが、「The data shows no instances of decreasing copper prices（データソースには銅の価格が下落しているケースが存在しない）」という誤った返答（実際にはCopper.csvが銅の価格変動のデータとなっており、このデータを分析することで、価格の下落要因を分析することができる）をしてしまっている。 また、以下のケースでは、従業員の基本情報（年齢、勤続年数、職種）と離職者のデータを入力して、離職要因の分析を実行しようとしたが、「We need additional information to fully address your request（要望された分析の実行には追加の情報が必要）」として分析が実行できない。このように、Amazon Q in Quicksightは、簡単な分析であっても分析に失敗してしまうケースもまだまだ多いようである。 Amazon Q in Quicksightを触っての総括としては、 データを入れるだけで非常に手軽に簡易分析や可視化を、ほぼ工数０で実施できる驚異的な手軽さは魅力。 高度なデータ加工や、データクレンジングなどを実施してくれるわけではないため、入力前に綺麗なデータを準備しておく必要がある。 現状では、分析の失敗や、分析自体の誤り（信頼性）の問題があり、データ分析に詳しくない業務部門が使うツールというよりは、データ分析に詳しい分析者の補助ツール。 現状はベータ版のためレイアウトの乱れや予期せぬエラーが多く、特定のデータセットでは期待した分析結果が得られない場合がある。特に、データの結合や前処理に関する機能が限定的であり、ユーザーが手動で調整する必要があるケースが多い。正式リリースに向けて、分析の精度向上やユーザーインターフェースを期待。 Amazon Q in Quicksight自体は、まだアーリーステージの試行段階という印象であり、特定のデータセットでは期待通りの分析ができないケースや、誤った解釈を提示する場面が見受けられる。特に、データの結合やクレンジング機能が限定的であり、分析の精度や一貫性の面で課題が残る。しかしながら、エージェントAIがデータ分析の在り方を大きく変える可能性を示している点は注目に値する。 4. データ分析におけるエージェントAIの可能性とdotData Insight 上記のクーポン利用率、銅の価格下落、従業員の離職の要因をデータから分析する場合には、一般的には以下のようなステップとなる。 業務課題を分析して、データを活用した課題解決の企画を実施する（ユースケースの分析） ユースケースに対して利用可能なデータ（テーブル）を検討し収集する データの品質や、複数のテーブル間の名寄せ問題など、データクレンジングやデータ加工を実施する ユースケースで必要な目的がデータ化されていない場合には、目的変数（或いは目的となるKPI）を作成する 要因の候補の仮説を検討し、データを加工してその仮説を説明変数（特徴量）として作成する 目的変数と説明変数（特徴量）の間の関係を可視化、統計分析し、要因候補を絞り込む 要因候補としての説明変数に対して、業務施策として活用する（例えば、クーポン利用率を高めるための施策を検討する）ために、業務観点での解釈を与える Amazon Q in Quicksightは、ステップ1から5のプロセスを外部で実施した後の、整備されたデータを入力として活用し、主にステップ6（＋簡易的なデータ加工）を自動で実施する役割を果たしていると言える。 dotData Insight は、生成AI時代のデータ分析プラットフォームとして、ユースケースの分析から、データクレンジング、特徴量の発見、業務施策の提案までを包括的に支援する。Amazon Qが既に整備されたデータを活用して簡易的な分析を行うのに対し、dotData Insightはデータクレンジングや特徴量の自動生成を含む高度なデータ処理を可能にする。これにより、データ分析のプロセス全体をAIが支援できる点が大きな特長となる（一方で、dotData Insightは、現状ではAmazon Q in Quicksightのような統合的な対話インターフェースは持っていない）。 ユースケースアドバイザー によって、AIがユースケースの分析や有効なデータの検討、目的変数の作成方法をアドバイスする（上記のステップ１、ステップ２、ステップ４） AIデータクレンジング によって、AIがデータの品質問題を自動検出し、解決方法を自動的に生成する（上記のステップ３） AIが複数のテーブルの複雑な関係性を網羅的に解析、加工を実施し、特徴量を自動的に発見する（上記のステップ５とステップ６） 統計的な事実としての特徴量に対して、生成AIがビジネス解釈を与え、業務を改善するための施策を提案する dotData Insightは、これらの非常に強力なAIの要素を統合的に活用し、データ分析を実施するエージェントAIとしての進化を目指していく。 The post Amazon QuickSight x 生成AI – Amazon Q in QuickSightを触ってみた appeared first on dotData .

導入 データ分析を前提としたデータ管理のアーキテクチャは、メダリオンアーキテクチャのような革新的なフレームワークへ進化しています。このアプローチは、データパイプラインの管理とデータガバナンスの強化に対する体系的な方法を提供します。このブログでは、メダリオンアーキテクチャのコンポーネントとして、特に、Databricks Delta Lake、Unity Catalog、およびdotData Feature Factoryに焦点を当て、企業におけるデータ利活用を圧倒的に加速する、最新のアーキテクチャを紹介します。 メダリオンアーキテクチャ、Databricks Delta Lake、Unity Catalogとは 引用： メダリオンアーキテクチャとは？Databricks メダリオンアーキテクチャは、データを論理的に整理するためのデータ設計パターンで、アーキテクチャの各層を通じてデータの構造と品質を段階的に向上させることを目的としています。レイクハウスに蓄積された未加工データを、それぞれ特定の機能を持つ3つの異なる層に分割する多層アプローチです： ブロンズレイヤー : この層は、データレイクへの生データ取り込みを担当し、さまざまなソースからデータを最も細かい粒度で蓄積、保存します。 シルバーレイヤー : この中間層では、データクレンジングと変換プロセスが行われ、一貫性と信頼性が確保されます。この層は、データを標準化することで、特定の目的に依存しない分析の基礎となるデータを蓄積、管理します。 ゴールドレイヤー : 最終層は、分析用に調整されたデータに焦点を当てています。シルバーのデータに対して、さらなる変換と集約を伴い、高度な分析、レポート、および機械学習アプリケーションなど、特定の目的に最適化された精緻なデータセットを作成します。 Delta Lakeは、ACID（原子性、一貫性、独立性、永続性）トランザクションを備えたストレージ層を提供することでメダリオンアーキテクチャをサポートします。また、スキーマの適用とタイムトラベルも提供するため、ユーザーは以前のバージョンのデータにアクセスして戻すことができます。これらの機能により、Delta Lakeは信頼性が高く効率的なメダリオンアーキテクチャの構築に不可欠な要素となります。 Unity Catalogは、一元化されたデータガバナンスとセキュリティを提供し、Delta Lakeを補完します。Unity Catalogは中央集権のガバナンスを提供し、データポリシーを管理および適用するための単一のコントロールプレーンとして機能します。また、きめ細かいアクセス制御も備えており、テーブル、行、および列レベルで詳細なアクセス制御を提供し、データの系統を追跡します。 Delta LakeとUnity Catalogを統合することで、組織はシームレスで安全かつガバナンスされたデータパイプラインを構築し、データのライフサイクル全体を通じてデータの品質と整合性を維持できます。一方で、DeltaとUnity Catalogは、メダリオンアーキテクチャのためのフレームワークであり、シルバーレイヤーのデータから、目的ごとにゴールドレイヤーのデータを作成するには「特徴量エンジニアリング」を実施する必要があります。 シルバーとゴールドの橋渡し：特徴量エンジニアリングとは メダリオンアーキテクチャからみた 特徴量エンジニアリング は、シルバーレイヤーからゴールドレイヤーへのデータ変換に相当します。シルバーデータから、分析やデータ活用の目的に応じた新しい特徴量を作成するプロセスです。このプロセスは複雑で時間がかかることが多く、高品質ですぐに分析できるゴールドレイヤーのデータを作成するための重要なステップです。 特徴量エンジニアリングの重要性とその難しさ 特徴量はモデル分析に使用される入力変数であり、特徴量エンジニアリングは、ドメイン知識を使用してデータから特徴量を作成するプロセスです。これらの特徴量には、機械学習による予測モデリングや、ビジネスインテリジェンスによるデータインサイトの発見などに役立つあらゆる属性やプロパティが含まれます。 特徴量エンジニアリングには、次のようなさまざまな課題があります。 欠損データ : 不完全なデータエントリ。欠損値を適切に処理しないと、分析結果に偏りがである可能性があります。 データスケーリング : 分析目的に合わせた形にデータを変換すること。数値の正規化やMin-Maxスケーリングなどが含まれます。 データリーケージ : 予測時には利用できない情報を特徴量に利用すること。目的変数や、未来のデータに関する情報が含まれるなどがあります。 カテゴリエンコーディング : 質的変数を分析しやすい量的変数に変換するために、カテゴリデータを数値形式に変換すること。 特徴量エンジニアリングの具体例 特徴量エンジニアリングの例として、scikit-learnのBike Sharing Demandデータセットを使用して、その重要性と影響を説明します。 例: 自転車シェアリングの需要データ Bike Sharing Demandデータセットには、気象条件やタイムスタンプに関する情報など、自転車レンタルに関するタイムスタンプ付きデータが含まれています。各時間帯にレンタルされる自転車の総数を予測すると仮定します。この例では、特徴量エンジニアリングを、特徴量抽出、特徴量変換、および特徴量選択に分けて説明します。以下の例は、データをより意味のある特徴量に変換し、機械学習モデルの予測力を向上させるプロセスで、メダリオンアーキテクチャにおけるシルバーレイヤーとゴールドレイヤーを繋ぐステップとなっています。 1. 特徴量抽出 特徴量抽出のステップでは、モデルの入力となる特徴量をデータから作成ます。時系列データの文脈では、タイムスタンプからデータの時間要素を抽出することを意味します。 この例では、datetime列から時間、曜日、月を抽出し、時間に関連するパターンを捉えるための新しい特徴量を作成しています。 2. 特徴量変換 特徴量変換は、既存の特徴量をさらに変換したり、または複数の特徴量を組み合わせたりして新しい特徴量を作成します。特徴量変換では、ドメイン知識に基づいて、データの挙動をうまく表現できる特徴量の変換規則を見つけ出すことがよく行わなれます。 この例では、時間データの周期性をよりよく捉えるために、「時間」のカラムから周期的な特徴量を作成しています。 3. 特徴量選択 特徴量選択は、目的と関連性の高い特徴量を選び、モデルをシンプルにし、かつ過学習を防止してパフォーマンスを向上させます。 この例では、目的変数「count」との相関が最も高い上位3つの特徴量を選択しています。 この例は、生データをより意味のある特徴量に変換し、機械学習モデルの予測力を向上させる方法を示しており、メダリオンアーキテクチャにおけるシルバーレイヤーとゴールドレイヤーの橋渡しを実現します。 dotData Feature Factoryによる特徴量自動設計 上記で述べた特徴量を作成における特徴量の加工に加えて、どのような特徴量を作成すべきかを知ること、つまり特徴量の発見や発想が課題として挙げられます。特徴量の発見は、ドメインに対する深い、或いは広い理解を必要とし、多くのケースでは、手作業による反復作業が必要となります。 dotDataのFeature Factory は、このプロセスを簡易化する新しいパラダイムを提供します。 dotData Feature Factoryは、異なるデータソースに対するデータセットの管理を簡素化し、アナリスト、 データサイエンティスト 、データエンジニアなど、さまざまな背景を持つユーザーの実施する、データ加工に関するワークフローを簡略化します。 dotData Feature Factoryは、結合、フィルタ、集約など、複数表の組み合わせを通じて特徴量発見プロセスを自動化し、大規模かつ複雑なデータに適用可能です。また、時間的結合を自動的に処理することでデータリーケージを防止し、広大な特徴量空間を効率的に管理します。このように、dotData Feature Factoryは、最適な特徴量を体系的に探索および選択するツールを提供し、ユーザーは特徴量の重要性と関連性に基づいて評価し、モデルを正確かつ容易に調整できます。 dotData Feature Factoryは、Widgetまたはプログラム上から、ユーザーが自身のニーズに合わせて柔軟に特徴量空間をカスタマイズできるように設計されています。これによって、ドメインに特有の要件にしたがう新しい特徴量を探索に含めることができます。dotData Feature Factoryで定義された、データ前処理から特徴量エンジニアリングまでの全ての処理は、「特徴量パイプライン」に変換されます。特徴量パイプラインは、効率と一貫性を重視して設計されており、機械学習モデルやその他のアプリケーションに直接統合することができます。 dotData Feature Factoryは、特徴量エンジニアリングの試行錯誤を再利用可能なアセットへと変換し、従来の手作業かつ属人性の高いプロセスから脱却します。これによって、特徴量エンジニアリングは、アドホックな使い捨ての作業ではなく、データドリブンな意思決定を強化するためのアセットを蓄積する重要なプロセスとなります。 要するに、Feature Factoryは特徴量発見と特徴量エンジニアリングのすべての課題を一挙に処理します。これは、入力されたデータから新しい特徴量を発見し、これらの特徴量を機械学習対応の特徴量テーブルに生成するアイデアエンジンです。独自のアルゴリズムにより、膨大な特徴空間から最適な特徴量を見つけ出し、ユーザーが数十万もの新しい特徴量を精査できるようにします。Feature Factoryは、Databricksを含むさまざまなプラットフォームと容易に統合できます。 Unity Catalogを使用したリネージ追跡 Unity Catalogのリネージ追跡機能は、Databricks環境内でのデータのライフサイクル全体を可視化します。この機能は、データの透明性を高め、データの問題を発見、修正し、データ使用状況を監査し、データパイプラインでエラーが生じた際に根本的な原因を分析することができます。 リネージ追跡の主な機能 透明性と可視性: データワークフローの透明性と可視性を提供し、データライフサイクル全体でデータの出所や変換過程を追跡します。これにより、データの信頼性と品質を確保し、データ活用の効果を最大化します。 デバッグとエラー解決: データパイプラインでエラーが発生した際に、ソースに遡って追跡し根本的な原因の分析に役立ちます。これにより、問題の発見と修正が迅速に行えます。 監査とコンプライアンス: データの使用状況や変換が詳細に記録され簡単に追跡できることで、内部監査はもちろん、GDPRやHIPPAのようなコンプライアンス規制に準拠することを保証します。 実践ガイド 以下に、Unity Catalogのリネージ追跡機能の活用方法を説明します。 データの書き込み: Unity Catalogにデータを書き込み、安全に保存および管理されていることを確認します。  dotDataによるデータ変換: dotDataを使用して変換を適用し、すぐに分析可能なデータセットへと強化します。  結果の読み書き: Unity Catalogから変換されたデータを読み取り、リネージ追跡を利用して各ステップを確認しながら結果を書き戻します。 ロバストで透明性の高いデータ管理システムを維持するために、Unity Catalogのリネージ追跡が実際にどのように適用されるのか、具体的な操作をご紹介します。 これらの手順に従うことで、Unity Catalogのリネージ追跡を利用して、ロバストで透明性の高いデータ管理システムを維持できます。データの読み取りから変換、そして書き込みまでの各操作が追跡されるため、データの流れが明確になり、データの整合性とコンプライアンスが確保されます。 詳細については、Unity Catalog とそのリネージ追跡機能に関する こちら のDatabricksの公式ドキュメントを参照してください。 Databricks Delta LakeとUnity Catalog にdotData Feature Factory を統合 Databricks Delta Lake と Unity Catalog に dotData Feature Factory を組み合わせることで、強力なシナジーが生まれます。 Delta Lakeは、ACIDトランザクション、スキーマの適用、およびタイムトラベルなどの機能を通じて、信頼性の高いデータストレージと一貫性のあるデータ処理を実現します。これらの機能は、データの整合性を維持し、バッチ処理とストリーミング処理をシームレスに行うことができます。 Unity Catalogは、詳細なアクセス制御でセキュリティとコンプライアンスを確保し、データリネージ追跡でデータの出所と変換過程を追跡します。また、データディスカバリー機能によりデータを簡単に検索・共有し、効率的なコラボレーションを促進します。 dotData Feature Factoryは、複雑で時間のかかる特徴量エンジニアリングのプロセスを自動化します。特徴量の作成、発見、管理を簡素化することで、データからすぐに分析できるデータセットへの移行を加速させます。 これらの技術を組み合わせることで、データライフサイクル全体を強化し、メダリオンアーキテクチャのシルバーレイヤーからゴールドレイヤーへの移行が飛躍的に効率化され、高品質で豊かなレイヤーを実装できます。 The post Databricks DeltaとUnity Catalogを超えて：dotDataのFeature Factoryによるメダリオンアーキテクチャの革新 appeared first on dotData .

DatabricksのFeature StoreとAutoMLの紹介 DatabricksのAutoMLと特徴量ストアとは、Databricksのエコシステムにおいて重要な組み合わせで、データサイエンスと機械学習の分野に革新をもたらします。このブログでは、これらのツールの基本を解説し、これらが機械学習モデルのトレーニングと管理を簡単にするだけでなく、効率的でスケーラブルにする方法を見ていきます。また、DatabricksとdotData Feature Factoryの統合について深く掘り下げ、そのメリットを理解し、データサイエンスプロジェクトで効果的に活用するための実践的なヒントとステップを紹介します。 Databricks Feature Storeとは何か Feature Store（特徴量ストア）は、複数のモデルにまたがる機械学習の特徴量の検出し、一元的に管理、共有するためのリポジトリを提供します。特徴量を簡単に保存、検索できる統一的なインタフェースを提供することで、データサイエンティストの特徴量エンジニアリングを効率化します。Databricks Feature Storeは、統合されたDatabricksのエコシステムの一部であり、DatabricksおよびdotDataを使用する際に、さまざまな利点をもたらします。Feature StoreはDatabricksの他のコンポーネントと完全に統合されているため、ツール間の連携がスムーズです。例えば、DatabricksのワークスペースからアクセスできるFeature StoreのUI（特徴量を管理するためのインターフェース）は直感的で、既存の特徴量をブラウズまたは検索できます。これにより、データサイエンティストは既存の特徴量を迅速に見つけて再利用でき、新たな特徴量の開発を効率化することができます。 また、モデルのスコアリングとサービングとも統合されていることもメリットの１つです。モデルのトレーニングに使用される特徴量がFeature Storeから選択されると、そのモデルは特徴量メタデータと関連付けられます。バッチスコアリングやオンライン推論の操作中に、Feature Storeから必要な特徴量を自動的に取得します。これにより、運用する側は特徴量について気にする必要はなく、簡単にモデルのデプロイや更新ができます。 さらに、Databricksは各特徴量の正確なリネージを保証します。このリネージ機能により、特徴量の元となるデータソースだけでなく、特徴量を使用する全てのモデル、ノートブック、ジョブ、エンドポイントにアクセスできるようになります。ユーザーが特徴量の依存関係やプロジェクトでの使用状況を確実に把握できるように、リネージによってデータの透明性を高めることができます。 Databricks AutoML（機械学習自動化）とは Databricks AutoMLは、モデル学習に直感的なアプローチを採用し、回帰、分類、予測など、それぞれの問題に合わせて多様な機械学習アルゴリズムに基づいてモデルを学習、評価します。これには決定木 、ロジスティック回帰 、アンサンブル学習などが含まれます。そして、モデルの評価では、再現率や平均二乗誤差（MSE）といったさまざまな評価指標が表示され、各モデルのパフォーマンスを比較できます。各モデルにはPythonノートブックが添付されています。そのため、どのようにモデルが学習され評価されたのかソースコードを確認することができ、機械学習プロセスを確認、再現、修正できることで、機械学習プロジェクトの透明性が高まります。さらに、データセットの全ての統計量サマリ は、後の詳細な分析のために保存されます。このように、複数のアルゴリズムでモデルを生成し、それぞれのパフォーマンスを比較でき、さらにモデル学習に利用したデータの特徴を視覚的に理解できるため、より信頼性の高い意思決定が可能となります。 Databricks AutoMLでは、データセット内の数値、二値、カテゴリ値の変数を処理することができます。Databricks AutoMLは柔軟なデータ分割オプション、たとえばランダム分割、時系列分割、手動分割などを提供し、分析の性質に応じて、データを学習用、評価用、テスト用に分割し適用することができます。また、大規模なデータセットに対しては、学習に必要なメモリを自動推定し、必要に応じてデータの整合性を損なうことなくサンプリングを行い、メモリ不足によるエラーを防止することができます。さらに、Databricks AutoMLは不均衡なデータセット（たとえば正例と負例の比率が1対99のようなデータ）に対して、主要クラスをダウンサンプルし重みを追加することで、不均衡なデータセットの問題を解決し、バランスの取れた学習とロバストなモデルを実現します。 特徴量エンジニアリングのための Apatch Spark SQLとSpark DataFramesの利用 特徴量エンジニアリングは機械学習パイプラインの重要なステップであり、モデルを構築するために、生データを前処理し学習に適した形式に変換するプロセスです。Databricksでは、Spark SQLとSpark DataFramesを使用することで、このプロセスを大幅に強化することができます。 Spark DataFramesはpandas DataFramesに似ていますが、分散処理を前提として設計されており、大規模データに対してより高いパフォーマンスを発揮します。また、データ操作、集約、変換のための関数を豊富に提供します。Spark DataFramesは、名前付きのカラムでまとめられるデータの分散型コレクション（データを分散して格納し、並行処理を行うことで大規模データセットを効率的に処理する仕組み）です。概念的にはリレーショナルデータベースにおけるテーブルや、RやPythonにおけるデータフレームと同じものですが、内部ではさまざまな最適化が行われています。Spark DataFramesは幅広いデータフォーマット（CSV、JSON、Parquetなど）やデータソース（構造化データファイル、Hiveテーブル、外部データベース、既存のRDDなど）をサポートしており、多様なデータセットに対応できます。このSpark DataFramesをDatabricks Feature Storeと組み合わせて利用することで、スケーラブルで効率的なデータ処理を可能にし、特徴量エンジニアリングのプロセスを迅速に進めることができます。  Spark SQLは、データを使用しSQLとして操作するための機能を提供し、Dataframeに展開されたデータに対して、データの操作や分析が直感的かつ効率的に行えます。Spark SQLは分散処理を利用して大規模なデータセットに対して高速にクエリを実行でき、データ分析や処理の効率を大幅に向上させます。Spark SQLをDatabricksに統合することで、使い慣れたSQL構文を使用して簡単に特徴量を作成できるようになり、生産性が向上します。また、さまざまなデータソースに簡単にアクセスでき、Spark SQLを使って一貫した方法でデータ操作ができるため、データ統合と管理が容易になります。 dotData Feature Factoryによる特徴量自動設計 特徴量の発見はデータサイエンスの重要な要素ですが、従来、ドメインの専門家の知識と、職人芸とも言える経験と勘による手作業と反復作業を必要としてきました。しかし、dotData Feature Factoryは、このプロセスを簡易化する新しいパラダイムを提供します。 dotData Feature Factoryについて dotData Feature Factoryは、異なるデータソース間に対するデータセットの管理を簡素化し、アナリスト、データサイエンティスト、データエンジニアなど、さまざまな背景を持つユーザーの実施するデータ加工に関するワークフローを簡略化します。このように、チーム間の連携を強化し、データを統合することで、大規模なデータもつ企業に対して、オープンでスケーラブルなデータソリューション開発を実現します。 dotData Feature Factoryは、結合、フィルタ、集約など、複数表の組み合わせ通じて特徴量発見プロセスを自動化し、大規模かつ複雑なデータに適用可能です。また、時間的結合を自動的に処理することでデータリーケージを防止し、広大な特徴量空間を効率的に管理します。このように、dotData Feature Factoryは、最適な特徴量を体系的に探索および選択するツールを提供し、ユーザーは特徴量を重要性と関連性に基づいて評価し、モデルを正確かつ容易に調整できます。 dotData Feature Factoryは、Widgetまたはプログラム上から、ユーザーが自身のニーズに合わせて柔軟に特徴量空間をカスタマイズできるように設計されています。これによって、ドメインに特有の要件にしたがう新しい特徴量を探索に含めることができます。dotData Feature Factoryで定義された、データ前処理から特徴量エンジニアリングまでの全ての処理は、「特徴量パイプライン」に変換されます。特徴量パイプラインは、効率と一貫性を重視して設計されており、機械学習モデルやその他のアプリケーションに直接統合することができます。 dotData Feature Factoryは、特徴量エンジニアリングの試行錯誤を再利用能なアセットへと変換し、従来の手作業かつ属人性の高いプロセスから脱却します。これによって、特徴量エンジニアリングは、アドホックな使い捨ての作業ではなく、データドリブンな意思決定を強化するためのアセットを蓄積する重要なプロセスとなります。dotData Feature Factoryは、Databricksを含むさまざまなプラットフォームと簡単に統合できるため、既存のワークフローにシームレスに適合し、データサイエンスチームが企業データを効果的に活用できるようにします。 Databricks Feature StoreとAutoMLにdotData Feature Factoryを統合 dotData Feature Factoryは、Databricks内のデータワークフローを自動化および最適化し、スケーラブルな機械学習モデルの構築とデプロイを簡素化します。dotData Feature FactoryをDatabricks Feature StoreとAutoMLと組み合わせてワークフローに組み込むことで、機械学習プロセスの自動化を強化し、高いスケーラビリティと効率性を実現します。 Databricks Feature StoreとdotData Feature Factoryを組み合わせることで、機械学習における特徴量の管理を目的とした、便利で効率的な特徴量ストアが実現します。dotData Feature Factoryで作成した特徴量テーブルは、Delta Lake上に構築されたDatabricks Feature Storeに格納できるので、高い信頼性とパフォーマンスの元、データを管理できます。これらのテーブルの作成はSpark DataFramesから行われ、Feature Storeに登録すると、ソース情報、変換用ノートブック、計算ジョブに関する情報を含むメタデータも更新されます。これにより、学習や推論ワークフロー全体での特徴量データの管理が非常に容易になります。 Databricks Feature StoreにはFeatureLookupという、機械学習モデルに必要な特徴量を特定のキーに基づき検索し、結合する機能があります。 この機能を利用することで、複数のdotDataの特徴量テーブルから必要な特徴量を検索し、データセットに結合できます。また、時系列データにも対応可能で、過去の取引履歴やセンサーデータなど、時間軸に沿ったデータを適切に結合し、時系列特徴量を生成することで、データリーケージを防止しながら学習用のデータセットやリアルタイム予測に必要なデータを効率的に取得できます。 例：Databricks Feature Storeを使用した特徴量の検索 このように、Databricks Feature Storeは、再利用可能な特徴量のデータセットを迅速に構築でき、データの一貫性が保たれるため、特徴量エンジニアリングを通じて発見されたデータを使用してモデルの学習、デプロイまで、機械学習のライフサイクルが効率化されます。詳しくは、「 Feature Storeとは 」を参照ください。 以下に、Databricks Feature Storeを使用して、特徴量テーブルを作成し、FeatureLookupを設定する例を示します。 dotDataとDatabricks AutoMLの統合による効率的な機械学習 複数の自動化ツールを統合することで、機械学習モデルの開発とデプロイプロセス全体を自動化することができます。この目的のため、dotData Feature FactoryをDatabricks AutoMLを組み合わせることで、特徴量エンジニアリング、特徴量選択、それに続くモデル選択、ハイパーパラメータ調整のプロセスを自動化します。 引用： AutoML Databricks この統合の概要： dotData Feature Factoryを活用することで、データサイエンティストは特徴量エンジニアリングを素早く正確に行うことができます。特徴量の抽出と検証を対話的に繰り返せることで、高次の特徴量を導き出すことができます。 dotDataが生成した特徴量テーブルをDatabricks内で利用することで、データの一貫性と再利用性が確保されます。これにより、特徴量エンジニアリングが効率化され、学習データの準備を迅速に行え、モデル開発のスピードが改善されます。  Databricks AutoMLは、モデルの学習と評価を自動化し、dotDataの特徴量を活用することで、より高品質なモデルを構築し、最も効果的なモデルを簡単かつ迅速に選択します。 Databricks AutoMLで生成されたモデルをMLflowにログ（記録）することで、モデルのトラッキングと管理が容易になります。これにより、モデルのバージョン管理や再現性が確保され、実験結果の共有と比較が効率的に行えます。 このように、dotData Feature FactoryとDatabricks AutoMLを統合することで、効率性、モデル精度、ロバスト性、スケーラビリティ、ガバナンスにおいて大きなメリットが得られます。 例：dotDataで生成した特徴量テーブルでAutoMLを実行 以下に、Databricks AutoMLを使用して、特徴量テーブルから分類モデルを学習し、予測を実施する例を示します。 まとめ dotData Feature FactoryをDatabricks AutoMLとFeature Storeに組み込むことで、機械学習パイプラインの効率が向上するだけでなく、複雑なモデル学習と特徴量エンジニアリングに簡単に対応できるようになります。このワークフローにより、プロセス全体にかかる時間を大幅に短縮できるだけなく、機械学習モデルの精度と信頼性が高まります。 DatabricksのAutoMLの詳細については、 Databricks AutoMLの公式ドキュメント を参照ください 。公式ドキュメントでは、Databricks AutoMLが、特徴量の前処理からハイパーパラメータ調整まで、機械学習のライフサイクルのさまざまな段階をどのように簡素化し、自動化するかについて説明しています。 Databricks Feature StoreとAutoMLをdotData Feature Factoryに統合することで、ワークフローの合理化が促進され、機械学習モデルのパフォーマンスが向上します。これらのツールを活用することで、これまでデータサイエンティストが手作業で行ってきた作業を最小限に抑え、モデルの精度を高め、最終的にデータソリューションを市場へ素早くリリースすることができます。 次回のブログでは、Databricks Delta Lake、Unity Catalog、そしてdotData Feature Factoryに重点を置き、企業におけるデータ活用を飛躍させる最新のアーキテクチャを紹介します。詳細につきましては、 こちら を参照してください。 The post Databricksの特徴量ストア（Feature Store）とAutoMLの力を最大限に活用 appeared first on dotData .

特徴量設計とは？ 例えば、機械学習や人工知能を応用した顧客の解約予測、製品需要予測、商品の売上予測など、ビジネス上の重要かつ複雑な問題に取り組んでいるとしましょう。機械学習による予測分析では、よりよい機械学習のアルゴリズムや手法を選ぶことが成功の鍵であると思われがちです。ロジスティック回帰、決定木、ブースティング、ニューラルネットワークなど、適切な機械学習のモデルを選び、予測精度と解釈性のトレードオフを考慮しながらモデルをチューニングする作業も、モデル開発にとって欠かせない工程です。一方で、Garbage-in, Garbage-out（ゴミを入力すると、ゴミが出力される）という有名な言葉の通り、機械学習モデルを訓練するための入力データの準備が、多くの場合、機械学習の成否を決めます。この、機械学習モデルを訓練するための入力データ（説明変数）の準備を、特徴量設計、或いは、特徴量エンジニアリング、といい、特徴量とは説明変数とほぼ同じ意味と考えることができます（現代機械学習における特徴量は、ディープラーニングに非構造化データからの特徴量を含み、古典統計における特徴量よりも広い意味で使われます）。 機械学習や統計の教科書では、目的変数（Y）と説明変数（X）があり、その関係性を統計的に学習或いはモデル化すると説明されています。また、説明変数Xに対して、例えば、 カテゴリ変数に対してワンホットエンコーディング を適用したり、数値変数に対する四則演算或いはlog変換を適用したり、或いは主成分分析のような多変量解析を利用して、Xから新しい変数を作成する工程が特徴量設計として説明されています。 この「説明変数（X）」は、どこからやってくるのでしょうか？実際の業務データは、顧客、製品、従業員などエンティティの異なるマスターテーブルや、履歴テーブルや時系列データのようなトランザクションなど、様々な形の異なるテーブルにデータが分かれて、データベースに蓄積されています。現実の機械学習プロジェクトにおける特徴量設計とは、このように業務のために蓄積されたローデータからドメイン知識に基づいて機械学習に入力できる説明変数（一枚表）を作成するプロセスです。目的変数（業務課題）に対して適切な特徴量を設計するためには、業務知見、データ加工、数学・統計など、さまざまなスキルが必要になります。特徴量を設計するためには、通常、SQLなどを駆使して多数のクエリを実装し、多くのデータ操作と変換を実行する必要があります。以下の模式図は、構造化データ（業務データの多くは、構造化されデータベースに蓄積されています）を特徴量に変換する様子を表しています。 なお、本ブログでは、特徴量エンジニアリングの中でも、複数のテーブルに分かれた業務データから機械学習の入力となる説明変数（特徴量）を見つけ出す工程に焦点をあて、特徴量選択には深く踏み込みません。特徴量の選択は多数の特徴量の候補がから、有効な特徴量を選択する重要な工程ですが、説明変数Xが準備されてから適用することができます（なお、dotDataの特徴量自動設計のように数百万もの特徴量を探索させる場合には、Xをメモリ上に展開することができないため、特殊な特徴量選択のテクニックが必要となります）。 特徴量設計の重要性 前節で説明したように、機械学習による予測モデルの品質や予測精度は、入力データとなる特徴量の品質に左右されます。例えば、顧客が短期間のうちにコールセンターに何度も問い合わせをしてきた場合には、顧客が何らかの不満やトラブルを抱えている可能性が高く、例えば「３日間のコールセンターへの問い合わせ回数」は、解約予測のための有効な特徴量となるかもしれません。或いは、小売り店舗にとって、「周辺2km以内で体育祭をやる学校があるかどうか」が、商品の需要予測精度向上に効く特徴量になるでしょう。 このように、特徴量設計は、予測精度を高めるための複雑な数学や統計的な変換を見つけ出す以上に、目的変数（ビジネスの課題）と関係性の深い意味のある「特徴」を見つけ出すことが重要です。一方で、そのような特徴量を見つけ出すためには、ドメインの知識（業務に関する知識や、ビジネス課題に対する経験と直感）、データの知識（データ項目の意味や、テーブル間の関係性）、統計・機械学習の知識（統計的な安定性や予測力）といった様々な知識が求められ、特徴量設計は機械学習モデルを開発するプロセスの中で、最も重要かつ最も難しい工程と言われています。データ加工、特徴量設計、機械学習と可視化という一連のプロセスの中で、機械学習は統計数理という業界非依存のスキルとして比較的身につけやすい一方で、データ加工や特徴量設計は、業界や業務、或いは個別企業に特有のデータやドメインの知識が求められるため、知識やノウハウの蓄積が非常に重要になります。 特徴量設計の代表的な手法 特徴量設計には、様々な手法がありますが、大きくは入力データのタイプによって分類することができます。 例えば、カテゴリ属性に対する最も一般的な特徴量設計の方法は、カテゴリ属性を数値表現に変換するというものです。これは、カテゴリ値を数値へとエンコード（符号化）し、これによって多くの機械学習アルゴリズムにとって扱いやすい新しい数値属性を生成します。基本的なワンホット・エンコーディングやラベル・エンコーディング、目的変数の情報を考慮したターゲット・エンコーディングなどが代表的です（各手法の詳細は、 カテゴリ属性に対する特徴量設計 を参照してください）。 時間情報に基づく特徴量も非常に重要かつ、特に時系列予測において、機械学習モデルの予測精度の向上に大きく寄与します。時系列データに対する特徴量には、ラグ特徴、時間間隔特徴、タイムスタンプと時間的イベント、フーリエ変換やウェーブレット変換などより高度な数学的変換に基づく特徴などが代表的です（各手法の詳細は、 時系列データの特徴量設計 – パート2 を参照してください）。 その他にも、 位置・空間情報に基づく特徴量 や、テキストや音声などの非構造化データからの特徴量など、データの性質や、ビジネスの課題（目的変数）によって、特徴量とは無限に可能性があり、特徴量設計は分析者のアイデアやスキルといった属人性が高くなりがちです。 業務データからの特徴量設計 前節で、いくつかのデータタイプに関する特徴量と特徴量設計について説明しましたが、このブログの冒頭で説明したように、現実のプロジェクトにおける特徴量設計の難しさは、多数の異なるテーブルから特徴量のアイデアを考え、そのデータを加工する複数表の取り扱いにあります（複数表からなる業務データからの特徴量設計については、 このブログでより詳細を解説 します） 例えば、クレジットカードの解約予測を考えてみます。解約者の情報、顧客マスター、支払い履歴という３つのテーブルがあったとします。この例では、例えば、顧客の職種という特徴は、顧客マスターと解約者テーブルを結合（join）すれば特徴量化することができますが、支払い履歴は一人の顧客が複数レコードを持つために、各顧客ごとにどの期間のデータを紐づけるのか？また複数のレコードをどのように集約して一つの特徴量とするのか？といった問題があります。さらに、男性の顧客に限定して支払い履歴を分析しようとすれば、顧客マスターと支払い履歴のテーブルの組み合わせを考えることが必要になります。 テーブル数が３つのケースであれば、まだ手作業による特徴量設計もできそうですが、現実の業務データはさらに多数のテーブルが、より複雑な関係性でつながっています。このような複雑なデータに対して、経験や直感、属人的なスキルによって特徴量を設計することは容易ではなく、経験豊富な専門家であっても、一つの機械学習プロジェクトに対して数週間から数ヶ月もの時間がかかる大きな要因となっています。 特徴量を自動的に抽出し、機械学習による高度な予測や、ビジネスの洞察を導き出す dotDataは、独自のAI（特徴量自動設計技術）の導き出す特徴量によって、全ての企業がデータに基づき、より良い製品やサービスを生み出すことができる世界を目指し、特徴量を自動的に抽出し、高度な予測分析やビジネスの洞察を導き出します。 特徴量設計の自動化は、従来のデータ分析や機械学習のプロセスを大きく変える可能性を秘めています。スキルの障壁を大幅に下げ、手作業による何百、何千ものSQLクエリ実装作業を排除し、完全なドメイン知識がなかったとしても、素早く分析プロジェクトを回すことができます。また、膨大な特徴の仮説をわずか数時間で探索し、これまで気づかなかったデータに隠された知見を発見し、データから得られるビジネスの洞察を強化します。 dotData Feature Factory は、特徴量エンジニアリングをデータ中心のアプローチへと進化させます。特徴量空間をプログラム的に定義することで、手作業では不可能な圧倒的に広い範囲の特徴量仮説を自動生成し、ユーザーのデータや業務に関する知識を再利用可能なプロセスとして分析データベースに記憶します。また、発見した新しい特徴量を、本番環境で利用可能な特徴量パイプラインを自動生成ます。 dotData Enterprise は、特徴量自動設計と機械学習自動化（AutoML）によって、AIの専門知識やコーディングなしで、業務データから特徴量の抽出、そして機械学習による予測モデルの構築まで、ワンストップでAIを開発することができます。 dotData Insight は、特徴量を、生成AIの「世界知識」で補完し、実用的なビジネス仮説を生み出す ビジネスアナリティクス のプラットフォームです。この融合により、業務部門は、データの洞察を直感的に理解し、新しいビジネス仮説を立て、戦略立案や施策実行をより効果的に行うことができます。 The post 解説：機械学習のための特徴量設計 appeared first on dotData .

生成AIは、さまざまな業界で大きな変革を起こし始めています。このブログシリーズは、企業におけるデータ活用の新しい地平を開く、生成AIの可能性について解説します。その第四弾となる本ブログでは、 生成AI の仕組みを解説し、生成AIを効果的に使う上で最も重要な技術である、プロンプトエンジアリングについて解説します。 生成AIの仕組みとプロンプト 生成AIは機械学習の技術を元に作られています。機械学習は、コーパスと呼ばれる入力と期待する出力のデータのペアを元に、入力と出力の関係をモデルとして学習し、入力のみが与えられた場合に、出力を返す、という技術です。この観点では、生成AIも機械学習の技術の1つと捉えられます。 しかし、従来のAIと、生成AIの大きな違いは、規模と汎用性にあります。従来のAIは、特定のタスク、例えば、機械翻訳、文書要約、画像認識といったタスクに特化されてきました。このため、タスクに特化したコーパスが用意され、学習したモデルはそのタスクでしか使用できません。これは、入力と出力の関係は非常に複雑で、その関係をモデル化するには各タスクに特化したアルゴリズムが必要であり、一つのモデルが複数のタスクをこなすことは難しいと考えられていたためです。 しかし、深層学習技術の発展と計算機の進化により、生成AIが登場しました。生成AIは、桁違いに大きいコーパスで、桁違いに大きいパラメタを持つニューラルネットワークを学習させたAIモデルです。例えば、OpenAIのGPT 4.0では、5000億から数兆のパラメタを持つ、と言われています。これにより汎用的な入力と出力の関係をモデル化できるようになり、タスクを定義するテキスト自体も入力に含めて処理できるようになりました。 生成AIは、大規模コーパスに含まれる知識が詰まった知識ベースとして考えることができます。これを活用するために重要になるのが、生成AIに与える「指示」です。　この「指示」は、プロンプトと呼ばれており、生成AIをうまく使うための重要なコンセプトになっています。 プロンプトエンジアリングとは？ プロンプトエンジニアリングとは、生成AIを効果的に活用するために、言語モデルへの命令（プロンプト）を最適に設計する技術で、学問分野としても認知されるようになってきています。例えば、ChatGPTへ効果的な命令（プロンプト）をすると質の良い対話ができるように、プロンプトは生成AIがどのような情報を出力するかを決定する重要な要素であり、正確で適切なプロンプトを設計することが重要であるとともに、few shot promptingのように具体的な例示をすることで、生成AIから狙った回答を引き出すことができます。 プロンプトエンジニアリングについては様々な情報が公開されていますが、ここではOpenAPIが公式に提供している プロンプトエンジニアリングのガイド で述べられている6つのポイントを紹介します。この文書は多様なユースケースを考え長い内容になっているため、本ブログでは、企業内のデータ分析のユースケースにおいて、具体例を交えてエッセンスを絞り紹介することで、データ分析の文脈で生成AIを効果的に使う方法をお伝えします。 プロンプトエンジニアリングの6つのガイドライン 1.明確な指示を書く 生成AIは人間と同じく指示が不十分だと期待しない結果を返すことがあります。また、データ活用のコンテキストでは、生成AIの出力を別のプログラムで処理したいことが多く、厳密に出力フォーマットを定義することが重要になります。「明確な指示」という言葉自体が曖昧ですので、ここでは自然言語で書かれたアンケートの集計を行う、というユースケースの例を見てみましょう。あなたは千件以上の自由記述アンケートのデータを持っています。これを目で読むのは大変なので、それを生成AIに集計させることにしました。 良いプロンプトの例： このプロンプトでは以下の点がポイントになっています。 背景も含めて説明する（1行目） 実現したいタスクを具体化し過不足なく記載する（2行目) 特にここでは集計の観点「待ち時間に対する不満」までを具体的に指示するようにしています。この場合、観点ごとにプロンプトを作る必要がありますが、こういった観点自体を生成AIに考えさせ、プロンプト自体を作成させる、という使い方も考えられます。 曖昧性が生じそうな部分には補足を与える(3行目) 区切り文字(“””)などで、データと指示を明示的に分ける(4行目、14行目) 出力フォーマットを例示する(最後の5行) 2.根拠を出すよう指示する 生成AIには、 ハルシネーション と呼ばれる問題があります。生成AI、事実とは異なるそれらしい回答を出すことがあります。嘘の無い結果を得るには、根拠を示すよう指示することが有効です。 先ほどと同じアンケートの集約の例では「各回答に「待ち時間に対する不満」が含まれるか否かを判定し、含まれるか否かをYesかNoで回答してください。 さらに、その不満を言及している箇所も出力してください。 」と指示することが有効です。 3.複雑なタスクをより単純なサブタスクに分割する 複雑なタスクを曖昧なまま与えると生成AIが誤った理解に基づき出力を出すため、期待と異なる結果を返す可能性が増えます。生成AIに実行させたいタスクがサブタスクに分割できる場合、ステップバイステップで指示を与えることが好ましいです。例えば、顧客との会議の書き起こしデータを要約させるユースケースを考えます。 悪いプロンプトの例： 良いプロンプトの例： 4.モデルによく考えさせる指示を与える 一般に、端的な指示を与えることは良いことですが、生成AIに端的な質問のみを与えると単純なつまらない回答を示す傾向があります。生成AIにより深い洞察を期待する際には、生成AIにどのような観点での洞察を求めるかを指示したり、出力の数を増やして指定することで、深く、幅広く考えさせることが重要です。深い洞察を期待するタスクの例として、データ分析で得られた情報の解釈を生成AIに手伝ってもらう、というユースケースを考えます。 悪いプロンプトの例： 良いプロンプトの例： 5.外部のツールを使用する 生成AIは汎用的なツールですが、他のツールを用いた方が効果的なシーンがたくさんあります。例えば、現状の生成AIに表構造のデータそのものを入力として与え、データ分析を行わせることは効果的ではありません。一つ上の解約分析の例では、「40代の女性の顧客は、一般の顧客に比べ、入会後3ヶ月に解約する確率が1.5倍以上である」という分析結果だけを生成AIに与えています。データ内から統計的なパターンを見つけ出す作業は、それに特化した別のツールで実施した方が、正確性やスケーラビリティなど、さまざまな観点でメリットがあります。このように、プログラムや他のツールで実施可能なところは他のツールで解消し、生成AIに与えるべきタスクをよく考えることが重要になります。 6.修正を体系的に評価する プロンプトのチューニングにおいては、プロンプトの修正を行った後その結果をきちんと評価し改善していくことが重要です。この際のポイントとなるのは、期待する結果の正解を用意しそれと比較して評価すること、そして、比較による評価指標を定義し、その指標に基づき各プロンプトの良さを定量的に評価することです。 例えば、一つ目の例で示した、自然言語で書かれたアンケートの集計を自動化するプロンプトの設計を考えてみましょう。 このタスクでは、各回答に「待ち時間に対する不満」が含まれるかどうかを判断するものでした。この場合、最初に少数のデータを人間が読み、正解の例を作ること、そして、このデータをテストデータとしてあるプロンプトで生成AIが出力した結果と比較し、何％の精度が出るかを確認することをお勧めします。 要約のような結果の正解判定が難しいようなケースでは、評価用のプロンプトで生成AIを使って評価することをお勧めします。例えば、会議書き起こしの要約タスクの例では、人間が作った要約と生成AIが作成した要約と比較するプロンプトを作り、その結果を元に生成AIで評価することが推奨されています。 要約結果を評価する指示の例： dotData Insight – 特徴量と生成AIが変革するビジネスアナリティクス dotDataでは、「データからの知識」である特徴量と、生成AIを融合した dotData Insight によって企業の ビジネスアナリティクス を推進しています。生成AIは、企業内のデータ活用において、データの加工・解釈を助ける重要なツールになりうる存在ですが、生成AIだけで全てが解決できるわけではありません。dotData Insightは、dotDataの独自のAIが、従来の手作業による分析では発見することができなかった、或いは、数週間から数ヶ月もの時間がかかっていた、複雑な業務データの重要なパターン（特徴量）を抽出し、そのパターンの解釈を生成AI、LLM（大規模言語モデル）が支援することで、データからの仮説立案や施策設計を支援します。 生成AIに関するブログシリーズ 生成AIブログ – パート1　： 生成AIとは？ – 生成AIは企業のデータ活用をどのように進化するのか？ 生成AIブログ – パート2　： LLMとは？ – 大規模言語モデルのデータアナリティクス応用 生成AIブログ – パート3　： 生成AIとLangChain 生成AIブログ – パート4　：生成AIの可能性を引き出す効果的なプロンプトエンジニアリングの方法　（このブログ） 生成AIに関するウェビナー 生成AIのセキュリティ 併せて読みたい： 生成AIによる業務効率化の方法9選を解説！メリットや導入方法も紹介 The post 生成AIの可能性を引き出す効果的なプロンプトエンジニアリングの方法 appeared first on dotData .

はじめに 生成AIは、さまざまな業界で大きな変革を起こし始めています。このブログシリーズは、企業における データ活用 の新しい地平を開く、 生成AI の可能性について解説します。その第三弾となる本ブログでは、テキストの生成AIである大規模言語モデル（LLM）を使ったアプリケーションの開発を効率化するフレームワークであるLangChainを紹介します。 現在、様々な大規模言語モデルが発表され、それぞれのモデルは急速な進化を続けています。新しいモデルが発表されるたびに各ベンチマークにおけるランキングは変わり、またドメイン特化型のモデルなども登場してきています。LLMを用いた分析ツールやアプリケーションの開発において、新しいモデルへの対応や、分析ドメインに応じたモデルの切り替えなどが非常に重要なってきており、LangChainを使用することで開発を非常に効率的に進めることが可能になります。 生成AIの種類と進化 ここでは特にテキストの生成AIである 大規模言語モデル（LLM）について 、その種類と進化について見ていきたいと思います。代表的なものでも、OpenAI社のChatGPT（チャットGPT）、Google社のGemini（ジェミニ）、Meta社のLlama（ラマ）、Anthropic社のClaude（クロード）といった様々なLLMあるいはLLMフレームワークが発表されています。また、日本語などのある特定の言語に特化したLLMや、医療などの特定のドメインに特化したLLMも出てきています。各LLMの評価には、様々な観点でのベンチマークがあり、例えば、言語理解テスト、テキスト推論テスト、数学テスト、コーディングテストなどにおけるスコアが比較されています。評価の観点によってどのLLMが良いかも変わり、さらに新しいLLMが登場するたびにそのランキングは常に変化しています。LLMアプリケーションを開発する際には、目的にあったベンチマークスコアや、実際に使ってみた応答を評価して、適したLLMを選ぶことが重要です。また、精度以外にも、暴力的、性差別的、人種差別的などの表現がないかといった倫理的な観点もあり、様々な視点で総合的に判断する必要があります。 これらの大規模言語モデルはここ数年で急速な進化を続けています。OpenAI社のGPTを例にその進化を見てみましょう。2018年に、OpenAI社は最初のGPTシリーズのモデルGPT-1を発表しました。トランスフォーマーと呼ばれる画期的な深層学習の手法を導入することで、当時のさまざまなベンチマークにおいて、最高レベルの性能を達成しました。2019年、2020年と、OpenAI社は、より多くの深層学習のパラメータ、学習データサイズを用いた新しいモデルGPT-2、GPT-3を発表しました。2022年、人間によるフィードバック技術によるさらなる回答性能の改善がおこなわれ、さらにチャットというインタフェースを持ったChatGPT3.5が登場しました。そして2023年には、テキストに加え画像データにも対応したGPT4が登場しました。GPT4は、米国司法試験で400点満点中298点という上位10%に含まれるスコアを出してことでも話題になりました。以上見てきたように、生成モデルの進化は非常に早く、毎年のように新しいモデルが発表されます。 大規模言語モデルにはさまざまな種類があり、目的に応じてどれが良いかが変わってくること、さらにそれらのモデルは毎年のように新しいモデルが発表されることを見てきました。最適なモデルを使い続けるには、こうしたモデルの変化に追従していくことが必要になります。 LangChainとは？ LangChainは、大規模言語モデルを活用したアプリケーションを開発するためのフレームワークです。前節で見たように、モデルの進化のスピードは速く、新しいモデルに素早く追従するのは容易ではありません。LangChainを用いることで、具体的なモデルを隠蔽した抽象レイヤーを用いてモデルを扱うことができ、複数の異なるモデルへの対応や、新しいモデルが出た時の対応も容易に行うことができます。それらのメリットに加え、LangChainを用いて大規模言語モデルを活用したアプリケーションを構築することで、開発者には以下のような様々なメリットがあります。 複数モデルへの対応、新しいモデルへの対応の容易化 LangChainを使うと、各具体的なモデルやその操り方を隠蔽した抽象レイヤーを用いて、アプリケーションを記述することができます。これにより、アプリケーションのロジックは、具体的なモデルには非依存になり、複数の異なるモデルへの対応や、新しいモデルへの対応が容易に行えることになります。 アプリケーション実装の効率化 LangChainのビルディングブロックやコンポーネントを組み合わせるだけでアプリケーションを構築することができます。また、典型的なアプリケーションのテンプレートが用意されているため、一からアプリケーションを書かなくても、必要な箇所を修正するだけでアプリケーションを実装することができます。 デバッグ、テストの効率化 LangChainの機能の1つであるLangSmithを使用すると、大規模言語モデルを利用したアプリケーションにおける、モデルの応答を容易に検査、監視、評価することができ、デバッグとテストを効率的に行うことができます。 デプロイの効率化 LangChainの機能の1つであるLangServeを使用すると、大規模言語モデルへの問い合わせを行うアプリケーションを、すぐにWebAPIに変換することができます。 LangChainは、アプリケーションと大規模言語モデルの間に抽象レイヤーを提供し、多モデル対応や新モデル対応を容易にするとともに、大規模言語モデルのアプリケーション開発における各工程の効率化に必要なさまざまな機能を提供していることがわかります。 LangChainってどのように動作するの？ LangChainの主要コンポーネントは以下の図に示されるように、レーヤの下からLangChain-Core、LangChain-Community、LangChain、Templates、LangServe、LangSmithの6つのコンポーネントに分かれています。 出典： LangChain Introduction LangChain-Core 基本的なコンポーネントの抽象化とLangChainの記述言語であるLangChain Expression Language (LCEL)を提供します。LCELを使うことで、基本的なコンポーネントを組み合わせ、複雑なチェーンを容易に構築することができるようになります。 以下では、基本的なコンポーネントとしてPrompt, ChatModel, Output Parserを組み合わせたサンプルプログラムを示します。Promptは”tell me a short joke about {topic}”（{topic}部分は変数で後に具体的な値に置き換えられる）、ChatModelはOpenAIのgpt-4、Output Parserは出力を単に文字列として解釈するStrOutputParserを用います。「|」記号はUnixのパイプ演算子に似ており、異なるコンポーネントを連結して、コンポーネントの出力を次のコンポーネントの入力として供給します。このchainでは、ユーザー入力がプロンプトテンプレートに渡され、次にプロンプトテンプレートの出力がモデルに渡され、その後モデルの出力が出力パーサーに渡されます。 出典： LangChain Get started : Basic example: prompt + model + output parser LCELを用いると、多段に言語モデルに問い合わせるような複雑なアプリケーションでも、簡潔に記述することができます。また、Prompt, ChatModel, Output Parserは様々なもの種類のものがあらかじめ準備されているため、コンポーネントを入れ替えたりすることも容易に行えます。 LangChain-Community サードパーティーのパッケージ(e.g., langchain-openai, langchain-anthropic, etc.)で構成され、各社固有のコンポーネント（ChatModelなど）を提供します。以下は、OpenAI社のgpt-3.5-turboとAnthropic社のclaude-3-opusのChatModelを作成するコードです。 chat1 = ChatOpenAI(model=”gpt-3.5-turbo-0125″) chat2 = ChatAnthropic(model_name=”claude-3-opus-20240229″) どちらのモデルも、BaseChatModelを継承しているため、共通のIFをつかってアクセスすることができます。 LangChain アプリケーションの認知アーキテクチャを補完するために、よりユースケースに特化したChain、Agent、検索メソッドを提供します。 Templates Templatesは、大規模言語モデルを使った典型的なアプリケーションのテンプレート集です。テンプレートを使うと、一からアプリケーションを書かなくても、必要な箇所を修正するだけでアプリケーションを実装することができます。最も人気のテンプレートとして、rag-conversationと呼ばれるテンプレートがあります。こちらは、社内データなどのWebにはない情報を知識ベースとして、大規模言語モデルによる問い合わせを実現するアプリケーションです。数行のコードを追加実装することで、ユーザ独自のデータを知識ベースとして、対話を行うアプリケーションを構築することができます。 利用可能なテンプレートの一覧は以下から確認することができます。 https://templates.langchain.com/ LangServe LangServeは、FastAPIをラップして、LangChainオブジェクトのためのエンドポイントを自動的に生成するライブラリです。これを用いることで、作成したchainを公開するためのWebAPIを即座に作ることができます。 LangSmith LangSmithは、大規模言語モデルを利用したアプリケーションのデバッグ、テスト、評価、およびモニタリングを行うことができるプラットフォームです。LangSmithのAPI_KEYやEndopointなどを設定して、LangChainを利用したアプリケーションを実行することで、モデルとのやりとりが記録され、LangSmithのウェブサービスから、モデルとのやりとりをモニターすることができます。LangSmithには以下の主な機能があります。 実行トレース 大規模言語モデルへの問い合わせ文や回答をウェブサービスから確認することができます。複雑なChainを持つアプリケーションでは、どの時点での回答が不具合の原因になったのかを容易に確認でき、デバッグが効率的に行えます。実行回数、レイテンシー、トークン使用量などのメトリクスも時系列グラフでモニターすることができます。 評価 データセットとして登録した入出力文に対して、複数の評価指標で品質スコアを自動的に算出することができます。有害性（harmfulness）、女性差別（misogyny）などのいくつかの観点についてはEvaluatorが定義されており、すぐに利用することができます。また、自分で独自のEvaluatorを定義することもできます。アプリケーションの運用ログを自動評価し、そのデータセットを使い、大規模言語モデルのファインチューニングや、Fewshotに加えることで回答品質を上げるといったLLMOpsのサイクルをLangSmithを用いて回すことができます。 プロンプトハブ プロンプトハブは、プロンプト登録することで他のユーザと共有することができます。公開されているプロンプトを検索し、Playgroundで実行して動作を容易に確認することができます。また、プロンプトはバージョン管理することができます。 LangChain利用時に注意すべきこと LangChainはv0.1.0で初の安定版がリリースされましたが、まだ開発の途上にあると言えます。開発初期のライブラリに注意すべき一般的な事として、API変更、ドキュメントの不足、セキュリティ、継続開発の不確実性、などが挙げられます。また、LangSmithを利用する場合には、LLMへの問い合わせ文が、LangSmithのウェブサービスに送信されるため、顧客のデータを扱う場合には、そのセキュリティ面での注意が必要となります。 dotData Insight – 特徴量と生成AIが変革するビジネスアナリティクス dotDataでは、「データからの知識」である特徴量と、生成AIを融合した dotData Insight によって企業の ビジネスアナリティクス を推進しています。dotDataの独自のAIが、従来の手作業による分析では発見することができなかった、或いは、数週間から数ヶ月もの時間がかかっていた、複雑な業務データの重要なパターン（特徴量）を抽出します。dotData Insightでは、特徴量（データからの知識）、ドメイン知識、世界知識を融合するために、様々なシーンでLLMを利用し、LangChainを利用して利用シーンに応じて適切な生成AIの切り替えをしています。これによって、dotData Insightは、最新のLLMを素早く取り込み、またユーザーが独自の知識を覚え込ませた生成AIを組み込むことを可能としています。 生成AIに関するブログシリーズ 生成AIブログ – パート1　： 生成AIとは？ – 生成AIは企業のデータ活用をどのように進化するのか？ 生成AIブログ – パート2　： LLMとは？ – 大規模言語モデルのデータアナリティクス応用 生成AIブログ – パート3　：生成AIとLangChain　（このブログ） 生成AIブログ – パート4 ： 生成AIの可能性を引き出す効果的なプロンプトエンジニアリングの方法 生成AIに関するウェビナー 生成AIのセキュリティ The post 生成AIとLangChain appeared first on dotData .

はじめに 生成AI（ジェネレーティブAI /生成系AI）は、さまざまな業界で大きな変革を起こし始めています。このブログシリーズは、企業におけるデータ活用の新しい地平を開く、 生成AI の可能性について解説します。その第二弾となる、本ブログでは、生成AIの仕組みであるLLM（大規模言語モデル、Large Language Models）と、そのデータ分析への応用例を紹介します。 生成AIに関する基本的な解説や画像生成AIとしての解説、識別系AIとの違い、生成AIの活用サービスなどについては、既に多くの記事で扱われているため、本ブログシリーズでは、生成AIの活用事例や、生成AIの仕組みとしてLLM（大規模言語モデル）、LangChainなどのトピックを、「企業のデータ活用」という切り口に焦点を当てて解説していく予定です。 LLMとは？ 生成AI、LLM（Large Language Model）、そしてGPT（Generative Pre-trained Transformer）は、どのような関連性を持っているのでしょうか？以下は、ChatGPTのGPT4にその関係を問い合わせた結果です。 生成AI（Generative AI）は、人間のようなコンテンツ（テキスト、画像、音声など）を作成する技術群を指します。この中で、大規模言語モデル（LLM）は、膨大なテキストデータから言語の構造を学習し、新しいテキストを生成する特化したAI（人工知能）の一種です。GPT（Generative Pre-trained Transformer）は、LLMの一例で、特に事前学習と微調整のフレームワークを用いて、幅広い言語タスクに適応可能なモデルです。GPTは、会話応答、文章生成、翻訳といった様々な応用が可能で、その柔軟性と汎用性から、生成AI技術の代表例とされます。つまり、GPTはLLMの具体的実現形態であり、LLM自体は生成AIの広範なカテゴリー内に位置付けられます。 このように、LLMは、特に言語生成を目的とした生成AIのモデルやフレームワークを指す総称であり、GPT（Generative Pre-trained Transformer）は、大量のデータから学習して言語を生成する機能を持つLLMの一つの具体的な実装例であると理解することができます。本ブログでは、LLMとGPTは区別せず、ほぼ同じ意味として説明していきます。 なお、関連した技術としてディープラーニング（深層学習）があります。ディープラーニングは、巨大なパラメータ数をもつ多層ニューラルネットワークとよばれる機械学習モデルとその学習技術全般を指します。LLMは、ディープラーニングの一つの応用例で、特に自然言語を扱うタスクに対して最適化されています。 LLMのデータ分析への応用例１ – データ前処理・データ加工 LLMは（大規模言語モデルは）、その名称が示す通り、言語生成を得意とする自然言語処理モデル（或いは、自然言語モデル）の一種です。この能力を活用して、自然言語での問い合わせの意図を把握し、それに応じたプログラム言語のコード（コードジェネレーション）を生成することが可能です。 この技術を用いることで、データ分析における前処理やデータ加工の工程においてもLLMを活用することができます。例えば、以下に示すのは、GPT4を使ってデータクレンジングを行うSQL文を生成させた場合の一例です。 このように、GPTに対して特定の前処理を実施したい内容を指示するだけで、ユーザーが直接プログラムを書く必要がなくなります。提示した例は基本的なものですが、ノーコードインターフェースと組み合わせることで、より高度なデータ前処理やデータ加工を、自然言語の指示だけで実施することが可能になります。また、データ前処理に関する新たなアイデアをLLMに提案してもらうこともできます。 LLMのデータ分析への応用例２ – データ可視化 コードジェネレーションの技術を応用することで、自然言語による問い合わせだけで様々なデータ可視化を実現できます。以下に、アメリカの人口を州ごとに可視化する例を紹介します。 この例では、可視化対象のデータ（アメリカの州ごとの人口）をLLMを通じて取得しました。もちろん、自身で指定したデータを用いることも可能です。このプロセスの背景では、Pythonによる可視化コードが生成され、この場合、ChatGPTがPythonの実行環境と自動的に連携して可視化結果を出力しています。 このようにLLMを活用することで、簡易な可視化なら従来のBIツールを用いるよりも遥かに容易に実現可能です。ただし、現在のところ多くのLLMが直接扱えるデータ量には限界があり、また計算量の増加によりコストが大きくなる点には注意が必要です。 データが複雑になるとハルシネーション（ ブログ１参照 ）のリスクも増えます。そのため、LLMの可視化結果を盲目的に受け入れるのではなく、直感に反する結果が得られた場合は元のデータを検証し、真偽を確かめることが重要です。 LLMのデータ分析への応用例３ – データサマリー、レポート LLMは、データ加工や可視化といった単一のタスクに留まらず、より複雑なデータ分析タスクもこなすことが可能です。次の例では、従業員データをCSVフォーマットで入力し、サマリーレポートを作成しています（データソースはKaggleのオープンデータを使用）。 この例を見ると、「サマリーレポートを作成してください」という抽象的な要求に対しても、LLMがデータ項目ごとの概要を自動生成していることが確認できます。一方で、性別のサマリとしては男性が６０％（882/1470）を「男性従業員が多数を占めています」と解釈しており、単に生成AIの日本語を鵜呑みにするのではなく、その背後の数字の確認には注意が必要です。 これまでの3つの応用例を組み合わせ、より具体的な指示をLLMに出せば、データの加工、レポート作成、そしてレポート内でのデータ可視化という、データ分析プロセス全体をLLMのサポートによって大幅に簡素化できます。現時点ではLLMの技術的な限界が存在し、データ分析実務で利用するとなると、このブログで紹介されているような単純な例のようにはいきませんが、近い将来、企業のデータ分析に革命をもたらすことは間違いないでしょう。 ブログ1 では、この変化に伴い求められる企業のデータ人材のスキルについて議論しました。このようなデータ分析の新しいアプローチは、事業部門を中心とした ビジネスアナリティクス の推進力となるでしょう。 dotData InsightでのLLMの活用例 dotDataでは、「データからの知識」である特徴量と、生成AIを融合した dotData Insight によって企業の ビジネスアナリティクス を推進しています。dotDataの独自のAIが、従来の手作業による分析では発見することができなかった、或いは、数週間から数ヶ月もの時間がかかっていた、複雑な業務データの重要なパターン（特徴量）を抽出します。dotData Insightでは、データの品質の改善、生成される特徴量の自然言語による説明、特徴量に対するビジネス解釈の支援など、さまざまな用途でLLMを活用しています。dotData Insightを利用することで、統計的事実としての特徴量をdotDataのAIが導き出し、その解釈や洞察に基づいた施策の立案を、LLMが対話形式で支援します。 生成AIに関するブログシリーズ 生成AIブログ – パート1　： 生成AIとは？ – 生成AIは企業のデータ活用をどのように進化するのか？ 生成AIブログ – パート2　：LLMとは？ – 大規模言語モデルのデータアナリティクス応用（このブログ） The post LLMとは？ – 大規模言語モデルのデータアナリティクス応用 appeared first on dotData .

はじめに 生成AI（ジェネレーティブAI /生成系AI）は、さまざまな業界で大きな変革を起こし始めています。企業における生成AIの活用の鍵となるのは、企業内のデータです。また、 データを活用する上で必要とされる人材 にも、大きな影響を与えています。 このブログは、企業におけるデータ活用の新しい地平を開く、生成AIの可能性についてのシリーズの第一弾です。どのように生成AIが企業のデータ活用を変える可能性があるのか、そしてそれが企業のデジタルトランスフォーメーション（DX）戦略の核心であるデータ戦略と人材戦略にどのような影響を与えるかについて概説します。 生成AIに関する基本的な解説や画像生成AIとしての解説、識別系AIとの違いなどについては、既に多くの記事で扱われているため、本ブログシリーズでは、今後、生成AIの活用事例や、生成AIの仕組みとしてLLM（大規模言語モデル）、LangChainなどのトピックを、「企業のデータ活用」という切り口に焦点を当てて解説していく予定です。 生成AIを理解する上で重要な３つの「知識」 生成AI、あるいはジェネレーティブAIとは、大規模言語モデルやLLMと呼ばれる巨大なニューラルネットワークモデルであり、文書や画像など、様々なコンテンツを生成することができるAIモデルで、ユーザーからの自然言語による質疑を入力とする対話型AIです。 生成AIとデータ活用の関係を深く掘り下げるには、理解すべき３つの「知識」があります。 第一の知識は、「世界知識」としての生成AIが学習している情報です。生成AIは、インターネット上などから収集された大量のデータを、巨大なニューラルネットワークモデルに学習させた「世界の知識のデータベース」のようなものです。企業データ活用においては、「外部データ」の利用がしばしば重視されますが、特にインターネット上で入手可能な外部データは、生成AIのもつ「世界知識」を通じてアクセスすることが可能になります。 第二の知識は、「ドメイン知識」としての業務経験や業務マニュアルに記載された情報としての専門知識を指します。生成AIは広範な一般知識を持ち合わせているものの、特定の企業や業界特有の知識は自ら持っているわけではありません。そのため、生成AIを業務に適用するには、ドメイン知識をデータ化し、生成AIと組み合わせる必要があります。ドメイン知識の重要性は、生成AIの登場前から企業のデータ活用において認識されていましたが、生成AIを活用する上ではこの知識のデータ化が不可欠です。 第三の知識は、業務で蓄積されたデータ内に潜むパターンや「データから導き出される知識（特徴量）」です。 企業でのデータ分析の目的 は、一般的な知識や直感ではなく、データから関連するパターンを発見し、客観的な事実に基づく意思決定を行うことにあります。生成AIはデータ分析を置き換えるものではなく、世界知識、ドメイン知識、そしてデータからの知識（特徴量）を統合することで、企業のデータ活用を進化させる鍵となります。 解約分析を例にすると、生成AIに顧客が解約する理由を問うと、一般的な理由を回答します。しかし、自社の顧客がなぜ解約してしまうのかを明らかにすることは、生成AIでは対応できません。また、営業部門のセールスプレイブックには、「顧客のサービス利用頻度が下がった場合には解約のリスクが高まるため注意が必要」「アカウント営業を通じた顧客エンゲージメントの向上が重要」といった解約防止のための知見や業務の知識（ドメイン知識）が記載されています。一方で、業務データを分析すると、顧客の行動履歴から解約への兆候となる様々なパターンを特定することができます。これにより、データに基づく客観的な解約防止策を策定できるだけでなく、顧客の解約傾向の変化に対する新しい洞察や気付きを得ることが可能になります。 生成AIによるデータ活用の２つのアプローチ 生成AIを活用したデータの扱い方には、2つの大きく異なるアプローチが存在します。それぞれ異なる用途に適しています。 まず第一のアプローチとして、生成AIにドメイン知識を学習させ、それを基に要約、ドキュメントのドラフト作成、文書検索などのタスクを、特定の業務に応用する方法があります。前述したように、このアプローチでは、ドメイン知識を生成AIが扱いやすい形式で整理し、RAG（Retrieval Augmented Generation）やファインチューニングといった技術を用いて生成AIと統合します。このプロセスで特に重要なのは、生成AIに供給するデータの質です。通常、高品質で構造化された大量のテキストデータや辞書の準備が求められます。 次に、第二のアプローチでは、生成AIに直接データ分析を行わせるか、または分析作業を支援させる方法があります。例として、ChatGPTにCSVファイルを入力すると、データのサマリーや基本的な可視化を自動的に生成してくれます。こうしたデータ分析や可視化は、将来的にはBIツールよりも、瞬時に結果を提供できる生成AIによって行われるようになるかもしれません。ただし、生成AIが大規模な業務データを直接扱うことは難しく、またその利用コストも高くなりがちです。そのため、従来のBIツールによる分析と、生成AIを活用した手軽な分析を、適切に組み合わせて利用することが重要となります。 生成AIのデータ活用におけるハルシネーションの問題 生成AIの活用において直面する課題の一つが、「ハルシネーション」と呼ばれる現象です。これは、生成AIが回答を作り出す過程で、誤った情報を正確なものとして提示してしまう問題を指します。例として、会議の議事録を自動生成する際、実際には合意されていないアクションアイテムを、合意されたかのように記録してしまうケースが挙げられます。統計モデルとしての性質上、生成AIではこの問題を完全に回避することは難しく、ある程度のハルシネーション発生は避けられない現実として受け入れなければなりません。 特に、本ブログで取り上げているデータ分析への生成AIの適用にあたっては、ハルシネーションは無視できない重要な課題です。データ分析では、統計的分析結果の正確性が最も重要であり、そこから導き出されるビジネス上の意味合いや決定に影響を与えます。しかし、生成AIを使った分析では、特にデータが複雑な場合、ハルシネーションによって分析結果そのものが誤って生成される恐れがあります。生成AIをデータ分析に応用する際には、たとえ効率化が可能であっても、ユーザーは生成AIの提供する結果を盲目的に受け入れるのではなく、直感に反する結果が得られた場合は元のデータを検証し、真偽を確かめるための分析スキルやリテラシーが求められます。 生成AIによって変わる「データ人材」 生成AIが台頭する中で、企業内のデータ人材にはどのような変化が求められるのでしょうか？生成AIは、あくまで一つのツールに過ぎず、データ人材を置き換える存在ではありません。しかし、データの可視化やサマリー作成といったシンプルな作業は、生成AIによって自動化されるようになります。このため、分析業務は大幅に効率化されることになるでしょう。重要なのは、生成AIが提供するサマリーや可視化の内容を精査するリテラシーに加え、単に「データを分析するスキル」を超え、「データ分析結果をもとに業務改善策を提案できる能力」がより一層求められるようになります（ ビジネスアナリティクスの実現するDX人材とデータドリブンな組織文化の変革 ）。 また、生成AIを使いこなすためには、１）生成AIに高品質なテキストデータを入力することでドメイン知識を覚えさせる、２）生成AIに対する「プロンプト（Prompt）」と呼ばれる命令文を正しく記述する、ことが必要になります。そのため、生成AIを前提としたデータ整備は、今後ますます重要性がますことになります。プロンプトについては、「プロンプトエンジニア」と呼ばれる役割が出現しています。これは生成AIへの命令文をチューニング可能な人材で、短期的には生成AIのアプリケーションを開発するために企業に必要な人材となります。一方で、データ分析との関連からは、プロンプトエンジニアよりも、業務部門やデータを活用する人材が、生成AIを活用してどのようにデータからの洞察を引き出すか、というプロンプトの使い方を知ることが重要となります。 dotData Insight – 特徴量と生成AIが変革するビジネスアナリティクス dotDataでは、「データからの知識」である特徴量と、生成AIを融合した dotData Insight によって企業の ビジネスアナリティクス を推進しています。dotDataの独自のAIが、従来の手作業による分析では発見することができなかった、或いは、数週間から数ヶ月もの時間がかかっていた、複雑な業務データの重要なパターン（特徴量）を抽出します。そして、データからわかる統計的な事実としての「特徴量」を、生成AIの「世界知識」で補完し、実用的なビジネス仮説の検討を支援します。この融合により、業務部門はデータの洞察を直感的に理解し、新しいビジネス仮説を立て、戦略立案や施策実行をより効果的に行うことができます。 生成AIに関するブログシリーズ 生成AIブログ – パート1　：生成AIとは？ – 生成AIは企業のデータ活用をどのように進化するのか？（このブログ） 生成AIブログ – パート2　： LLMとは？ – 大規模言語モデルのデータアナリティクス応用 生成AIブログ – パート3　： 生成AIとLangChain 生成AIブログ – パート4　： 生成AIの可能性を引き出す効果的なプロンプトエンジニアリングの方法 生成AIに関するウェビナー 生成AIのセキュリティ 併せて読みたい：「 【2024年最新】おススメの企業向けAI関連サービス・開発会社まとめ 」 The post 生成AIとは？ – 生成AIは企業のデータ活用をどのように進化するのか？ appeared first on dotData .

このブログシリーズの冒頭で、 パート１ ではビジネスアナリティクス（BA）の基礎と、それが企業にとってなぜ重要なのかを探りました。続く パート２ では、BA、ビジネスインテリジェンス（BI）、および予測分析（PA）の目的と役割の違いについて深く掘り下げ、これらの分析手法が企業の意思決定と業務最適化にどのように貢献するかを解説しました。今回、パート３では、ビジネスアナリティクスを成功させる鍵となる人材と、データドリブンな意思決定を文化として組織に根付かせる方法に焦点を当てます。 デジタルトランスフォーメーション（DX）の進展に伴い、データを活用し、データに基づいた意思決定を行う能力が企業にとって必須のものとなっています。技術の導入だけでは不十分で、データを効果的に活用し、業務目標を達成できる人材（DX人材）の育成、およびそのような 意思決定プロセスを支持する組織文化の確立 が求められます。 高度な分析スキルを持つデータサイエンティストの育成も重要ですが、ビジネスアナリティクス人材の育成が特に企業のデータ利活用文化を形成する上で中心的な役割を担います。これらの人材は、業務目標に対してデータに基づく客観的な施策を立案する能力を持ち合わせています。本ブログでは、ビジネスアナリティクス人材が企業にどのような価値をもたらし、企業文化にどのような変革を促すかを詳述します。 企業におけるデータ利活用組織の課題 企業におけるデータ利活用において、多くの組織が構造的な課題によって、その価値を最大限に引き出せずにいます。分析部門は、全社の分析要求に答えるためにリソースが常に逼迫しており、データの分析だけでなく、その整備や管理も主導する必要があります。これにより、価値あるインサイトの生成が遅れることがあり、組織にとって重要な意思決定プロセスの遅滞を招く原因となっています。 一方、業務部門は日々の業務に追われる中で、分析結果をどのように活用するかの具体的な経験が不足している場合が多いです。分析されたデータを解釈し、それを基に施策を検討する教育を受けていないため、分析部門から共有される分析結果を業務改善に活かすことができない状況が発生しています。 その結果、分析部門と業務部門の間には、データの活用方法やその価値に対する理解の差が生じ、データに基づく業務改革がなかなか進まない大きな要因となっています。組織がこの課題を乗り越え、データを活用した業務改革を推進するには、分析部門と業務部門の協力体制の構築、データリテラシーの向上、そしてデータを活用するための組織文化の醸成が必要不可欠です。 ビジネスアナリティクスを支える３つの人材像 データの洞察を組織の業務に根付かせるためには、データリテラシーを有する人材の育成が不可欠です。分析を行う専門家だけではなく、分析結果を実業務に応用する能力を持った人材が、この取り組みの中心となります。ここで紹介するのは、 ビジネスアナリティクス を支える３つの主要な人材像です。 第一の人材像は「分析結果の受け手」 です。 業務部門には、データ分析の結果を自らの業務に応用できる人材が不可欠です。これらの人材は分析結果を業務の文脈で解釈し、データに基づいた施策の立案と実行に直結させることができます。データリテラシーは、全社員が身につけるべき基本的なスキルであり、ビジネスアナリティクスの真髄を体現する人材です。 第二の人材像は「データを分析できる人材」 です。 データの加工から分析の実施に至るまで、データを適切に活用できる能力を有する人材です。統計学の知識、BIツールの操作、SQLを含むデータ処理技術は、この人材に求められる重要なスキルです。分析部門の専門家に加えて、業務部門でも自律的な分析を行える人材の配置が望まれます。 第三の人材像は「分析と業務の橋渡しができる人材」 です。 業務の課題や目標を理解し、それをデータ分析の課題に変換する能力を有する人材は、分析部門と業務部門の間に架け橋を築きます。高度な技術スキルよりも、ビジネスの課題を分析ユースケースに落とし込み、必要なデータを調整することが主な役割です。 これらの人材像は、企業がデータリテラシーを文化として確立し、データドリブンな意思決定を行うために必要な鍵となります。適切な育成と配置を通じて、業務効率の向上と戦略的なビジネス成長を実現することが期待されます。 ビジネスアナリティクス人材によるデータリテラシーの定着 データドリブンな意思決定は、今日の企業が持続可能な成長を達成するための鍵です。この目標に向けて、企業がデータリテラシーを内部に定着させることは、極めて重要です。このプロセスにおいて中核となるのが、ビジネスアナリティクスを担う３つの人材像です。彼らが連携することで、企業は真にデータドリブンな組織へと変革を遂げることができます。 「分析と業務の橋渡しができる人材」 は、この変革のハブとなります。彼らは業務部門の課題を深く理解し、それをデータ分析のテーマに落とし込むことで、業務改善や新しいビジネスチャンスの探求を推進します。この役割を担う人材は、分析部門と業務部門のギャップを埋め、組織内のデータ利活用の機運を高める重要な役割を果たします。 一方で、「データを分析できる人材」 は、分析の実務を担当します。彼らは業務部門に配置され、日常業務に直結したデータ分析を実施することで、データ分析の自律性を高めます。また、より高度な分析が必要な場合には、分析部門との円滑なコミュニケーションを通じて、専門的な分析を迅速に実施することができます。 そして、「分析結果の受け手」 が、分析部門と業務部門の橋渡しを行います。彼らは日々の業務において、分析結果を効果的に活用し、継続的な業務改善を推進します。データに基づいた意思決定を行うためのデータリテラシーを持ち、組織全体のデータ駆動型の意思決定を推進するカギとなります。 これらの人材が連携し、それぞれの役割を果たすことで、企業は日々の業務にデータリテラシーを組み込み、ビジネスアナリティクスを文化として定着させることができます。このような組織では、データは単なる情報の集積ではなく、経営の意思決定を導く貴重な資産となります。 dotData ビジネスアナリティクス人材育成サービス dotDataのビジネスアナリティクス人材育成 は、業務部門のデータ活用課題に応えます。分析部門のリソースが逼迫する中で、業務部門をデータ活用の主役となるビジネスアナリティクスの人材を育成します。データを見える化するビジネスインテリジェンス（BI）教育と機械学習を前提とした高度なAI教育のギャップに対応し、BIの次のステップとして、データ内のパターン（特徴量）を活用しビジネスを分析する実践的な能力を育成します。また、分析を業務に定着させるため、分析実施者だけでなく、分析結果を理解する人材のリテラシー向上と、業務部門と分析部門間の橋渡し役の育成を通じ、実践的なデータ活用を実現します。 まとめ 本ブログシリーズでは、ビジネスアナリティクスの理解深化を目指し、BA、BI、PAの役割とそれらを支える人材の重要性を探りました。データリテラシーを身につけ、データを戦略的に活用できる人材が、企業がデータドリブンな意思決定を行い、競争優位を確保する上で不可欠です。データリテラシーは 社員研修 を実施して身に付ける企業も増えています。この変革を達成するためには、分析結果を業務に活かす「受け手」、データを的確に分析する「分析者」、そして両者を繋ぐ「橋渡し人材」の三者三様の協働が必要です。 組織全体でデータリテラシーを高め、それを文化として根付かせることが、データを新時代のオイルから価値ある洞察へと精錬するプロセスの核心です。ビジネスアナリティクスの真価を引き出し、未来への成功を切り開くためには、これらの人材が企業の最大の資産となるでしょう。 ビジネスアナリティクスブログシリーズ パート1： ビジネスアナリティクス：データを基点で業務を分析 パート2： データから洞察へ：ビジネスインテリジェンス、ビジネスアナリティクス、予測分析の統合ガイド The post ビジネスアナリティクスの実現するDX人材とデータドリブンな組織文化の変革 appeared first on dotData .

このビジネスアナリティクスに関する ブログシリーズのパート1 は、ビジネスアナリティクス（BA）の基本概念とその重要性について解説しました。今回のパート2では、BAと密接に連携しつつ、企業のデータ利活用を強化するビジネスインテリジェンス（BI）と予測分析・データサイエンスの相互関係に焦点を当てます。これらの手法は、企業がデータに基づく意思決定を行う上で重要な役割を果たし、相互に補完し合いますが、それぞれのアプローチと目的には違いがあり、この違いを理解し、目的に応じて適切な手法を選択することが、効果的なデータ戦略の鍵となります。 ビジネスインテリジェンス（BI）とは？ ビジネスインテリジェンス（BI）は、複雑な業務データを可視化し、企業の業務部門や経営者が経験や直感だけに頼らず、データに基づいた客観的な議論を行えるように支援します。BIの目的は、過去から現在にかけてのデータを明確にして、企業のパフォーマンスを定量的に把握し、業務プロセスを透明化することです。 BIツールの活用により作成されるダッシュボード、レポート、アラートを通じて、経営層や部門責任者はビジネスの現状をリアルタイムに把握し、重要な経営指標（KPI）の追跡が可能になります。特に営業部門においては、BIは売上や成約率などの営業関連指標の可視化を通じて、すべての関係者が客観的な情報に基づいて営業戦略を議論し、意思決定を行うための支援を提供します。 BIの核となるのは、データの「見える化」であり、このプロセスはMicrosoft Excelのような一般的なツールから始めることができます。より高度な分析には、TableauやMicrosoft PowerBIのような汎用的なBIツールや、SalesforceやSAPのように特定の業務システムに統合されたBI機能を利用することで、さらに深い洞察が得られます。 ビジネスアナリティクス（BA)とは？ ビジネスアナリティクス（BAまたはビジネス分析）は、データに基づいて業務プロセスの理解を深め、データ・ドリブンなビジネスの意思決定を促進する方法論です。BAの主な目的は、データから得られる洞察を活用して業務改善策を計画および実施することであり、ビジネスインテリジェンスが提供する「見える化」と予測分析が目指す「予測」に対して、具体的なビジネス活動の分析に焦点を置いています。 ビジネスアナリティクスの応用例には、営業やマーケティング部門での顧客セグメント分析を通じたセグメントターゲティング、顧客ペルソナ分析に基づく製品企画、離反分析を利用したサービス改善などがあります。これらの分析は、「見える化」を超えてビジネス目標達成に向けた具体的な分析活動を行いますが、必ずしも高度な統計数理や機械学習を要するわけではありません。 BAを実現するためには、様々な データ分析ツール が利用されます。データの可視化がBAの基礎となるため、BIツールを使用してBA活動を行うことができます。また、PythonやRなどのプログラミング言語を用いることで、より柔軟かつ高度な分析が可能になります。しかし、最も重要なのは、使用するツールやデータを超え、ビジネスプロセスを深く理解し、データに基づいて洞察を得る能力です。 予測分析（PA）とは？ 予測分析、またはデータサイエンスは、機械学習技術を用いて過去のデータからパターンを特定し、将来のイベントを予測するモデルを構築するプロセスです。このアプローチの本質は、データに基づく予測を利用して、業務プロセスを最適化し、自動化することにあります。予測分析は、ビジネスインテリジェンスの「見える化」とは一線を画し、具体的な予測結果を実業務システムに統合し、業務プロセスの自動化を実現します。 営業分析の場合、成約予測モデルを用いて成約確率が高い商談に営業リソースを集中させる、商品推薦モデルにより顧客にパーソナライズされた商品提案を行う、売上予測モデルを使って売上目標と予測値の乖離時に目標達成のための追加アクションを促すなど、様々な応用が考えられます。 予測分析の実施には、PythonやRなどのプログラミング言語と、TensorFlowやScikit-learnといった機械学習ライブラリが広く用いられています。これらのツールは、データの前処理からモデルの訓練、評価、そしてデプロイメントに至るまで、予測分析プロジェクトの全段階をサポートします。しかし、技術的ツールの使用に加えて、機械学習に対する深い理解と、分析結果を業務に応用するための高いデータリテラシーが組織内で必要です。 dotData Insightによるビジネスアナリティクス dotData Insigh tは、業務部門を主体とした ビジネスアナリティクス を可能にする革新的なデータ分析プラットフォームです。このプラットフォームは、AIによって発見されるデータ内の隠れたパターン（特徴量）を、直感的かつ使いやすいインターフェイスを通じて提供します。これにより、業務部門は自らデータからインサイトを引き出し、迅速かつ効果的なデータドリブンの意思決定を行うことができます。dotData Insightを利用することで、企業はデータの潜在的な価値を最大限に引き出し、ビジネスの成長を促進することが可能です。 dotData Insightは、手作業の分析プロセスでは見過ごされがちだった、あるいは発見するのに数週間から数ヶ月を要するような、業務データ内の複雑なパターンを迅速に特定します。dotData IndotDataのAIが発見する特徴量を、生成AIの「世界知識」で補強し、実践的なビジネス仮説を導き出します。この融合により、業務部門はデータからの洞察を直感的に把握し、新たなビジネス仮説を立て、戦略の策定や施策の実行をより効果的に進めることができます。 まとめ このブログではシリーズパート２として、ビジネスアナリティクス（BA）、ビジネスインテリジェンス（BI）、および予測分析（PA）が企業の意思決定プロセスと業務最適化にどのように貢献するかを探求してきました。これらの分析手法は、それぞれ独自の強みと応用領域を持ち、相互に補完し合いながら、データドリブンな意思決定を支援します。 ビジネスインテリジェンス（BI）は、過去と現在のデータを「見える化」し、企業が業務やビジネスの状況を定量的に把握する基盤を提供します。 ビジネスアナリティクス（BA）は、BIによって得られるデータを基に、データから洞察を得て業務改善策を計画および実施します。 予測分析（PA）は、機械学習技術を活用た将来予測によって、業務プロセスの自動化および最適化を目指します。 データは、現代企業にとっての新時代のオイルと言えます。データドリブンな意思決定によって、企業は競争優位性を確保し、市場での成功を加速させることが可能です。その鍵は、データ分析方法の違いを理解し、適切な手法を選択してビジネスの具体的な課題解決に応用する能力にあります。 dotDataは、企業の「データを分析するスキル」よりも、「データを基にビジネスを分析する能力」を育成するために ビジネスアナリティクス人材育成サービス を提供しています。ご興味のある方は、お気軽に お問い合わせ ください。 ビジネスアナリティクスブログシリーズ パート1： ビジネスアナリティクス：データを基点で業務を分析 パート3： ビジネスアナリティクスの実現するDX人材とデータドリブンな組織文化の変革 The post データから洞察へ：ビジネスインテリジェンス、ビジネスアナリティクス、予測分析の統合ガイド appeared first on dotData .