アーカイブ動画

『データマネジメントの勘所』を通じて、データマネジメントの価値向上に寄与

ファシリテーター
株式会社primeNumber
プロダクト開発本部 プロダクトマーケティングマネージャー　鳩 洋子氏

累計参加者数が6000名を超える人気イベント『データマネジメントの勘所』シリーズ。同イベントを主催するのは、「あらゆるデータを、ビジネスの力に変える」というビジョンを掲げる、データテクノロジーカンパニーのprimeNumberである。

primeNumberでは、データマネジメントの各フェーズにおける課題に応えるべく、データ統合を支援するクラウドETLの「TROCCO®」を中心に、蓄積したデータを活用するクラウドデータカタログ「COMETA®」、さらには、データ利活用の実現に向けたゼロからのステップを一気通貫でサポートする「Professional Services」も手がけ、大企業からスタートアップまで、業界・業種を問わず2000を超える企業や団体で導入されている。

TROCCO®のプロダクトマーケティングマネージャーであり、当日ファシリテーターを務めた鳩洋子氏は、『データマネジメントの勘所』シリーズを開催している意義や理由を次のように述べた。

「データマネジメントツールは世の中にあふれていますが、どのように活用すればよいのかまだまだ知見が少ないですし、最適解もなく、企業や状況・技術の進歩により、日々変わりゆくものだとも思っています。そこで我々は単にツールや技術スタックを提供するだけでなく、各社のデータエンジニア/アナリストの現場での試行錯誤や苦労、リアルなお話などを共有し合う場を設けることで、今後のデータマネジメントの知見共有・価値向上に貢献したいと考えています」（鳩氏）

データ部門は「意志ある羅針盤たれ」――SSoTの実現で事業の前進を加速させる

株式会社GA technologies
データ本部
データアナリスト　山口 貴矢氏

最初に登壇したのは、日本最大級の不動産投資サービス『RENOSY』を手がけるGA technologiesの山口貴矢氏だ。2017年に新卒で入社した山口氏は、事業部門に5年ほど在籍し、経理から経営・事業戦略、営業企画といった業務を経験した後、2024年よりデータアナリストとして活躍する。

このようなキャリアもあり、山口氏は「データ組織は事業サイドの受注機関にも成り得ますが、意思を持って業務に取り組んでいけば、オフェンシブな組織にもなれると考えています」と、「意志ある羅針盤たれ」との己の信条を紹介。

信条に則ったデータマネジメントに取り組んでいる姿勢を冒頭で力強く示し、以下3つのテーマについて解説した。

・SSoT（Single Source of Truth）の達成
・事業が求めるデータを理解する
・事業に資するデータをどのように用意するか

まずは、「SSoTの達成」である。実現に向けてはSSoTを実現する技術はもちろん、SSoTを組織に定着させる2つの技術が必要だと山口氏。達成が実現したと言える状態を具体的に示すと共に、「組織に定着させる技術については見落とされがちです」と、補足した。

dbt ✕ Snowflakeといった具体的な技術スタックならびに環境を示すと共に、達成に向けた現在のフェーズも紹介。今まさに、技術的な環境を整備している最中であることも述べた。

一方、見落とされがちだという定着においてはマーケティングや営業など業務ごとに分けると共に、経営層、管理職、メンバーといったポジションにまで細分化したマトリクス図を使い、それぞれの属性においてどの程度定着しているのか、まずは現状の活用状況を調べた（左表）。

「◎」は活用ができている状態。「◯」は活用の意思がある状態。「△」は活用に興味がない状態であり、現状で◎を実現しているのはマーケティング部門だけであることが分かる。

「当社では使っていませんが、未だにFAXを使うなど不動産業界自体がアナログであること。また、営業部門においては日々の数字に意識が向いていることが理由だと考えられます」（山口氏）

山口氏はこのように見解を話すと共に、今後はすべての属性においてSSoTが実現するよう働きかけている最中であることも述べた。

続いては「事業が求めるデータを理解する」についてであり、こちらも「技術力✕事業理解」と2つの要素が重要だと山口氏。ここでも先述と同じく、後者の事業理解が意外と深堀りされにくいと、指摘した。

理由についても、最近読んだという書籍の内容を引用し、「技術力は分野の専門性であるのに対し、事業理解は社内の専門性である」と、述べた。

山口氏は前述のキャリアを経たことで、「自分にはいつの間にか両方が備わっていた」と言う。一方で、事業理解は習得に時間を要したり、転職により失われたりするといった特徴はあるが、「それでも事業価値を貪欲に掴みにいくことで、大きな事業貢献を生むと考えています」と語った。

事業理解を獲得する具体的な5ステップの流れも紹介した。また、自らの事業ドメインである不動産における具体的な例も示した。例えば、左側の専門知識はそのまま、宅地建物取引士などの資格を取得することだ。

一方、右側の事業理解では一転、朝会やランチ、飲み会、ナレッジワークといった場に参加し、事業に詳しいメンバーとコミュニケーションをすることの重要性を掲げている。

会食の相手については、「むやみやたらに選ぶのではなく、スプレッドシートなどで管理し、それぞれの事業に詳しい人にバランスよく会うことが大事だと思っています」と、データエンジニアらしい取り組みも紹介した。

また、「他部門とは得てして対立構造になりがちですが、本来は共に戦う仲間です。このようにマインドセットすることが重要であり、大事にしているポイントでもあります」と、続けた。

最後のテーマ、「事業に資するデータをどのように用意するか」では、組織、技術と大きく2つの課題があると指摘。技術的な課題では、先述したように不動産業界はデジタル化が遅れていることもあり、不動産購入までのファネルに非構造化データが多いといった具体例も挙げた。

※ファネル：認知→興味・感心→情報収集→比較検討→購買など。顧客が商品を認知してから購入に至るまでの行動を段階ごとに分けたマーケティング用語。

現在はそれぞれの課題において解決方法を講じて取り組んでいる最中とのこと。例えば、引き続き先の事例であれば、AIを活用したDify基盤を構築することで、アナログのドキュメントを構造化データとして蓄積していく、といった取り組みであり、山口氏は実際のイメージ図も紹介。次のように述べ、セッションを締めた。

「営業メンバーの頭の中は、これまではブラックボックス状態でした。しかし、これからはデータとすることで、インサイトを科学できるようになったのが、データの面白みだと感じています」（山口氏）

誰もがセルフサービスで、データ開発を担うことができるデータ分析基盤と環境を整備

Ubie株式会社
テクノロジープラットフォーム部
データエンジニア　由川 竣也氏

続いては、事業会社でソフトウェアエンジニアやデータエンジニアとしてキャリアを重ねた後、2023年にUbieに入社した由川竣也氏が登壇した。現在はデータエンジニアとして、データ分析基盤の構築や運用、データの品質改善、データ利活用の民主化、データプライバシー保護など幅広い業務に携わる。

「テクノロジーで人々を適切な医療に案内する」とのミッションを掲げ、医師とエンジニアにより創業されたUbie。ミッションどおり、医師、患者、製薬企業などをつなぐ、さまざまなプロダクトを開発、提供している。

例えば、喉が痛いなどの症状に関連する質問に答えていくと、症状から関連する病名や適切な医療機関などが表示される、エンドユーザー向けの症状検索エンジン「ユビー」だ。月間の利用者数は1300万人を超えており、「参加者の中にも使ったことがある方いるのではないでしょうか？」と、由川氏は述べた。

ユビーでは幅広い場面でデータを利活用している。また、医療サービスということで、信頼性の高いデータが必須である、との特徴がある。
データの利活用が多い理由も述べた。幅広い領域で利活用していることに加え、由川氏のようなデータエンジニアに依存することなく、データを利活用したい部門のユーザーがデータ開発に関わっているからだ。つまり、Ubieではデータの民主化が進んでいるのである。

データ分析基盤の全体像も示した。Google Cloudの各種サービスを中心とした構成で、一部のデータはTROCCO®を活用し取得。分析領域ではLightdashならびにdbtを活用している。

データ開発の基本についても紹介した。利活用層においてはdbtモデルを開発し、最低限の共通処理を行うInterface層や特定の用途や可視化に特化したdatamart層など、それぞれのレイヤーを明確に設けることで、品質や保守性を担保している。

「まずはプライバシーなど最低限の処理をしたsource層を起点にInterface層から、datamart層までを一貫して構築しています。モデリングをする中で、datamart層から共通処理をDWH層を切り離すといったように柔軟にレイヤリングし直すこともあり得ます」（由川氏）

由川氏はこのように、現場のエンジニアならではのノウハウも紹介。また、CI/CDにおいては生成AIの活用が加速していることについても触れ、「リポジトリの中にAIが読みやすいかたちでドキュメントを入れておき、呼び出して開発してもらうこともしています」と、述べた。

先ほど、Ubieでデータの利活用が活発な理由は、非エンジニアも含めてデータ開発を行うメンバーが多く、データの民主化が進んでいる、と述べた。ただ、それには理由や背景がある。多様なデータを扱うために、データエンジニアがそれぞれのドメイン知識などを学ぶには時間がかかるし、専門ドメインのメンバーが開発するのと比べて、精度が落ちると考えたからだ。

このような考えのため、繰り返しになるがUbieでは該当データに詳しいメンバーが、自分でデータ開発を行う体制となっているのである。由川氏は「データのセルフサービス」との言葉で、Ubieのデータマネジメント環境を表現した。

ただし、これも先述したがプライバシーの高い情報も多く扱うため、社内の分析者や開発者が使えるのはあくまで緑枠領域の適切にプライバシー保護処理が施されたデータに限られており、赤枠領域の人間がアクセス不可能な元データにおいては専門ドメインを持った開発部門と連携しながら、由川氏らが所属するデータ部門が、中央集権的に管理・レビューすることでプライバシー保護を徹底していることも付け加えた。

Google Cloudに技術スタックを寄せているのは、コストやセキュリティおよびガバナンス観点などを考慮した際のメリットの最大化が理由だと由川氏。一方で、Google Cloudのプロダクトが標準でサポートしていない外部SaaSサービスとの接続など、自前でパイプラインを用意する場合もあり、その際は少ない人員でデータパイプラインの構築が可能なTROCCO®を活用していると述べ、実際のユースケースも紹介した。

改めて、LightdashをBIツールとして導入した理由も述べると共に、他のツールとの差異も明確に示した。例えば、Lightdashであれば正しい指標を再利用しやすくなり、ユーザーにより精度が異なるといったことが避けられるメリットがある。

ダッシュボードの権限管理においても、Lightdashを活用することでセキュリティを高めていると述べた。

可観測性（O11y）についても、ダッシュボードの影響が可視化されているので、すぐに分かると由川氏。また、Lightdash Download機能により、ダッシュボードをコードで取得し役立てていることも多いという。再利用やバックアップでの利用はもちろん、生成AIに参照させておき、ダッシュボード探索の情報源としてbotを介して聞くことで、応えてくれるような環境が社内に構築されており生産性への影響も大きい、と続けた。

0

運用についても触れた。意識しているのは、繰り返しになるが該当データを活用したい人が、セルフサービスでデータ開発を行うこと。その上で、データ分析基盤がボトルネックとならないよう、Data Contractの考えを重要視すると共に、先述と重なるがコード管理の推進などに取り組んでいる。

ドキュメント化の徹底にも取り組む。データ開発に必要なドキュメントをGitHubのリポジトリに集約し、誰でも参照可能としている。

由川氏は最後に、生成AIが台頭する昨今、コード管理を率先しAIがアクセスできる情報を最大化することが重要などのメッセージをまとめて紹介し、セッションを締めた。

SaaSプロダクトの強み――新たなコネクタなどTROCCOの最新機能を紹介！

株式会社primeNumber
プロダクト企画室
プロダクトマーケティングマネージャー　鈴木 大介氏

続いては再びprimeNumberより、プロダクトマーケティングマネージャーを務める鈴木大介氏が登壇。顧客のデータマネジメントを支えるTROCCO®の最新機能など、プロダクトのさらなる進化を紹介した。

まずは改めて、TROCCO®についてだ。冒頭で鳩氏も紹介したように、TROCCO®は各種データの転送や加工、運用などを自動化することで、実際にBIツールや機械学習などでデータを利活用するユーザーの業務負担を軽減する、クラウドETLサービスである。

データソースからデータを収集する際には、どれだけのサービスに対応しているかが重要だが、、この接続可能なサービス数が従来の約100種類から大幅に増加。この後に登壇するkubellのChatworkや、SAP S/4HANA ODataにも対応するようになった。

対応していないサービスに対してでも、ユーザーがGUIでコネクタを作れる機能も開発した。また、転送元のサービスからデータを抽出するだけでなく、ビジネス部門やマーケターなどが普段使っているMAツールなどにデータを戻す「リバースETL機能」も以前から提供している。

その他、セキュアな環境下での転送を実現する「Self-Hosted Runner」や、データベースなどデータソースの変更履歴をデータウェアハウスに同期する「CDC (Change Data Capture) 」、マーケティング施策のアプローチ対象をGUIベースで作成・連携することのできる「セグメントビルダー」など、次々と新機能をリリースしている。

データエンジニアがボトルネックにならないデータパイプラインの運用の現状と将来構想

株式会社kubell
インキュベーションディビジョン
データソリューション推進ユニット
データエンジニアリンググループ
データエンジニア　飯島 知之氏

続いては、ビジネスチャットの国内利用者数ナンバーワン(*1)を誇るChatworkを手がける、kubellの飯島知之氏が登壇した。（*1 Nielsen NetView 及びNielsen Mobile NetView Customized Report 2024年4月度調べ月次利用者（MAU:Monthly Active User）調査。）SIerでのデータ管理者やクラウドを利用したデータ基盤導入プロジェクトなどを担当し、2023年にkubellに入社。

現在はデータエンジニアのリソースがボトルネックにならないよう、プラットフォームエンジニアリングの観点を取り入れながらデータ基盤などを整備しており、特に最近はデータアナリストなどがデータパイプラインを開発できるような環境整備を進めている。

飯島氏はまずは、各種データソースからSnowflakeにデータを集約し、それぞれの用途や他のシステムでデータ活用を行っている、Chatworkのデータ基盤の概要図を示した。

そして冒頭でも紹介したように、データエンジニア以外でも開発できるよう、現状では図で示した赤枠のEL（Extract・Load）部分はデータエンジニアが、青枠のT（Transform）部分は実際にデータを活用するメンバーが開発している。今後は堅牢性を維持しながらも、赤枠の領域もアナリストなどに移譲していく「並列的開発体制を目指しています」と、述べた。

実現に向け活用されているのが、スライドでも記されていたTROCCO®である。「正確には、データエンジニアからアナリスト側の人に工数が移っただけ」と飯島氏は話したが、それでも実際にデータを取り込むまでのリードタイムは、以前の1カ月から0日と短縮された。ビジネスの現場に求められるスピード感に対応することができるようになったことの意義は大きい。

ただ、このようなリードタイムの短縮を実現するには、「TROCCO®のアカウントを発行しただけでは終わらない」と、飯島氏。どのような取り組みを行っていったのか、詳しく紹介した。

まずは、Snowflakeのスキーマとロールを整理した。具体的には、アナリストも権限を持つTROCCO®用のロールならびに専用スキーマを設けた。このような環境を整備することで、転送ジョブのテストや削除といったアクションを、アナリストだけで完結することができるようになった。

ただ、「dbtのsourcesの書き方が特殊で一癖あるので、オンボーディングが必要でした」と、飯島氏は補足した。 TROCCO®側の設定においても、チーム機能やリソースグループなどを使い、特定のチームメンバーだけがアクセスできるよう、権限制御を設けるなど工夫した。
続いては運用面、転送設定において。「リソースグループ」「通知設定」「ラベル」は忘れがちな設定だと飯島氏。中でもリソースグループの設定を忘れているとデータマネジメントの崩壊につながると指摘した。

一方で、人が設定を行う状態ではいつかはヒューマンエラーにつながることは明らかだ。そこで飯島氏らはterraform、IaCの仕組みならびにAIを活用することとした。ただし同スキームは現在構想段階であり、まだ道半ばである。

また、AIを活用するだけでなくコードレビューにおいては飯島氏らのデータエンジニアが担うことで、「Human-in-the-Loopも実現できます」と続けた。

最後に飯島氏は、TROCCO®のサポート体制はスピーディーかつ手厚いことに言及。具体的に打診したサポート内容や対応をリアルに紹介しながら、「とりあえず困ったときはお願いするといいと思います。ただし、無茶振りし過ぎると『カスタムコネクタを使ってください』と言われますが」と軽く微笑みながら述べ、セッションを締めた。

株式会社primeNumber
https://primenumber.com/

TROCCO®フリープランお申込みフォーム
https://primenumber.com/trocco/contact/free-plan

TROCCO®お問い合わせ先
https://primenumber.com/contact