機械孊習 - TECH PLAY - TECH PLAY

TECH PLAY

機械孊習

機械孊習は人工知胜の䞀皮で、デヌタのパタヌンに基づいお予枬や行動を起こすように、コンピュヌタのアルゎリズムを孊習させるものです。
機械孊習には「教垫あり孊習」、「教垫なし孊習」、「匷化孊習」などの皮類がありたす。

むベント

マガゞン

技術ブログ

※ この投皿はお客様に寄皿いただいた蚘事です。 本皿は、NTTドコモ モバむルむノベヌションテック郚以䞋、MIT 郚が AI-DLC TTT でフィゞカル AI 領域の ML パむプラむンを構築した取り組みの第 2 回です。 第 1 回フィゞカル AI 領域での ML 開発ぞの適甚 第 2 回2 チヌム䞊行開発の実隓結果ず知芋本蚘事 第 1 回では、AI-DLC の Inception フェヌズで芁件を構造化し、蚭蚈レビュヌで 11 個の䞍敎合を事前に怜出した取り組みをご玹介したした。 第 2 回では、Construction フェヌズでの 2 チヌム䞊行開発の実隓結果ず、埗られた知芋に぀いおご玹介したす。 6. Construction フェヌズパむプラむンの実装Day 2–3 Inception フェヌズで䜜成した蚈画に沿っお実装を進めたした。 䞡チヌムずも同䞀のパむプラむン構造を採甚し぀぀、现郚の蚭蚈刀断に違いが生たれたした。 共通アヌキテクチャ 䞡チヌムが構築したパむプラむンの基本構造は以䞋で共通です。 図デヌタフロヌact_demos.npz → 座暙倉換 → è’žç•™ → PPO → 評䟡 è’žç•™ MLP の怜蚌 MSEMean Squared Error< 0.01 を䞡チヌムずも達成し、Isaac Lab 䞊での 1024 䞊列環境による PPO 孊習を実行したした。これにより、パむプラむン党䜓蒞留→PPO→評䟡が䞀通り接続された状態に到達し、以降はパむプラむンの構築ではなく成功率の改善に集䞭できる段階になりたした。 チヌム間の蚭蚈刀断の分岐点 テヌマ蚭定の段階で、匷化孊習を最終段階ずするパむプラむン構造は共通ですが、ベヌスずなるモデルが暡倣孊習の盎接的な出力ではなく RPD 論文に基づく蒞留を経由する蚭蚈であり、どのように倉換を行うかは未怜蚌でした。Inception フェヌズに甚いた論文などの事前知識でパむプラむンの基本構造蒞留→PPO→評䟡たでは䞡チヌム共通でしたが、蒞留の入力次元や KL ペナルティの扱いに぀いおは耇数の有力なアプロヌチが考えられ、机䞊では優劣を刀断できたせんでした。 そこで、それぞれのチヌムメンバヌが AI-DLC の䞭で刀断したアプロヌチを採甚し、実隓結果を比范怜蚌する方針ずしたした。党く同じずなる可胜性もありたしたが、今回は以䞋のような差異が生たれたした。 蚭蚈刀断 チヌムピンク チヌムブルヌ パむプラむン起点 事前収集枈みデモデヌタ53 ゚ピ゜ヌド ACT 孊習→デモ収集から埌述の軌道修正あり è’žç•™ MLP 入力次元 28 次元環境の党芳枬空間 12 次元 → Actor 28 次元入力局の最初 12 列に郚分ロヌド PPO ぞの統合方匏 è’žç•™ MLP 党䜓を Actor ずしおロヌド Actor 入力局の最初 12 列に蒞留重みをコピヌ、残り 16 列はランダム初期化 KL ペナルティ ありadaptive β方匏、3 パタヌン怜蚌 なしRSL-RL デフォルト蚭定に委譲 怜蚌の焊点 KL ペナルティの効果怜蚌 蒞留初期化の効果そのものの怜蚌 KL ペナルティの β は、蒞留で埗た方策をどの皋床信頌するかを制埡するハむパヌパラメヌタです。 β が倧きいほど蒞留ポリシヌからの逞脱にペナルティを匷くかけ、小さいほど自由に探玢できたす。 チヌムピンクは β=1.0匷い制玄、β=0.5䞭皋床、β=0制玄なしの 3 段階で効果を怜蚌したした。 チヌムブルヌの「郚分ロヌド方匏」ずいうのは、蒞留 MLP12 次元入力の重みを RSL-RLIsaac Lab 䞊で匷化孊習を行うラむブラリの ActorCritic行動出力ず䟡倀掚定を担うネットワヌク構造における第 1 局の重み行列256 ニュヌロン × 28 次元入力の最初 12 列にコピヌし、残り 16 列はランダム初期化のたた孊習させたす。環境の党芳枬情報を掻甚し぀぀、蒞留知識を初期倀ずしお掻かすアプロヌチです。 7. AI-DLC による軌道修正チヌムブルヌのスコヌプ倉曎 Construction フェヌズで、AI-DLC の䟡倀が明確に珟れた堎面がありたした。 チヌムブルヌは圓初、ACT モデルの孊習からデモ収集たでを含む、より䞊流からのパむプラむン構築を目指しおいたした。しかし Day 2 の実装開始盎埌、ACT 孊習環境のセットアップに想定以䞊の工数がかかるこずが刀明したした。3 日間ずいう制玄の䞭で、ACT の環境構築に時間を費やすずコアの蒞留→PPO→評䟡パむプラむンの怜蚌が間に合わないリスクが生じたのです。 この時点で、AI-DLC のプロセスに埓い Inception フェヌズに立ち戻りたした。タスクリストの優先床を再評䟡し、以䞋の刀断を行いたした。 タスクリスト 倉曎前 倉曎埌 TL-1 蒞留甚デヌタの準備ACT 孊習→デモ収集を含む 「ACT 孊習→デモ収集」を陀倖。事前収集枈みデモデヌタ53 ゚ピ゜ヌドを起点に倉曎 TL-2 MLP の蒞留 維持 TL-3 PPO Fine-tune 維持 TL-4 評䟡ず比范 維持 この軌道修正がスムヌズだったのは、芁件がタスクリストずしお構造化されおいたからです。「䜕を削っお䜕を残すか」の刀断基準が各タスクリストの優先床ずしお明瀺されおおり、チヌム党員が同じ根拠で合意できたした。具䜓的には、TL-1デヌタ準備が最高優先床であり事前収集枈みデヌタ53 ゚ピ゜ヌドで着手可胜である䞀方、ACT 孊習は優先床が䜎くこの事前デヌタで代替可胜だったため、ACT 孊習を陀倖するずいう刀断に至りたした。堎圓たり的な「間に合わないから削ろう」ではなく、構造化された優先床に基づく意思決定です。 結果ずしお、チヌムブルヌはコアパむプラむンに集䞭し、蒞留あり/なしの比范実隓64% vs 90%ずいう本 TTT で最も䟡倀のある知芋を埗るこずに成功しおいたす。 8. 実隓結果2 チヌムの比范 䞡チヌム共通の比范基準ずしお、ACT ベヌスラむン暡倣孊習のみ、人手デモ 10 件COSMOS,Mimic による増幅の成功率は 45% です。 チヌムピンクKL ペナルティの段階的怜蚌 KL ペナルティの有無ず匷床を倉えた 3 回の実隓を実斜したした。 条件 成功率 环積報酬 備考 蒞留初期化 + PPO + Full KL (β=1.0) 0% -6.72 std 枛少を阻害、探玢䞍胜 蒞留初期化 + PPO + Mean-only KL (β=0.5) 0% 2.05 探玢の早期停止 蒞留初期化 + PPOKL なし 11% 1.82 局所最適に陥る チヌムピンクの成功率が党条件で著しく䜎かった䞻因は、埌に刀明した座暙倉換の欠萜object_pos のロボットベヌス盞察倉換が未実装でした。蒞留の教垫デヌタず RL 環境の座暙系が䞀臎しおいなかったため、蒞留 MLP が誀った方策を孊習し、KL ペナルティがその誀りをさらに固定化する結果ずなりたした。TTT 埌にこの座暙倉換を修正し 97% に到達した詳现は埌述したす。 チヌムブルヌ蒞留あり/なしの比范 RSL-RL をデフォルト蚭定に委譲し、蒞留初期化の有無を盎接比范したした。 条件 成功率 环積報酬 備考 蒞留初期化 + PPO郚分ロヌド 64% 56.69 è’žç•™ 12 次元→Actor28 次元に統合 ランダム初期化 + PPO蒞留なし 90% 84.44 蒞留なしが最高性胜 2 チヌムの結果が瀺す知芋 蒞留初期化は reaching接近を加速するが、lifting持ち䞊げぞの移行を阻害する局所最適を生む KL ペナルティは、蒞留ポリシヌが偏った方策を孊習しおいる堎合、探玢を制限し逆効果になる 蒞留初期化自䜓が性胜を制限する可胜性がある蒞留なし 90% vs 蒞留あり 64% RPD 論文の前提オンラむン VLA 掚論を私達の実装重み固定 MLPに䞊手く適応できおいない 今回の結果は単䞀タスク、単䞀条件での実隓であり、RPD の手法自䜓の評䟡を確定するものではありたせん。しかし、2 チヌムが異なる実隓蚭蚈KL の段階的緩和 vs 蒞留あり/なしの盎接比范で同じ傟向を芳枬したこずは、今埌の怜蚌を進める根拠にはなるず考えおいたす。 9. AI-DLC を ML に適甚しお埗られた知芋 方針転換ず倱敗の蓄積を支えるプロセス 各フェヌズInception、Construction、Operation、評䟡で成果物が定矩されおいるため、方針転換の刀断が容易でした。チヌムブルヌの軌道修正はその奜䟋です。 蚭蚈レビュヌにより、実装前に 11 個の䞍敎合を怜出できたした。ML 実装では「動くが正しくない」コヌドが生たれやすく、蚭蚈段階での敎合性怜蚌が手戻りの防止に盎結したす。 3 回の実隓サむクルず倱敗分析はすべお構造化ドキュメントずしお残り、次の実隓の刀断根拠ずしお蓄積されたした。 実隓サむクルの高速化 Kiro が論文の解釈や数匏の意味を解説するこずで、匷化孊習、蒞留、Isaac Lab、RSL-RL ずいった専門領域の理解がチヌム党員で揃いたした。 この共有された理解が、実隓サむクルの速床に盎結しおいたす。初回の倱敗分析から修正、2 回目のパむプラむン実行たでが数時間で完了したした。速さの芁因は 2 ぀ありたす。 Inception で実隓の仮説ず怜蚌基準がドキュメント化されおおり、「䜕を倉えお次を詊すか」の起点が明確だったこず パむプラむン党䜓の構造ず各ナニットの圹割を党員が把握しおおり、原因の切り分けず修正方針の合意に時間がかからなかったこず 䞀般的な ML 実隓では仮説の修正から再実隓たで数日かかるこずが倚いですが、今回は 1 日で 3 サむクル回すこずができたした。 ドメむン専門家の圹割をどう䜍眮づけるか Kiro の支揎により、ドメむン専門家がいないチヌムでも動䜜する ML パむプラむンの構築たで到達できたした。 䞀方で、「なぜこの手法がこのタスクで機胜しないか」を正確に評䟡する局面や、RPD 論文の前提条件ず実装の差異を芋抜く局面では、深い理論的理解が必芁でした。Kiro が出力したコヌドの劥圓性を刀断できない堎面が繰り返し発生し、ML 実装の経隓が浅い私たちにはかなり負荷が高かったのが実情です。 この経隓から、AI-DLC は「専門家がいないず着手できない」状態を「専門家なしでもパむプラむンを構築でき、専門家は品質の最終確認に集䞭する」状態に倉えるフレヌムワヌクだず捉えおいたす。AI が論文解釈、コヌド生成、蚭蚈レビュヌを担うこずでチヌムの知識氎準が匕き䞊げられ、専門家がレビュヌすべき範囲が絞り蟌たれたす。 Inception で生成された蚭蚈レビュヌレポヌトや実隓分析レポヌトを専門家に共有すれば、垞駐せずスポット参加でも的確なフィヌドバックが可胜です。今回の座暙倉換の問題も、TTT 埌に構造化された蚘録を読み返すこずで数時間で原因を特定できたした。 今埌は、Inception で定矩した受け入れ基準座暙倀の範囲、入力次元の敎合性、損倱の収束条件などを自動テストずしお実装し、パむプラむンの各段階で機械的に怜蚌する仕組みを導入する予定です。ドメむン知識を実行可胜なテストコヌドに倉換すれば、専門家が䞍圚でも品質の劣化を早期に怜出できたす。 参考TTT 埌AI-DLC の継続で 97% ぞ TTT は 3 日間で終了したしたが、AI-DLC のプロセスは継続可胜です。TTT 埌に埗られた結果を補足したす。 座暙倉換の欠萜が真因だった TTT 埌、構造化された実隓蚘録を読み返し Inception に立ち戻りたした。最優先だった TL-1座暙系倉換の実装を再怜蚌したずころ、object_pos の座暙倉換が欠萜しおいるこずが刀明したした。 ACT のデモデヌタは LeIsaac のワヌルド座暙系で蚘録されおいる䞀方、RL 環境はロボットベヌス盞察座暙系を䜿甚しおいたす。この䞍䞀臎が蒞留 MLP の孊習を砎綻させおいたした。 # 欠萜しおいた倉換修正版で远加 object_pos -= [0.35, -0.64, 0.01] # LeIsaacのロボットベヌス䜍眮 構造化された実隓蚘録があったため、原因の切り分けは数時間で完了したした。 再蒞留の実装ず結果 座暙倉換の修正に加え、TTT 䞭の芳察reaching は孊習するが lifting が䌞びないに基づき、損倱関数を Phase-weighted MSE に倉曎したした。lifting フェヌズの重みを 5 倍にしおいたす。 再蒞留を初期重みにロヌドし、KL なし PPO で 5000 むテレヌション1024 環境䞊列、玄 52 分を実行した結果です。 条件 成功率 ACT ベヌスラむン暡倣孊習のみ 45% RL-Only蒞留なし、ランダム初期化 90% 再蒞留 + PPO 97% 再蒞留 + PPO は RL-Only90%を統蚈的に有意に䞊回りたしたFisher’s exact test, p=0.049。 TTT 䞭に埗た「蒞留初期化は逆効果」ずいう結論は、座暙倉換バグに起因する誀りでした。前凊理が正しければ、蒞留初期化は PPO の収束を加速し、最終成功率も向䞊させたす。 構造化された蚘録が継続を可胜にする TTT 埌 1 日で 97% に到達できたのは、3 日間の実隓蚘録、倱敗分析、蚭蚈文曞が構造化ドキュメントずしお残っおいたからです。コンテキストが消えず蓄積されるこず、倱敗が次のサむクルの出発点になるこずが、AI-DLC を ML 実隓に適甚する最倧の利点でした。 10. 成果ず今埌の展望 3 日間の定量的成果 カテゎリ 成果物 コヌド distill.py (~400 行), train_finetune.py (~500 行), evaluate.py (~450 行) — 合蚈 1,350+ 行 実隓 蒞留チェックポむント, PPO 孊習結果 (3 Runs + 蒞留あり/なし比范), 100 ゚ピ゜ヌド評䟡 ドキュメント タスクリスト, ナニット分割蚈画, 蚭蚈レビュヌレポヌト, 実隓分析レポヌト — 蚈 30+ 文曞 今埌の展望 技術面では、蒞留デヌタ品質の改善、実機SO-101ぞの Sim-to-Real Transfer を蚈画しおいたす。 プロセス面では、他チヌムぞの AI-DLC プロセス展開、ML 実隓における蚭蚈レビュヌテンプレヌトの暙準化を進めたす。 著者に぀いお 株匏䌚瀟NTTドコモ 片岡 敬志郎 株匏䌚瀟NTTドコモ R&D むノベヌション本郚 モバむルむノベヌションテック郚 ナヌスケヌス協創担圓 フィゞカル AI、ロボティクス領域における研究開発ず瀟䌚実装を掚進。AI-DLC TTT のテヌマ遞定を担圓し、R&D 組織ぞの AI-DLC 展開を掚進䞭。
※ この投皿はお客様に寄皿いただいた蚘事です。 本皿では、株匏䌚瀟NTTドコモ以䞋、ドコモモバむルむノベヌションテック郚以䞋、MIT 郚が AI-DLCAI-Driven Development Lifecycle の TTTTrain The Trainerに参加し、フィゞカル AI 領域における機械孊習パむプラむンを 3 日間で構築した取り組みに぀いお、党 2 回に分けおご玹介したす。 第 1 回フィゞカル AI 領域での ML 開発ぞの適甚本蚘事 第 2 回2 チヌム䞊行開発の実隓結果ず知芋 1. はじめに ドコモの MIT 郚ナヌスケヌス協創担圓では、次䞖代技術の瀟䌚実装に向けた研究開発を掚進しおいたす。 私は、泚目領域の䞀぀であるフィゞカル AI珟実䞖界で物理的に動䜜する AIにおいお、ロボットアヌムの動䜜孊習を効率化するパむプラむンの構築に取り組んでいたす。 今回、AWS が提唱する AI-DLC の手法を掻甚し、暡倣孊習IL: Imitation Learningで獲埗した動䜜知識を匷化孊習RL: Reinforcement Learningで自埋的に改善しおいくパむプラむンを 1 ぀のプロダクトずしお捉え、その蚭蚈から実装たでを AI-DLC のプロセスに沿っお、チヌム開発で 3 日間ずいう短期間で構築・怜蚌したした。 本蚘事第 1 回では、AI-DLC を ML 領域に適甚するに至った私たちの理解ず刀断、そしお Inception フェヌズでの芁件構造化ず蚭蚈レビュヌの実践に぀いおご玹介したす。 2. 背景ず課題 フィゞカル AI における孊習の課題 ロボットに動䜜を孊習させるアプロヌチには、倧きく分けお 2 ぀の方法がありたす。 暡倣孊習Imitation Learning, IL 人間のデモンストレヌションデヌタから動䜜を孊習する。孊習は安定するが、デモにない状況ぞの汎化が難しい 匷化孊習Reinforcement Learning, RL 詊行錯誀を通じお報酬を最倧化するように孊習する。未知の状況にも察応できるが、れロからの孊習はサンプル効率が䜎い 私たちが察象ずしたのは、SO-101 ロボットアヌムオヌプン゜ヌスの廉䟡な 6 軞卓䞊アヌムによる「キュヌブを持ち䞊げる」タスクです。 本来暡倣孊習には 50 件皋床のデモデヌタが掚奚されたすが、私たちは人手を最小限にしたいず考えおおり 10 件のデヌタを収集するこずから出発したした。暡倣孊習モデルACT: Action Chunking with Transformersはこの 10 件で成功率 10% でしたが、NVIDIA の提䟛する COSMOS物理法則を理解した映像生成によりデヌタを合成する World Foundation Modelや Mimic少数のデモから倧量の合成軌道を自動生成するデヌタ増幅フレヌムワヌクによるデヌタ増幅を適甚したずころ、成功率は 45% たで向䞊したした。しかし、デモデヌタ 10 件ずいう母数では増幅の効果にも限界があり、改善は頭打ちになりたした。 これ以䞊の改善にはデモデヌタの远加収集か、別のアプロヌチが必芁です。私たちの目的は少ないデヌタでタスク成功率を䞊げるこずなので、デヌタ収集を増やす方向ではなく、匷化孊習を組み合わせる方向を遞びたした。 採甚手法RPDRefined Policy Distillation この課題に察しお、私たちは RPDRefined Policy Distillation 論文のアプロヌチを採甚したした。 RPD は、倧芏暡な暡倣孊習モデルの知識を軜量なポリシヌに蒞留し、さらに匷化孊習で改善するフレヌムワヌクです。 RPD の基本的な流れは以䞋の通りです。 è’žç•™ 倧芏暡モデルVLA 等の動䜜知識を、軜量な MLPMulti-Layer Perceptronに教垫あり孊習で圧瞮する PPOProximal Policy Optimization Fine-tune 蒞留枈み MLP を初期ポリシヌずしお、KL ペナルティ付きの匷化孊習で改善する。KLKullback-Leiblerペナルティは、元のモデルをオンラむンで掚論し、その出力を参照分垃ずしお「蒞留ポリシヌから離れすぎない」よう制玄をかける RPD 論文では、教垫ずしお倧芏暡 VLAVision-Language-Actionモデルをリアルタむムで掚論しながら KL ペナルティの参照分垃に䜿いたす。䞀方、私たちの実装では VLA の代わりに ACT から蒞留した重み固定 MLP を参照分垃ずしお䜿甚したした。この前提の違いが実隓結果にどう圱響したかは第 2 回で詳述したす。 図RPD 論文のアプロヌチ䞊ず私たちの ACT ぞの適甚䞋 ML 開発特有の課題 機械孊習パむプラむンの構築は、䞀般的な゜フトりェア開発ずは異なる課題を持っおいたす。 䞍確実性が高い 論文ずの现かな前提の差異などから、論文通りに実装しおも動䜜する保蚌がない 専門知識が広範 匷化孊習の理論、シミュレヌタの仕様、座暙系倉換など耇数のドメむン知識が必芁 実隓サむクルが長い 仮説→実装→孊習→評䟡のサむクルに時間がかかる これらの課題は、チヌムでの開発においお「䜕を䜜るか」「なぜこの蚭蚈にするか」の共有コストを増倧させたす。 個人で AI ず察話しながらコヌディングを進める「Vibe Coding」のアプロヌチでは、こうした構造的な課題を 1 ぀ 1 ぀察話の䞭で解消しおも、その刀断やコンテキストが流れおしたい蓄積されたせん。これでは個人でも知芋の蓄積が難しいだけでなく、組織的な研究開発ずなるずさらに顕著な課題になるのではないかず考えたした。 3. AI-DLC 理解ず適甚刀断 AI-DLC ずは䜕か AI-DLC は、AI を開発プロセス党䜓に組み蟌むためのフレヌムワヌクです。私たちは TTT を通じお、以䞋のように理解したした。 AI-DLC の栞心は、AI が䜜業蚈画を䜓系的に䜜成し、人間が意思決定に集䞭する協働モデルです。具䜓的には以䞋のフェヌズで構成されたす。 Inception フェヌズ ナヌザヌストヌリヌの定矩、芁件の構造化、蚭蚈レビュヌ。AI が専門知識を補完しながら、人間が「䜕を䜜るか」を決定する。Inception の最埌で分けた Unit ごずに小芏暡なモブチヌムを圢成する。 Construction フェヌズ Unit ごずのモブチヌムが詳现蚭蚈、実装、テストを䞊行で進める。AI がコヌド生成を担い、人間がレビュヌず意思決定を行う。 Operation フェヌズ デプロむ、運甚ぞの移行。 図AI-DLC の3フェヌズ 埓来の「Vibe Coding」ずの違いは、チヌム党䜓で共有可胜な構造化ドキュメントナヌザヌストヌリヌ、蚭蚈文曞、レビュヌレポヌトが生成される点です。これにより、AI ず個人の間の暗黙知がチヌムの共有知に倉わりたす。 なぜ ML 領域に適甚したか AI-DLC の既存事䟋は Web サヌビスや業務アプリ開発が䞭心ですが、私たちは ML 開発ぞの適甚をチャレンゞしおみたした。理由は 3 ぀ありたす。 論文→実装のギャップを埋める 研究開発では論文の手法を実装に萜ずし蟌む過皋で、前提条件の違いや暗黙の仮定が問題になる。Inception フェヌズで AI ず察話しながら芁件を構造化するこずで、これらの曖昧さを事前に可芖化できるのではないかず考えたした。 チヌム孊習の加速 私たちはフィゞカル AI に取り組み始めたばかりのチヌムです。匷化孊習やシミュレヌタの専門知識は属人性が高いため、AI-DLC の構造化ドキュメントを通じお、チヌム党員が同じ理解氎準で議論できる環境を䜜れるず考えたした。 実隓サむクルの管理 ML 実隓は「仮説→実装→孊習→評䟡→修正」のサむクルを高速に回す必芁がある。AI-DLC のチェックポむントInception→Construction→Operation→評䟡が、方針転換の刀断基準を明確にするず考えたした。 私たちは、芁件の構造化ず蚭蚈レビュヌずいうプロセスが、䞍確実性が高く前提条件の怜蚌が必芁な ML 開発に適応できるのではないかず考えたした。本蚘事はあくたで ML 領域ぞの適甚事䟋ずしお、私たちの TTT での経隓ず芋解を䞭心にご玹介するものです。 4. AI-DLC TTT の抂芁 以䞊の背景を螏たえ、TTT で実際に取り組んだ内容をご玹介したす。 テヌマ蚭定 具䜓的な目暙は以䞋の通りです。 人手によるデモデヌタ収集を最小限に抑え぀぀、暡倣孊習によっお習埗したロボットアヌムの動䜜を、匷化孊習を甚いお自埋的にブラッシュアップしおいくパむプラむンを぀のプロダクトずしお捉え構築する 参加者を 2 チヌムチヌムピンク、チヌムブルヌに分けたした。 匷化孊習を最終段階ずするパむプラむン構造は共通ですが、ベヌスずなるモデルが暡倣孊習の盎接的な出力ではなく RPD 論文に基づく蒞留を経由する蚭蚈であり、どのように倉換を行うかは未怜蚌でした。 そのため、チヌムごずでアプロヌチを決め䞊行しお比范怜蚌する方針ずしたした。 䞡チヌムの蚭蚈刀断の詳现は第 2 回でご玹介したす。 事前準備 AI-DLC で効果的に開発を進めるために、以䞋を事前に準備したした。 孊習デヌタ ACT の実行から埗た成功軌道デヌタ 53 ゚ピ゜ヌド蒞留の教垫デヌタずしお䜿甚。人手で収集した 10 件ずは別に、ACT がシミュレヌション䞊で成功した軌道を自動収集したもの 参考論文  RPD 、 ACT 、 Knowledge Distillation 、 PPO の 4 本 蚭蚈抂芁ドキュメント 環境差分、手法の蚭蚈思想、デヌタ抂芁 Amazon EC2 むンスタンス g6e.8xlargeNVIDIA L40S 48GBに Isaac LabNVIDIA が提䟛する GPU 䞊列ロボット孊習シミュレヌションフレヌムワヌク環境を構築枈み 5. Inception フェヌズ芁件構造化Day 1 ML パむプラむンをプロダクトずしお AI-DLC のプロセスに茉せた Inception フェヌズの具䜓䟋を以䞋に瀺したす。 Inception フェヌズでは、フィゞカル AI に関する論文や専門情報を Kiro に読み蟌たせ、芁件の構造化ずスコヌプ決定を行いたした。 図チヌムピンクの Inception の様子、右䞋に映っおいるのが SO-101 タスクリストの定矩 Kiro ずの察話を通じお、4 ぀のタスクリストを定矩したした。 衚タスクリスト䞀芧 # タスクリスト 優先床 TL-1 蒞留甚デヌタの準備座暙系倉換+デヌタ敎圢 最高 TL-2 MLP の蒞留教垫あり孊習 高 TL-3 PPO Fine-tune匷化孊習による改善 高 TL-4 評䟡ず比范100 ゚ピ゜ヌド評䟡 äž­ 各タスクリストには具䜓的な受け入れ基準を蚭定したした。たずえば TL-1 では「座暙倉換埌の joint_pos_rel の範囲が [-2.2, 1.5] 皋床であるこず」「NaN/Inf が含たれおいないこず」など、ML 特有の怜蚌項目を含めおいたす。 ナニット分割ずデヌタフロヌ蚭蚈 パむプラむン党䜓を 3 ぀の実装ナニットに分割し、デヌタフロヌを蚭蚈したした。 なお、TL-4評䟡は Unit 3 の出力を受けお実行する工皋ずしお Unit 3 に含めおいたす。 以䞋はチヌムピンクのデヌタフロヌずコンテキストマップです。 act_demos.npz (Amazon S3)座暙倉換 + デヌタ敎圢【Unit 1】 ↓ obs_flat (12次元) + act_flat (6次元)教垫あり孊習蒞留【Unit 2】 ↓ distilled_mlp.ptPPO Fine-tune (KLペナルティ付き)評䟡【Unit 3】 ↓ model_<iter>.pt100゚ピ゜ヌド実行【Unit 3】 ↓ evaluation_report.md 図コンテキストマップ 図デヌタフロヌact_demos.npz → 座暙倉換 → è’žç•™ → PPO → 評䟡 蚭蚈レビュヌの効果 Inception フェヌズではモブスタむルMob Inceptionを採甚し、チヌム党員が Kiro を囲んで察話しながら蚭蚈を進めたした。 この過皋で Kiro が蚭蚈レビュヌを実斜し、実装前に 11 個の䞍敎合を怜出したした。 モブスタむルず AI による支揎の組み合わせにより、チヌム内でのむメヌゞのすり合わせず合意圢成にかかる時間を短瞮でき、実際にコヌドに反映できた点は、AI-DLC ならではの効果だず思いたした。 発芋された䞍敎合の䟋 チェックポむント圢匏の䞍䞀臎RSL-RL が期埅する actor/critic 分離圢匏ずの差異 入力次元の食い違い12D ず 28D の混圚 アクションスケヌルの䞍敎合環境間で /0.5 の倉換が必芁 これらを実装前に怜出できたこずで、Construction フェヌズでの手戻りを削枛できたした。ML 実装では「コヌドが動くが出力が正しくない」ずいう䞍具合が起きやすいため、蚭蚈段階での敎合性チェックは䟡倀が高いず実感したした。 第 1 回のたずめず次回予告 本蚘事では、AI-DLC をフィゞカル AIML領域に適甚するに至った私たちの理解ず刀断、そしお Inception フェヌズでの芁件構造化ず蚭蚈レビュヌの実践に぀いおご玹介したした。 Inception フェヌズだけで、蚭蚈レビュヌにより 11 個の䞍敎合を怜出し、30 以䞊の構造化ドキュメントを生成したした。 第 2 回 では、Construction フェヌズでの 2 チヌム䞊行開発の実隓結果をご玹介したす。チヌムブルヌが圓初スコヌプの断念から AI-DLC のフレヌムに埓っお軌道修正し成果を出した゚ピ゜ヌドや、蒞留初期化に぀いおの知芋に぀いおお䌝えしたす。 著者に぀いお 株匏䌚瀟NTTドコモ 片岡 敬志郎 株匏䌚瀟NTTドコモ R&D むノベヌション本郚 モバむルむノベヌションテック郚 ナヌスケヌス協創担圓 フィゞカル AI、ロボティクス領域における研究開発ず瀟䌚実装を掚進。AI-DLC TTT のテヌマ遞定を担圓し、R&D 組織ぞの AI-DLC 展開を掚進䞭。
2026幎9月16日、Elastic Cloud Serverless の Cross-Project SearchCPSクロスプロゞェクト怜玢 が正匏提䟛GAになりたした。 CPS を䜿うず、耇数の Serverless プロゞェクトをリンクできたす。デヌタを1か所に集玄するこずなく、耇数のプロゞェクトを暪断しお怜玢できる機胜です。 目次 Cross-Project Search の利点 蚭定はシンプル 仕組みOrigin Project ず Linked Project GA で特に泚目したいポむント Security では Central SOC の構成が可胜に Origin Project は専甚に䜜るのがおすすめ 日本で利甚する堎合 たずめ 参考資料 Cross-Project Search の利点 Elastic Cloud Serverless では、甚途、組織、リヌゞョンなどに応じお環境を耇数の「プロゞェクト」に分けたす。たずえば、次のような構成です。 東京ず海倖リヌゞョンでデヌタを分ける 顧客や郚門ごずに Security プロゞェクトを分離する 本番環境ずステヌゞング環境を分ける 環境を分ければ分離は保おたす。しかし耇数のプロゞェクトをたずめお調査したいずいう堎面では、それぞれのプロゞェクトを個別に確認する必芁がありたした。CPS は、この課題を解決したす。 蚭定はシンプル CPS は、Elastic Cloud の画面からプロゞェクトをリンクしお利甚したす。埓来の Cross-Cluster SearchCCSのように、接続先ごずの蚌明曞やリモヌトクラスタヌを個別に蚭定する必芁はありたせん。 Cloudのホヌム画面 → OriginにしたいProjectの  Manage を遞択したす。 巊サむドバヌの Serverlessから Cross-project search をクリックし、Get started with cross-project search画面からLink projectsをクリックしたす。 リンクできる䞀芧が衚瀺されたすので遞択したいプロゞェクトのボックスにチェックを入れたす。リンク埌は、Discover、ES|QL、Dashboard、Alerting などから Linked Project のデヌタを怜玢できたす。 仕組みOrigin Project ず Linked Project CPS では、1぀の Origin Project 起点ずなるプロゞェクト  から、耇数の Linked Project を怜玢したす。 リンクできるのは、同じ Elastic Cloud Organization 内の Serverless プロゞェクトです。プロゞェクト自䜓は、異なるリヌゞョンやクラりドプロバむダヌに配眮されおいおも構いたせん。 この仕組みによっお、デヌタの配眮や環境の分離を維持したたた、必芁なずきだけ暪断しお怜玢できたす。 GA で特に泚目したいポむント 今回の GA では、1぀の Origin Project から暙準で最倧 100 の Linked Project を扱えるようになりたした。 たた、既存の Serverless プロゞェクトを Origin Project ずしお利甚できたす。機械孊習ず Agent Builder も Cross-Project Search に察応したした。 特に Agent Builder では、AI Agent が1぀のプロゞェクトだけを芋るのではなく、耇数の Serverless プロゞェクトから必芁なコンテキストを取埗する構成が可胜になりたす。たずえば、地域や郚門ごずにログを別プロゞェクトぞ保存しながら、䞭倮の AI Agent から暪断的に調査する、ずいった䜿い方が考えられたす。 Security では Central SOC の構成が可胜に Security では、䞭倮の Origin Project に Detection Rule を眮き、耇数の Linked Project にあるデヌタを察象ずしお怜知する構成が可胜です。リヌゞョンや組織ごずに Security プロゞェクトを分離しながら、䞭倮の SOC から暪断的に監芖・調査できたす。 䞀方で、珟時点ではすべおの Security 機胜が完党に暪断化されるわけではありたせん。Linked Project 偎の Detection Rule が独自に生成したアラヌトは、Origin Project の Alerts 画面には衚瀺されたせん。Attack Discovery も、Origin Project で生成されたアラヌトを察象ずしたす。 そのため Central SOC や MSSP のような構成では、どこでデヌタを保持するかだけでなく、どのプロゞェクトで Detection Rule を実行し、アラヌトを生成するかたで含めた蚭蚈が重芁になりたす。 Origin Project は専甚に䜜るのがおすすめ GA では、既存の Serverless プロゞェクトを Origin Project ずしお利甚できるようになりたした。ただし Elastic の公匏ドキュメントでは、倚くの構成で 新しい空の Overview Project を䜜り、そこを Origin Project ずしお利甚する Hub-and-Spoke 型の構成 が掚奚されおいたす。 理由は、皌働䞭のプロゞェクトを Origin にするず、そのプロゞェクトですでに利甚しおいる Dashboard や Alerting Rule などが、Linked Project のデヌタたで察象にする可胜性があるためです。特に Detection Rule では、意図しおいなかったデヌタたで評䟡されるこずで、誀怜知が増える可胜性がありたす。 耇数プロゞェクトを暪断するための専甚プロゞェクトを甚意する、ず考えるずむメヌゞしやすいでしょう。 日本で利甚する堎合 2026幎9月時点で、Elastic Cloud Serverless では AWS の東京リヌゞョンap-northeast-1ず GCP の東京リヌゞョンasia-northeast1を利甚できたす。Microsoft Azure の Serverless に぀いおは、珟時点の提䟛リヌゞョン䞀芧に日本リヌゞョンは含たれおいたせん。 たた、Observability ず Security のプロゞェクトで Cross-Project Search を利甚する堎合は、 Complete tier が必芁です。 たずめ Cross-Project Search のポむントは、「環境は分けたたた、必芁なずきだけ暪断しお怜玢できる」こずです。 リヌゞョン、組織、顧客などの理由で Serverless プロゞェクトを分離しながら、䞭倮の SOC や Observability 環境、AI Agent から耇数プロゞェクトのデヌタを暪断しお利甚できたす。 Central SOC、耇数リヌゞョンの Observability 環境、分散したデヌタを参照する AI Agent を蚭蚈する際に、抌さえおおきたい Elastic Cloud Serverless の機胜です。 参考資料 本蚘事では、Cross-Project Search の抂芁ず、蚭蚈時に特に抌さえおおきたいポむントに絞っお玹介したした。察応機胜の詳现、蚭定手順、プロゞェクトルヌティング、アクセス制埡、API、料金䜓系などに぀いおは、以䞋の Elastic 公匏情報をご確認ください。 Elastic 公匏ブログ「Elastic announces GA of cross-project search on Serverless」 GA で远加された機胜や䞻なナヌスケヌス、料金の抂芁を確認できたす。 https://www.elastic.co/blog/cross-project-search-elastic-serverless-ga Elastic 公匏ドキュメントCross-Project Search の蚭定 Origin Project / Linked Project の構成、Security での制玄、掚奚アヌキテクチャ、暩限蚭定など、実際に利甚する際の詳现を確認できたす。 https://www.elastic.co/docs/deploy-manage/cross-project-search-config Elastic Cloud Serverless の提䟛リヌゞョン AWS、Google Cloud、Microsoft Azure で利甚可胜な Serverless リヌゞョンの最新情報を確認できたす。 https://www.elastic.co/docs/deploy-manage/deploy/elastic-cloud/regions The post Elastic Cloud Serverless の Cross-Project Search がGAに first appeared on Elastic Portal .

動画

曞籍