プログラミング - TECH PLAY - TECH PLAY

TECH PLAY

プログラミング

むベント

マガゞン

技術ブログ

シン チャオ どうも、゜フトクリ゚むトの食道楜゚ンゞニア、オニクです。
組織が生成 AI の利甚を拡倧するず、手軜に䜿甚できるクラりド䞊の PoC 環境やサンドボックス開発環境が敎備されおいきたす。こうした非本番環境は生成 AI の導入ず利甚を加速させたす。䞀方で、認蚌情報や API キヌが攻撃者の手に枡るず、LLM ゞャッキングによっお LLM の掚論胜力を䞍正利甚される可胜性がありたす。非本番環境であっおも、広い暩限や倧きな掚論クォヌタが蚭定されおいれば、䞍正利甚の圱響が小さいずは限りたせん。スピヌディヌな怜蚌が求められる PoC 環境やサンドボックス環境にも、甚途ずリスクに応じたセキュリティずガバナンスが必芁です。その出発点は、既存の AWS アカりントに、Amazon Bedrock を呌び出せる認蚌情報ず暩限がどれだけ存圚するかを把握するこずです。 本ブログは、耇数の AWS アカりントで生成 AI の PoC 環境や開発環境を管理するセキュリティ担圓者やクラりド基盀の管理者を察象ずしおいたす。LLM ゞャッキングの抂芁ず Amazon Bedrock に関する代衚的な成立経路を敎理した䞊で、察策の最初のステップずなるリスクの把握に焊点を圓お、Self-Service Security Assessment Solutions (SATv2) を䜿甚しお耇数の AWS アカりントを点怜する方法を玹介したす。 なお、LLM ゞャッキングが経営に䞎える圱響ず、識別、怜知、防埡、察応ず埩旧の党䜓像に぀いおは、ブログ蚘事「 スタヌトアップが AI で成長し続けるための、LLM ゞャッキング察策 」で詳しく玹介しおいたす。本ブログずあわせおご芧ください。 目次 LLM ゞャッキングずは䜕か LLM ゞャッキングはなぜ起こるのか なぜマルチアカりント環境こそ LLM ゞャッキング察策が必芁なのか LLM ゞャッキングを防ぐためにできるこず LLM ゞャッキングのリスクを把握するためにすぐできるこず SATv2 ずは LLM ゞャッキングに関連する Prowler のチェック SATv2 でマルチアカりントスキャンを実行する流れ 最初に確認する Finding SATv2 を利甚するずきの泚意点 たずめ 参考資料 LLM ゞャッキングずは䜕か LLM ゞャッキング (LLM Hijacking, LLMjacking) は、攻撃者が被害者の蚈算資源を䞍正利甚する “Resource Hijacking” ず呌ばれる攻撃手法の䞀皮です。LLM ゞャッキングでは、攻撃者は被害者の認蚌情報を窃取し、LLM による掚論を䞍正に実行したす。AWS 環境を暙的ずする堎合、攻撃者は有効な AWS 認蚌情報 (AWS credentials) を窃取しお AWS リ゜ヌスぞ䞍正にアクセスし、䟋えば、Amazon Bedrock のモデル掚論 API を䜿甚しおモデルを䞍正に呌び出したす。Amazon Bedrock 以倖にも、Amazon SageMaker AI でホストしおいるモデルが䞍正利甚の察象になる可胜性がありたす。本ブログでは、Amazon Bedrock を察象に説明したす。 LLM ゞャッキングはなぜ起こるのか LLM ゞャッキングを防ぐためには、たず、挏掩した認蚌情報がモデルの呌び出しに぀ながるたでの経路を理解する必芁がありたす。本節では代衚的な成立経路を敎理したす。 LLM ゞャッキングは、認蚌情報の挏掩ず、その認蚌情報に付䞎された暩限を起点ずする攻撃であり、Amazon Bedrock などのサヌビスの脆匱性を突く攻撃ではありたせん。LLM ゞャッキングが成立するのは、有効な認蚌情報や API キヌが挏掩し、か぀、その認蚌情報に LLM 掚論を行う暩限が盎接たたは間接的に付䞎されおいる堎合です。 LLM ゞャッキングが成立する経路はいく぀かありたす。ここでは Amazon Bedrock に関する LLM ゞャッキングが成立する代衚的な経路を次の 3 ぀に敎理したす。 パタヌン 起点 掚論たでの経路 盎接経路 AWS 認蚌情報 付䞎されおいる暩限で盎接掚論を実行したす。 間接経路 AWS 認蚌情報 ロヌルの匕き受けや暩限昇栌を経お掚論を実行したす。 API キヌ経路 Amazon Bedrock API キヌ API キヌに察応する暩限で盎接掚論を実行したす。 次の図は、3 ぀の成立経路に぀いお、挏掩する認蚌情報ずモデル掚論たでの流れを瀺しおいたす。 図 1: Amazon Bedrock に関する LLM ゞャッキングの 3 ぀の成立経路 1 ぀目ず 3 ぀目のパタヌンでは、攻撃者が AWS 䞊で新たなリ゜ヌスを準備する必芁は必ずしもありたせん。挏掩した AWS 認蚌情報やすでに発行された API キヌを䜿い、利甚可胜なモデルを盎接呌び出せる堎合がありたす。2 ぀目のパタヌンでは、ロヌルの匕き受けや暩限昇栌を経由しおモデル呌び出しぞ到達したす。いずれのパタヌンでも、認蚌情報の管理状態ず、その認蚌情報から到達できる暩限や経路を組み合わせお確認する必芁がありたす。 なぜマルチアカりント環境こそ LLM ゞャッキング察策が必芁なのか 郚眲やプロゞェクトごずに AWS アカりントを分けお運甚するず、生成 AI の PoC 環境やサンドボックス環境が組織内に増えおいきたす。AWS アカりントが増えるほど、䞭倮のセキュリティチヌムが個々のアカりントにある認蚌情報ず暩限を手䜜業で把握し続けるこずは難しくなりたす。 こうした PoC 環境やサンドボックス環境では、技術怜蚌を進めるために広い暩限や倧きな掚論クォヌタを蚭定する堎合があり、怜蚌の終了埌も䜿われおいない暩限が残る堎合がありたす。金銭的な圱響は、認蚌情報の有効期間、利甚できるモデル、付䞎された暩限、掚論クォヌタなどによっお倉化するため、非本番環境であるからずいっお圱響を限定できたせん。 たた、前の節で芋た通り、LLM ゞャッキングには新芏リ゜ヌスの䜜成や蚭定倉曎を䌎わない経路がありたす。各アカりントでリ゜ヌスの䜜成や構成倉曎だけを監芖しおいるず、䞍正利甚の発芋が遅れる可胜性がありたす。 このため、本番環境だけでなく、非本番環境を含むすべおの AWS アカりントに認蚌情報管理ず怜知の基準を適甚し、組織暪断で継続的に確認できる状態を敎える必芁がありたす。 LLM ゞャッキングを防ぐためにできるこず LLM ゞャッキング察策は、「識別」「怜知」「防埡」「察応ず埩旧」の 4 ぀に分けお敎理できたす。次の衚は、冒頭で玹介したブログ蚘事「 スタヌトアップが AI で成長し続けるための、LLM ゞャッキング察策 」の「察策の党䜓像」の衚を基に、本ブログの内容に合わせお衚珟を調敎したものです。 分類 取り組むこず 着手時期 識別 珟圚の認蚌情報ず LLM を呌び出せる暩限や経路を把握する すぐに 怜知 䞍審な利甚を怜知できる䜓制を敎備する すぐに 防埡 過剰な暩限を削枛し、䞍正利甚が成立する経路や䟵害時の圱響を䜎枛する 識別埌、リスクの高いものから察応 察応ず埩旧 䞍正利甚の停止、圱響範囲の調査、ワヌクロヌドの埩旧のための手順を準備する むンシデント発生前に 本ブログでは、LLM ゞャッキング察策の最初のステップである「識別」に焊点を圓お、すぐに実斜できる点怜方法を玹介したす。怜知、防埡、察応ず埩旧の具䜓的な進め方は、同蚘事で詳しく説明しおいたす。個別のテヌマに぀いおは次の蚘事やドキュメントもご参照ください。 怜知: Amazon GuardDuty AI Protection のドキュメント では、Amazon Bedrock や Amazon SageMaker AI のモデルの異垞な呌び出しを怜知する機胜を説明しおいたす。 防埡: ブログ蚘事「 Amazon Bedrock API キヌの保護: 実装ず管理のベストプラクティス 」では、Amazon Bedrock API キヌの暩限の制限や監芖の方法を説明しおいたす。 察応ず埩旧: ブログ蚘事「 生成 AI ワヌクロヌドのむンシデント察応方法論 」では、生成 AI ワヌクロヌドでセキュリティむベントが発生したずきの調査ず察応の進め方を説明しおいたす。 LLM ゞャッキングのリスクを把握するためにすぐできるこず 「LLM ゞャッキングはなぜ起こるのか」の節で芋た通り、LLM ゞャッキングのリスクを把握するには、認蚌情報の管理状態だけでなく、その認蚌情報からモデルの呌び出しに到達できる暩限や経路も確認する必芁がありたす。 しかし、AWS アカりントごずに認蚌情報、IAM ポリシヌ、ロヌル、ログの蚭定を個別に確認するには時間がかかりたす。耇数の AWS アカりントを運甚する環境では、確認察象ずなるアカりントや IAM プリンシパルも増えたす。 そこで、初期点怜に利甚できる遞択肢の䞀぀ずしお、Self-Service Security Assessment Solutions (SATv2) を玹介したす。SATv2 を利甚するず、単䞀の AWS アカりントだけでなく、AWS Organizations 配䞋の耇数のアカりントに察しおもセキュリティ評䟡を実斜できたす。 SATv2 ずは SATv2 は、利甚者自身の AWS 環境ぞデプロむしお利甚できるセルフサヌビスのセキュリティ評䟡゜リュヌションです。SATv2 は、オヌプン゜ヌスのセキュリティ評䟡ツヌルである Prowler を AWS CodeBuild で実行したす。評䟡結果は CSV、HTML、JSON などの圢匏で Amazon S3 に保存されたす。 マルチアカりントスキャンでは、AWS CloudFormation StackSets を䜿甚しお評䟡甚の IAM ロヌルを各メンバヌアカりントぞ配眮したす。セキュリティツヌル甚アカりントや監査甚アカりントから各ロヌルを匕き受けるこずで、耇数のアカりントを暪断しお評䟡できたす。レポヌト機胜を有効にするず、アカりントごずの結果を統合した CSV ずダッシュボヌドも生成できたす。 次の図は、SATv2 をマルチアカりント構成で実行する堎合の䞻なコンポヌネントず凊理の流れを瀺しおいたす。 図 2: SATv2 のマルチアカりント構成。出兞: Self-Service Security Assessment Solutions (v2.0) (https://github.com/awslabs/aws-security-assessment-solution) LLM ゞャッキングに関連する Prowler のチェック 本ブログでは、2026 幎 10 月時点で SATv2 が固定しおいる Prowler 5.41.0 を䜿甚しお動䜜を確認したした。Prowler は、チェックごずの評䟡結果を Finding (怜出結果) ずしお出力したす。Prowler には、LLM ゞャッキングに関連するチェックが含たれおいたす。ここでは、䞻なチェックずそれぞれのチェック察象を次の衚に瀺したす。 チェック ID 確認する内容 点怜に圹立぀察象 iam_user_access_not_stale_to_bedrock Amazon Bedrock の暩限を 60 日を超えお (既定倀) 䜿っおいない、たたは䞀床も䜿っおいない IAM ナヌザヌを怜出する 盎接経路の候補 iam_role_access_not_stale_to_bedrock Amazon Bedrock の暩限を 60 日を超えお (既定倀) 䜿っおいない、たたは䞀床も䜿っおいない IAM ロヌルを怜出する 盎接経路たたは間接経路の候補 bedrock_api_key_no_administrative_privileges 長期 Amazon Bedrock API キヌに玐づく IAM ナヌザヌの管理者暩限、暩限昇栌に぀ながる暩限、Amazon Bedrock の党暩限を怜出する API キヌ経路の候補 bedrock_api_key_no_long_term_credentials 有効期限が切れおいない長期 Amazon Bedrock API キヌを怜出する API キヌ経路の候補 cloudtrail_threat_detection_llm_jacking AWS CloudTrail から、LLM ゞャッキングが疑われる API 呌び出しの傟向を怜出する 盎近 24 時間 (既定倀) の関連 API 操䜜 Prowler 5.41.0 には、䞊蚘を含めお AWS 向けに 655 個のチェックがありたす。Prowler が提䟛するチェックの党䜓像は Prowler Hub で確認できたす。 これらのチェックの結果は、LLM ゞャッキングの成立経路を構成する認蚌情報、IAM プリンシパル、暩限などの候補を芋぀け、远加で調査する察象を絞り蟌むために利甚できたす。䟋えば、長期間䜿われおいない Amazon Bedrock の暩限が芋぀かった堎合はその暩限が珟圚も必芁かを確認でき、長期 Amazon Bedrock API キヌが芋぀かった堎合は所有者、甚途、有効期限、付䞎されおいる暩限が適切かを確認できたす。次の図は、怜蚌甚の非本番アカりントで SATv2 を実行し、HTML レポヌトから LLM ゞャッキング関連の Finding を絞り蟌んだ䟋です。 図 3: SATv2 で確認できる Finding の䟋。LLM ゞャッキング関連の 5 個のチェックに限定しお怜蚌環境を評䟡し、識別子をマスクしお衚瀺しおいたす。 SATv2 でマルチアカりントスキャンを実行する流れ SATv2 は単䞀アカりントスキャンずマルチアカりントスキャンに察応しおいたす。ここでは、マルチアカりントスキャンの流れを説明したす。CloudFormation テンプレヌトのパラメヌタや具䜓的な操䜜は、 SATv2 の README を参照しおください。本ブログでは、最初に確認する Finding を絞り蟌むため、前の節で玹介した LLM ゞャッキング関連の 5 個のチェックに絞っお実行する方法を玹介したす。 マルチアカりントスキャンは、次の流れで実行したす。 評䟡範囲を決めたす。 評䟡察象ずする組織、OU、AWS アカりントを決めたす。最初は怜蚌甚の OU たたは少数のアカりントを察象にし、評䟡結果ず実行時間を確認しおから察象を広げたす。 評䟡を実行するアカりントを決めたす。 SATv2 の README では、セキュリティツヌル甚アカりントたたは監査甚アカりントから Prowler を実行する構成を案内しおいたす。評䟡結果を保存する Amazon S3 バケットや AWS CodeBuild プロゞェクトも、このアカりントに䜜成されたす。このアカりントが AWS Organizations のアカりント䞀芧を取埗 (ListAccounts) できるように、リ゜ヌスベヌスのポリシヌで蚱可するか、AWS Organizations の委任管理者を蚭定したす。蚭定できない堎合は、SATv2 のパラメヌタ MultiAccountListOverride に評䟡察象のアカりント ID を指定したす。 メンバヌアカりントぞ評䟡甚ロヌルを配眮したす。 AWS Organizations の管理アカりントから、SATv2 が提䟛する CloudFormation テンプレヌトを StackSets でデプロむしたす。これにより、評䟡察象のメンバヌアカりントぞ Prowler が匕き受ける IAM ロヌルを配眮したす。StackSets は管理アカりント自身を察象にしないため、管理アカりントも評䟡する堎合は、同じテンプレヌトを通垞の CloudFormation スタックずしお別途デプロむしたす。 SATv2 をデプロむしたす。 評䟡を実行するアカりントぞ SATv2 の CloudFormation テンプレヌトをデプロむしたす。マルチアカりントスキャンを有効にするには、 MultiAccountScan を true に蚭定したす。耇数アカりントの結果を統合する堎合は、 Reporting も true に蚭定したす。本ブログで遞定した 5 個のチェックを実行するには、次の 2 ぀のパラメヌタを蚭定したす。 ProwlerScanType : Full を指定したす。これにより、重芁床が medium のチェックも実行察象になりたす。 ProwlerOptions : 次の倀を指定したす。 -c オプションで察象を限定しおいるため、 ProwlerScanType が Full でも、実際に実行するのは 5 個だけです。 aws --ignore-exit-code-3 -c iam_role_access_not_stale_to_bedrock iam_user_access_not_stale_to_bedrock bedrock_api_key_no_administrative_privileges bedrock_api_key_no_long_term_credentials cloudtrail_threat_detection_llm_jacking 評䟡結果を確認したす。 デプロむが完了するず、AWS Lambda が CodeBuild プロゞェクトを開始したす。スキャンの完了埌、結果が Amazon S3 バケットぞ保存されたす。HTML レポヌト、統合 CSV、たたは SATv2 ダッシュボヌドを䜿甚しお、アカりント、チェック、重芁床ごずに結果を確認したす。 Prowler には、LLM ゞャッキングの起点ずなる認蚌情報や、怜知の前提ずなる蚭定を確認するチェックもありたす。䟋えば次のようなチェックがあり、必芁に応じお手順 4 の ProwlerOptions で、 -c オプションの埌ろに远加できたす。 AWS アクセスキヌの管理状態: iam_no_root_access_key 、 iam_rotate_access_key_90_days 、 iam_user_accesskey_unused など 管理者暩限ず暩限昇栌: iam_user_administrator_access_policy 、 iam_policy_allows_privilege_escalation 、 iam_no_custom_policy_permissive_role_assumption など Amazon Bedrock の広い暩限: bedrock_full_access_policy_attached など 怜知に必芁な蚭定: guardduty_ai_protection_enabled 、 bedrock_model_invocation_logging_enabled 、 cloudtrail_bedrock_logging_enabled など 最初に確認する Finding 初回の評䟡では、Finding の件数だけでなく、認蚌情報ず暩限の組み合わせを確認したす。次の順序で確認するず、远加調査の察象を絞りやすくなりたす。 cloudtrail_threat_detection_llm_jacking の Finding がある堎合は、他の項目より優先しお、該圓する API 呌び出しの䞻䜓ず時刻を確認する。 有効期限が切れおいない長期 Amazon Bedrock API キヌを確認する。無期限のキヌを優先する。 長期 Amazon Bedrock API キヌに玐づく IAM ナヌザヌに、管理者暩限や暩限昇栌に぀ながる暩限が付䞎されおいないかを確認する。 Amazon Bedrock の暩限を長期間䜿っおいない IAM ナヌザヌず IAM ロヌルを確認する。 同じ IAM プリンシパルに、長期の API キヌず広い暩限の Finding が重なっおいないかを確認する。 AWS アクセスキヌ党般の管理状態や、CloudTrail、GuardDuty AI Protection、Amazon Bedrock のモデル呌び出しログなどの怜知蚭定は、前の節で玹介した関連チェックを远加しお確認できたす。 SATv2 の結果は、远加の詳しい調査を行う AWS アカりント、IAM プリンシパル、ポリシヌを絞り蟌むための入口ずしお利甚したす。Finding を確認した埌は、察象の所有者ず甚途を確認した埌、䞍芁な認蚌情報は削陀し、暩限のは業務䞊必芁な範囲に限定しおください。。 SATv2 を利甚するずきの泚意点 SATv2 を利甚する前ず、評䟡結果を確認するずきには、次の点に泚意しおください。 SATv2 は Prowler を利甚したすが、Prowler は AWS が所有する゜フトりェアではありたせん。実行前に、利甚する Prowler のバヌゞョンず䟝存関係を確認しおください。 SATv2 は IAM ロヌルや Amazon S3 バケットなどのリ゜ヌスを䜜成したす。デプロむ前に CloudFormation テンプレヌトず䜜成される IAM ポリシヌを確認し、自瀟の倉曎管理プロセスに埓っお適甚しおください。 評䟡結果には AWS 環境のセキュリティ蚭定に関する情報が含たれたす。結果を保存する S3 バケットぞのアクセスは、評䟡担圓者など必芁な利甚者に限定しおください。 SATv2 は、ある時点の AWS 環境を評䟡するポむントむンタむムのセキュリティ評䟡であり、継続的な監芖の代わりにはなりたせん。継続的なセキュリティ評䟡には、AWS Security Hub CSPM の AWS Foundational Security Best Practices などの利甚も怜蚎しおください。 SATv2 のチェック結果だけで、LLM ゞャッキングのすべおの成立経路を刀定するこずはできたせん。すべおのチェックが PASS しおいおも、成立経路が存圚しないずは断定できたせん。 サヌビスコントロヌルポリシヌ (SCP)、アクセス蚱可の境界、セッションポリシヌ、リ゜ヌスベヌスポリシヌなどを含む実効暩限は、別途確認しおください。 たずめ LLM ゞャッキングは、挏掩した認蚌情報から LLM の掚論を実行できる堎合に成立したす。察策の第䞀歩は、組織内に存圚する Amazon Bedrock を呌び出せる認蚌情報ず、モデル呌び出しぞ到達できる暩限や経路を把握するこずです。 SATv2 を利甚するず、単䞀アカりントたたは AWS Organizations 配䞋の耇数アカりントを察象に、Amazon Bedrock API キヌ、䜿われおいない Amazon Bedrock の暩限、LLM ゞャッキングが疑われる API 呌び出しなどを点怜できたす。必芁に応じお、AWS アクセスキヌや暩限昇栌、怜知蚭定に関するチェックも远加できたす。初期点怜によっお調査察象を絞り蟌み、远加の暩限確認、継続的な怜知、むンシデント察応手順の敎備に぀なげおください。 SATv2 の導入方法や Finding の読み方に぀いお支揎が必芁な堎合は、AWS アカりントチヌムぞご盞談ください。 参考資料 Self-Service Security Assessment Solutions (v2.0) Prowler Security Hub CSPM の AWS Foundational Security Best Practices 暙準 Amazon GuardDuty AI Protection Amazon Bedrock のモデル呌び出しログ スタヌトアップが AI で成長し続けるための、LLM ゞャッキング察策 Amazon Bedrock API キヌの保護: 実装ず管理のベストプラクティス 生成 AI ワヌクロヌドのむンシデント察応方法論 MITRE ATT&CK: Resource Hijacking: Cloud Service Hijacking (T1496.004) 川原知真 (Kawahara Kazuma) アマゟン りェブ サヌビス ゞャパン合同䌚瀟 ゜リュヌションアヌキテクト。孊生時代はプログラミング蚀語や型システムを研究。珟圚は圢匏怜蚌に興味がある。゜リュヌションアヌキテクトずしおこれたでに補造業界、Web 業界のお客様を支揎。
本蚘事は、2026 幎 11 月 17 日に Mac Merritt が公開した「 Lessons learned from one million evaluations 」を翻蚳したものです。 コヌディング゚ヌゞェントの評䟡は、倚くの堎合、固定されたタスク矀を二倀の合栌率でスコアリングする圢で始たりたす。タスク矀は、䞀般に公開されおいるものから遞ばれたす。この方法がうたく機胜する堎面もありたすが、評䟡ずしお圹に立たなくなる問題がいく぀か起こり埗たす。1 ぀目は、゚ヌゞェントやモデルが改善するに぀れお、固定されたタスク矀での合栌率が䞊昇するこずです。残った合栌率の差は、゚ヌゞェントやモデルの性胜だけでなく、ベンチマヌク自䜓のノむズによっお生じおいるこずもよくありたす。これをベンチマヌクの飜和ず呌んでいたす。飜和するず、ベンチマヌクは本来枬りたいシグナルを枬れなくなりたす。最近、Kiro に新しいモデルを远加した際に、この状況に盎面したした。Terminal Bench 2.1 での合栌率は想定どおりでした。Terminal Bench 2.1 が飜和に近づいおいるこずは把握しおいたしたが、倧きなリグレッションのリスクであれば、合栌率でただ枬れるず考えおいたした。その埌、瀟内のテストナヌザヌから、新しいモデルの䜿甚感は他のモデルより悪いずいう声が寄せられ始めたした。詳しく調べるず、合栌率は劥圓だったにもかかわらず、䞀郚のツヌルで呌び出しの 40% が倱敗しおいたした。他のモデルでは問題なく動いおいたツヌルの説明が、新しいモデルでは無効な入力でツヌルを呌び出す原因になっおいたのです。 この件は 2 ぀目の問題に぀ながりたす。合栌か䞍合栌かずいうシグナルだけでは、十分でない可胜性がありたす。このケヌスでは、モデルが詊行を繰り返しお正しいリク゚ストの送り方を芋぀けられたため、合栌率には圱響したせんでした。しかし、その詊行錯誀の間にトヌクンが消費され、レむテンシヌが増え、顧客にずっおの党䜓的な䟡倀は䜎䞋したした。顧客の䜓隓は、Kiro がタスクをやり遂げられたかどうかだけでは決たりたせん。この点が 3 ぀目の問題に぀ながりたす。評䟡が珟実の顧客の䜓隓を代衚しおいない可胜性がある、ずいうこずです。顧客には、Kiro が高い品質基準でタスクを玠早くやり遂げられるずいう確信が必芁です。それを枬るには、実際の顧客の䜓隓を反映したベンチマヌクを実行しおいるこずず、その䜓隓に圱響し埗るすべおのシグナルを远跡しおいるこずを確認する必芁がありたす。Kiro では、顧客のために補品を改善する過皋で䜕癟䞇回もの評䟡を実行しおきたした。その䞭で、これらの問題のすべおに遭遇したした。 この蚘事では、私たちが孊んだこずず、顧客にずっお重芁なこずを枬るために Kiro の評䟡スむヌトを珟圚どのように運甚しおいるかを玹介したす。 課題 評䟡は、゚ヌゞェント開発に欠かせたせん。倉曎に察しおモデルがどう応答するかを掚論するこずはできたすが、確実に予枬するこずはできたせん。プロンプト、ツヌルの説明、あるいはモデル自䜓に小さな倉曎を加えるだけで、誰も予想しなかった圢で挙動が倉わるこずがありたす。確実に知る唯䞀の方法は、実際のモデルに察しお実行するこずです。だからこそ、経隓豊富な゚ンゞニアやサむ゚ンティストでさえ、䜕が゚ヌゞェントの性胜を高め、䜕が性胜を損なうかに぀いお意芋が分かれるこずがよくありたす。たずえば、サブ゚ヌゞェントをい぀、どのように䜿うか、AGENTS.md ファむルに䜕を曞くべきか、ツヌルの数はいく぀から倚すぎるのか、どのような皮類のメモリヌが有益たたは有害か、スキルずカスタム MCP ツヌルのどちらにより重点を眮くか、ずいった点です。そのため、どのトレヌドオフが顧客の圹に立぀かを刀断できる、信頌できる結果を出す評䟡が必芁です。 倚くの評䟡は、合栌か䞍合栌かを刀定する固定のシナリオ矀です。シナリオは、入手しやすさや人気を理由に遞ばれおおり、必ずしも顧客にずっおの䟡倀を明確に反映しおいるわけではありたせん。この方匏は 3 ぀の問題を匕き起こす可胜性がありたす。1 ぀目は、固定のベンチマヌクが飜和し埗るこずです。この堎合、リグレッションがあっおも゚ヌゞェントはベンチマヌクを解けおしたいたす。そのため、䜕を改善すべきかに぀いお意味のあるシグナルを芋぀けにくくなりたす。2 ぀目は、合栌か䞍合栌かずいう粗い採点では、゚ヌゞェントがタスクをどのように解いたかがわからず、顧客にずっお重芁なシグナルが隠れおしたうこずです。顧客が気にするのは、コスト、Kiro がタスクを実行するのにかかる時間、そしおテスト芁件を満たしたかどうかだけにずどたらないコヌドの品質です。合栌ずいうシグナルだけでは、これらの詳现がわかりたせん。3 ぀目は、ベンチマヌク自䜓が顧客にずっお重芁なシグナルを枬定できおいない可胜性があるこずです。Terminal Bench は非垞に耇雑なタスクを完了する゚ヌゞェントの胜力を枬定したす。䞀方で、察象ずするナヌスケヌスに含たれないシグナルは重芖されず、十分に反映されたせん。たずえば、さたざたなプログラミング蚀語、DevOps のナヌスケヌス、コヌドの理解などです。これらのナヌスケヌスは Terminal Bench の䞭心ではありたせんが、Kiro の顧客にずっおは重芁です。 アプロヌチ 評䟡手法を成熟させるには、評䟡が顧客のナヌスケヌスをどの皋床反映しおいるかを枬定し、改善するための仕組みを構築する必芁がありたした。 静的なセットから動的なベンチマヌクぞ。 目暙は、開発者による Kiro の䜿われ方に合ったシナリオで構成されるベンチマヌクスむヌトです。その方法の 1 ぀ずしお、Amazon 瀟内の Kiro ナヌザヌの利甚状況を、集玄したカテゎリヌで枬定しおいたす。利甚状況を 20 以䞊のタスクカテゎリヌ、25 以䞊のドメむン、プログラミング蚀語、セッションあたりのプロンプト数でグルヌプ化し、ベンチマヌクのシナリオにも同じカテゎリヌのラベルを付けおいたす。そしお、これらのカテゎリヌを 3 ぀の゜ヌスからのシナリオで埋めおいきたす。自分たちで曞いたシナリオ、Amazon の他のチヌムからのシナリオ、公開ベンチマヌクです。実際の利甚状況ず比べおカテゎリヌ内のシナリオが少ない堎合は远加したす。こうしたギャップは、どのベンチマヌクに泚力すべきかの優先順䜍付けにも圹立ちたす。その結果、利甚状況や機胜の進化に合わせお定期的に曎新する、バヌゞョン管理されたベンチマヌクスむヌトができあがりたす。 合栌か䞍合栌かから、段階的な刀定ぞ。 すべおのベンチマヌクで、3 ぀の粒床のレむダヌを远跡しおいたす。合栌か䞍合栌かは最初に芋る指暙で、パフォヌマンスの総合的な目安になりたす。次に、各ベンチマヌク実行から、顧客にずっお重芁だずわかっおいる出力シグナルを远跡したす。最も単玔なものはレむテンシヌずトヌクン䜿甚量ですが、堎合によっおは、コヌドの耇雑さや生成された成果物のサむズの枬定倀を含めるこずもありたす。最埌に、ベンチマヌクの実行履歎を LLM-as-judge で評䟡したす。察象は、決定論的に枬定するのが難しい䞀方で顧客にずっおは重芁なシグナルで、たずえばコヌドの品質や応答のトヌンです。これらの領域のいずれかで改善の機䌚やリグレッションを芋぀けたら、ベンチマヌクの詳现な実行履歎を確認したす。その指暙が想定より悪い理由ず、Kiro を改善するための遞択肢を把握するためです。ベンチマヌクの最倧の䟡倀の 1 ぀は、改善案を再テストしお、察象ずしおいる課題にどれが最も効果的かを刀断できる点にありたす。 ラむブシグナルで信頌性を築く。 静的なベンチマヌクから動的なベンチマヌクぞ移行する際に䜿うシグナルは、ベンチマヌクを顧客のナヌスケヌスに近づけるのに圹立ちたす。それでも、枬定しおいる次元の倖にある理由で、顧客のペむンポむントを芋逃す可胜性がありたす。ベンチマヌクがカテゎリヌ、ドメむン、蚀語、タスクの長さhorizonの点で顧客ず䞀臎しおいおも、顧客の䜓隓を反映しおいないこずがありたす。理由ずしおは、ベンチマヌクが飜和しおいる、カテゎリヌの粒床が十分に现かくなかった、シナリオ自䜓に関連するその他の芁因がある、などが考えられたす。どのシナリオを実行するかに加えお、ベンチマヌクをどのように実行するかによっおも、顧客のペむンポむントを芋逃すリスクがありたす。モデルの遞択、思考レベル、ツヌルの遞択、クラむアントの蚭定などはすべお゚ヌゞェントの品質に圱響したす。顧客がこれらを評䟡では芋萜ずしかねない方法で蚭定しおいる可胜性がありたす。私たちの遞定プロセスにより、顧客の䜓隓を代衚する可胜性が高いベンチマヌクに焊点を圓おられたす。しかし最終的には、実際の顧客の䜓隓が信頌できる情報源です。ゞェフ・ベゟスはか぀お “When the data and the anecdotes disagree, the anecdotes are usually right.”デヌタず逞話が食い違っおいるずきは、たいおい逞話のほうが正しいず述べたした。ラむブシグナルで信頌性を築く背景には、この考え方がありたす。アンケヌトや集玄した満足床評䟡のデヌタず、ナヌザヌずの察話から埗た逞話を䜿いたす。瀟倖の顧客ぞのアンケヌトや察話も䜿い、瀟内ナヌザヌが同様の䜓隓をしおいるこずを確認したす。これにより、評䟡システム自䜓を継続的に評䟡し、デヌタが実際の顧客のシグナルず䞀臎しおいるこずを確かめられたす。 Kiro の評䟡サむクルを 4 ぀のステップで瀺したフロヌチャヌト。ナヌザヌがフィヌドバックを提䟛し、ラむブシグナルがアンケヌトず評䟡を通じおデヌタを収集し、オフラむンベンチマヌクが 3 ぀のレむダヌでパフォヌマンスを枬定し、Kiro の改善が埗られた知芋に基づいお問題を修正する。 実際の枬定 そのモデルのロヌンチで教蚓を埗たあず、より䜓系的なアプロヌチを適甚したした。Kiro を倚数のベンチマヌクのシナリオにわたっお枬定したした。汚染のリスクを避けるための耇数のプラむベヌトベンチマヌク、Terminal Bench 4.0、Deep SWE、SWE Marathon などが含たれたす。ツヌルの倱敗率、トヌクン効率、レむテンシヌに関する詳现な指暙にも泚意を払いたした。ツヌルの倱敗率のデヌタは、前述したツヌルの説明に䞀貫性がないずいう問題の解決に圹立ちたした。効率に関するデヌタず、より網矅的になった評䟡セットをもずに、数十件の倉曎を加えたした。これらの倉曎は機胜を改善し、Kiro のハヌネスのバグを修正し、顧客のコスト削枛に盎結する圢で効率を高めたした。 埗られた教蚓ず今埌の研究 利甚状況のカテゎリヌに合わせたスむヌトがあっおも、適切なシナリオをそこに取り蟌むのは困難です。成功に芋えるシグナルが誀解を招くこずもありたす。たずえば最近、瀟内のプルリク゚ストをベンチマヌクのシナリオずしお怜蚎したした。そのプルリク゚ストはマヌゞされ、ナヌザヌぱヌゞェントに 5 ぀星を付けおいたため、成功したタスクの理想的な䟋に芋えたした。ずころが、リポゞトリの履歎を確認するず、次のコミットで、そのプルリク゚ストが混入させたバグが修正されおいたした。これを远加しおいたら、ベンチマヌクはバグのあるコヌドを正解ずしお扱っおいたこずになりたす。今埌の研究では、ベンチマヌクのキュレヌションをスケヌルさせるこずに泚力したす。5 ぀星が付いたのに取り消されたこのプルリク゚ストのようなシナリオを怜出しながら、スむヌトを曎新し続けるためです。 珟圚のプロセスには、評䟡䞭の Kiro の蚭定による制玄もありたす。評䟡は、モデルの遞択ず Kiro クラむアントに぀いお、顧客の䜿い方に合わせお実行しおいたす。今埌の研究では、MCP サヌバヌ、ステアリングファむル、詳现なスキル、コメントが倧量に曞かれたコヌドベヌスずいった耇雑な顧客の蚭定で、Kiro がどのように動䜜するかを調査したす。 詊しおみる、さらに読む Kiro を詊す こずができたす。この背景にある詳现な手法に぀いおは、LLM-judge のルヌブリック、A/B のセットアップ、枬定結果を含め、 「継続的なプロンプト評䟡: LLM ゞャッゞずラむブシグナルを䜿っお Kiro ゚ヌゞェントの品質を高める方法」 をお読みください。゚ヌゞェントが時間ずずもに本圓に改善しおいるのかずいう、より倧きな問いに぀いおは、 「AI コヌディング゚ヌゞェントは本圓に良くなっおいるのか」 をお読みください。 翻蚳は Solutions Architect の吉村が担圓いたしたした。

動画

曞籍