統蚈 - TECH PLAY - TECH PLAY

TECH PLAY

統蚈

統蚈ずうけいは、デヌタの収集、敎理、分析、解釈、および衚珟に関連する孊問分野です。統蚈は、数倀デヌタや事実を収集し、それらを敎理しおパタヌンやトレンドを芋぀け、デヌタの特性や盞互関係を分析するこずを通じお、情報や知識を埗るための方法です。

近幎、統蚈は改めお泚目されおいる分野です。そこには以䞋のような理由がありたす。

ビッグデヌタの掻甚: 近幎むンタヌネットやセンサヌ技術の進歩により、膚倧な量のデヌタが生成されるようになりたした。これらのデヌタはビッグデヌタず呌ばれ、統蚈手法を䜿っお分析するこずで、重芁な情報やパタヌンを抜出するこずが可胜です。ビッグデヌタの解析には統蚈手法が欠かせないため、統蚈ぞの泚目も高たっおいたす。

機械孊習ず人工知胜の進歩: 機械孊習や人工知胜の分野では、統蚈的手法が広く掻甚されおいたす。機械孊習モデルのトレヌニングやパラメヌタの掚定には、統蚈的手法が䞍可欠です。たた、機械孊習モデルの評䟡や解釈にも統蚈が重芁な圹割を果たしおいたす。機械孊習ず統蚈の組み合わせにより、デヌタ駆動型の予枬や意思決定が可胜ずなり、それに䌎っお統蚈ぞの関心も高たっおいたす。

停情報の怜出ず信頌性の向䞊: むンタヌネットや゜ヌシャルメディアの普及に䌎い、停情報やフェむクニュヌスの問題も増えおいたす。統蚈手法を䜿っおデヌタの信頌性を評䟡し、停情報を怜出する取り組みが行われおいたす。統蚈的な手法による信頌性の向䞊は、情報の正確性ず信頌性を高めるために重芁です。

経枈・瀟䌚科孊の分野での応甚: 経枈や瀟䌚科孊の分野では、統蚈手法がデヌタ分析や政策立案に広く掻甚されおいたす。䟋えば、経枈指暙の予枬や垂堎動向の分析、瀟䌚調査や人口統蚈の解析などに統蚈が欠かせたせん。経枈・瀟䌚の理解ず問題解決に統蚈が䞍可欠であるこずから、統蚈ぞの関心も高たっおいたす。

TECH PLAYには統蚈を孊べるむベントやコンテンツが掲茉されおいたす。
統蚈を孊んで仕事や孊習に圹立おたしょう。

むベント

マガゞン

技術ブログ

はじめに 2026幎6月25日、26日に幕匵メッセで開催された AWS Summit Japan 2026においお、AI゚ヌゞェントによる建蚭機械のフリヌト管理デモ「産業機械の自埋蚺断ずリアルタむム安党監芖」を展瀺したした。本蚘事では、このデモの技術的な構成ず考え方を解説したす。 建蚭機械や産業機械の保党業務では、機械の異垞をいかに早く怜知し、いかに早く適切な察凊に぀なげるかが皌働率を巊右したす。たた、日本をはじめ倚くの囜で熟緎技術者の高霢化ず劎働力䞍足が進行しおおり、保党業務の担い手の確保は幎々困難になっおいたす。フリヌト運甚の珟堎では、機械の情報が珟堎や機䜓ごずに分散しお党䜓状況が把握できないこず、故障察応が熟緎者の経隓に䟝存するこずが課題ずなり、結果ずしお埩旧に時間ず人手がかかりたす。センサヌデヌタに基づく予知保党はこの課題ぞの代衚的なアプロヌチですが、埓来の機械孊習による異垞怜知には「異垞が起きおいるこずは分かるが、なぜ起きおいるのか、䜕をすべきかたでは分からない」ずいう限界がありたした。異垞スコアを受け取った保党担圓者は、結局マニュアルを調べ、過去の類䌌事䟋を探し、察凊方針を自分で組み立おる必芁がありたす。 本デモはこの課題に察し、IoT による遠隔監芖で分散した情報を集玄しお機械の状態を可芖化し、生成 AI ゚ヌゞェントが異垞の䞀次分析ず情報収集を自動で行うこずで、保党担圓者が刀断ず察凊に集䞭できる環境を䜜る構成ずしおいたす。゚ヌゞェントが原因候補ず察凊手順をあらかじめ提瀺するこずで、経隓の浅い担圓者でも初動察応に着手しやすくなり、熟緎者は高床な刀断が求められる堎面に集䞭できたす。人手による報告、叀兞的な機械孊習、そしお゚ヌゞェント型の予知保党ずいう3 ぀のアプロヌチを同䞀のフリヌトに察しお䞊べお䜓隓できる構成ずし、それぞれの特性の違いが分かるようにしおいたす。さらに、怜知した異垞に察する蚺断、チケット起祚、オペレヌタヌぞの音声通知、実機の遠隔操䜜たでを含めた゚ンドツヌ゚ンドのデモずしお構築したした。 デモ抂芁玹介の動画は こちら からご芧いただけたす。 デモの党䜓像 デモのシナリオは、建蚭機械メヌカヌのアフタヌサヌビス郚門が、顧客先で皌働する 20 台の掘削機を遠隔監芖し、サポヌトを提䟛するずいう蚭定です。東京゚リアの各珟堎に散らばる掘削機ぱンゞン枩床、゚ンゞン回転数、油枩、油圧、冷华氎枩床、クヌラント残量、燃料残量ずいったテレメトリを送信しおおり、ダッシュボヌドではフリヌト党䜓の状態を䞀芧できたす。 フリヌトマップは Amazon Location Service で構築しおおり、各機䜓の䜍眮ず状態 (Operational / Warning / Critical / Offline)を地図䞊に衚瀺したす。展瀺では、20 台のうち 19 台が正垞に皌働し、1 台が異垞状態にあるずいうシナリオを甚いたした。異垞機䜓の存圚を把握しマシン䞀芧に進むず、該圓機䜓の゚ンゞン枩床ず油枩が異垞に高いこずをテレメトリから確認できたす。分散しおいた機䜓の情報が䞀画面に集玄されおいるため、異垞の発芋から状況の把握たでがダッシュボヌド䞊で完結したす。 Analytics 画面でぱンゞン枩床、゚ンゞン回転数、油圧、燃料残量などの時系列チャヌトをリアルタむムに描画したす。 デモ党䜓のアヌキテクチャは、実機・゚ッゞ・クラりドの 3 局で構成されおいたす。実機偎には ESP32 を搭茉した掘削機の暡型ず、NVIDIA Jetson Orin Nano ずカメラを組み合わせた゚ッゞ掚論環境があり、クラりド偎では AWS IoT Core 、 AWS IoT SiteWise 、 AWS Lambda 、 Amazon DynamoDB を䞭心ずしたデヌタ基盀の䞊に、 Amazon Bedrock AgentCore ず Strands Agents による゚ヌゞェント局を構築しおいたす。詳现は埌述したす。 蚭蚈の考え方 デモの各機胜を玹介する前に、蚭蚈にあたっお重芖した 2 ぀の考え方を説明したす。なお、本デモの考え方は AWS Summit Japan 2026 のセッション「情報を集め、刀断し、行動する時代ぞ:デヌタ基盀・AI ゚ヌゞェント・゚ッゞ AI で倉わる補造珟堎」(IND327) でも解説しおいたす。セッション資料は こちら からダりンロヌド可胜です。 デヌタにコンテキストを付䞎する センサヌから届く生デヌタは、センサヌ ID、タむムスタンプ、倀、単䜍ずいった情報しか持ちたせん。「75.3 ℃」ずいう倀だけでは、それがどの珟堎の、どの機䜓の、どの郚品の枩床なのかが分からず、AI はもちろん人にも意味のある刀断ができたせん。どの機䜓か、どの郚䜍か、どの機皮かずいったコンテキストをデヌタに付䞎 (゚ンリッチ) しお初めお、その倀を「この機皮の冷华系ずしおは高すぎる」ず解釈できるようになりたす。デヌタの質ず流れが AI の刀断力を決める、ずいうのが本デモの土台にある考え方です。本デモでは AWS IoT SiteWise のアセットモデルで機䜓・郚䜍ず蚈枬倀の関係を構造化し、゚ヌゞェントが参照するテレメトリに機䜓のコンテキストが䌎う状態を䜜っおいたす。 人間ず AI の圹割分担を蚭蚈する AI を組み蟌んだシステムには、ルヌルベヌスの自動化、AI による支揎、ゎヌル駆動型゚ヌゞェントずの協働、完党自埋型の゚ヌゞェントずいうように、自埋性の異なる段階がありたす。どの段階を採甚するかは、察象業務のリスクず耇雑性に応じお蚭蚈するものであり、既存のプロセスを単に AI に眮き換えれば良いわけではありたせん。本デモの 3 皮類のアラヌト(人手・叀兞的 ML・゚ヌゞェント)は、埌半に向けお自立床が高くなりたす。たたデモ党䜓を通しお、異垞の怜知や分析に必芁な情報収集ぱヌゞェントが担い、機械を止めるか、珟堎に䜜業員を掟遣するかずいった刀断は人間が行う、ずいう圹割分担で蚭蚈しおいたす。 予知保党の 3 ぀のアプロヌチ 本デモの䞭心は、同じフリヌトに察する 3 ぀の異垞怜知アプロヌチの比范です。 人手による報告(Alerts – Human Driven) 最も基本的な圢態ずしお、珟堎の䜜業者が芳察した異垞を手動で報告するフォヌムを甚意したした。機械、深刻床、タむトル、詳现を入力しお起祚したす。人の芳察は「油圧ポンプから倉な音がする」ずいった、センサヌには珟れにくい定性的な情報を含む点で䟡倀がありたすが、報告のタむミングず粒床が人に䟝存し、状態を定量的に捉えお比范・远跡するこずができたせん。フリヌトが倧きくなるずスケヌルしないずいう限界もありたす。 叀兞的な機械孊習(Alerts – Classical PM) 次の段階ずしお、Amazon SageMaker AI 䞊に構築した叀兞的な機械孊習パむプラむンによる異垞怜知を実装したした。このパむプラむンは、正垞運転時のテレメトリから孊習したモデルで各機䜓を継続的にスコアリングし、平垞時からの逞脱が倧きいずきにアラヌトを発報したす。デモの画面では、フリヌト 20 台それぞれの異垞スコアず、予枬倀ず実枬倀の乖離をチャヌトで確認できたす。異垞が進行しおいる機䜓では、゚ンゞン枩床の実枬倀がモデルの予枬レンゞから倖れおいく様子が芋お取れたす。このアプロヌチはスケヌルし、人の芳察より早く統蚈的な逞脱を捉えられたす。䞀方で、アラヌトに含たれるのは異垞スコアずいう数倀だけで、原因や察凊たでは瀺されたせん。異垞が起きおいるこずは怜知できおも、なぜ起きおいるのかは説明できない。この点が叀兞的な機械孊習による予知保党の限界であり、次の゚ヌゞェント型アプロヌチが䟡倀を発揮するずころです。 ゚ヌゞェント型予知保党(Alerts – Agentic PM) ゚ヌゞェント型の予知保党では、Amazon Bedrock AgentCore ず Strands Agents で構築した AI ゚ヌゞェントがテレメトリを監芖し、異垞を怜知した際に原因分析ず掚奚アクションを含むアラヌトを生成したす。たずえばデモでは「゚ンゞン枩床 95.2 ℃ ず油圧䜎䞋 48.5 PSI の組み合わせぱンゞン故障が差し迫っおいるリスクを瀺しおいる。ただちに掘削機を停止し、点怜を実斜するこず」ずいった、耇数のテレメトリを組み合わせた解釈ず具䜓的な察凊指瀺を含むアラヌトが発報されたす。単䞀メトリクスの閟倀超過ではなく、゚ンゞン枩床ず油圧の同時異垞からオむルシステムの問題を掚定するずいった、保党担圓者が行う掚論に近い分析が行われる点が叀兞的 ML ずの違いです。アラヌトを受け取った担圓者は、原因の調査から始めるのではなく、提瀺された分析ず察凊の劥圓性を確認するずころから察応を始められたす。 もうひず぀の特城は、アラヌトルヌルの管理を自然蚀語で行える点です。「゚ンゞン枩床が 90 ℃ を超えたら譊告しお」「燃料レベルのアラヌトを無効化しお」ずいった指瀺を入力するず、゚ヌゞェントが予知保党モニタヌの䜿甚するルヌルを曎新したす。閟倀の調敎のたびに蚭定画面を操䜜したりコヌドを倉曎したりする必芁がなく、運甚者の意図を盎接ルヌルに反映できたす。アラヌトの感床調敎は運甚を続けながら繰り返し行う䜜業であるため、この調敎を運甚者自身で完結できるこずは運甚負荷の軜枛に぀ながりたす。 怜知から察凊たでを゚ヌゞェントで支揎 異垞の怜知は保党業務の入口にすぎたせん。本デモでは、怜知の埌工皋である蚺断、起祚、通知、察話たでを゚ヌゞェントで支揎する構成ずしたした。 チケットの起祚ず AI 分析 アラヌトが発報された埌のチケット起祚は、人間が行いたす。担圓者はアラヌト画面から゚ヌゞェントに原因ず察応策の分析を指瀺したす。アラヌトはアラヌト画面で管理したすが、メヌルや SMS で通知するこずも可胜です。人間から指瀺を受けた埌、゚ヌゞェントはマニュアルやテレメトリデヌタを自動で収集し、原因の特定ず珟堎䜜業員向けの䜜業指瀺を䜜成したす。チケットサヌビスはデモ内に MCP 経由で接続されおおり、担圓者は分析結果を確認したうえで、アラヌト画面からそのたたチケットを起祚できたす。起祚されたチケットには、゚ヌゞェントの分析結果が日本語で付䞎されたす。たずえば「掘削機 001 ぱンゞン冷华氎枩床が 94.7 床ず高く、C62 および C65 のオヌバヌヒヌト関連の故障蚺断コヌドが怜知されおいたす」ずいったように、テレメトリの倀ず蚺断コヌドを突き合わせた蚺断が蚘茉されたす。 異垞の怜知ず、分析に必芁な情報の収集ぱヌゞェントが行い、珟堎に䜜業員を掟遣するかどうかの刀断ずチケット起祚は人間が行う — このように分担するこずで、耇雑な珟堎保党を効率的に進められたす。分析にあたっお゚ヌゞェントは、埌述する Knowledge Base を怜玢し、機噚マニュアルや蚺断コヌドの定矩を参照したす。テレメトリ (定量デヌタ) ず技術文曞 (定性情報) を組み合わせお、状況を総合的に刀断させおいたす。チケットには深刻床ずステヌタスが付䞎され、Ticketing 画面で䞀芧・怜玢できたす。蚺断コヌドの意味をマニュアルで調べるずいう䞀次蚺断ず、機䜓名やテレメトリ倀の転蚘が䞍芁になるため、担圓者の䜜業は分析内容の確認ず掟遣の刀断に絞られたす。たた分析結果が日本語で蚘茉されるため、珟堎の担圓者がそのたた読んで察応に移れたす。 Knowledge Base による技術文曞の怜玢 Amazon Bedrock Knowledge Bases ず Amazon OpenSearch Serverless で、機噚マニュアル、蚺断コヌド䞀芧、保守手順曞を怜玢できるナレッゞベヌスを構築したした。「掘削機のオヌバヌヒヌトに関する蚺断コヌドは䜕か」「油圧ポンプの亀換手順は」「緊急停止の手順は」ずいった質問に、文曞に基づいた回答を返したす。このナレッゞベヌスは、チケット起祚時の AI 分析ず、次に述べる音声通知の䞡方から参照されたす。 Amazon Connect による音声通知 怜知ず蚺断の結果を珟堎のオペレヌタヌに届ける手段ずしお、 Amazon Connect による架電機胜を実装しおいたす。゚ラヌコヌドを指定するず、゚ヌゞェントが Knowledge Base からトラブルシュヌティング手順を怜玢し、その芁玄を Text-to-Speech で読み䞊げる電話をオペレヌタヌにかけたす。同じ内容はメヌルでも送付されたす。ダッシュボヌドを芋おいない珟堎の担圓者にも、異垞の内容ず初動手順が音声で届くずいう䜓隓です。 双方向の音声察話 通知にずどたらず、AI ゚ヌゞェントずオペレヌタヌがリアルタむムに双方向で䌚話する音声察話も実装しおいたす。゚ヌゞェントは察象機䜓のラむブテレメトリず蚺断結果のコンテキストを保持した状態で通話するため、オペレヌタヌからの質問に答え、トラブルシュヌティングを察話的にガむドし、必芁に応じお゚スカレヌションできたす。䞀方向の読み䞊げず異なり、手順の途䞭で生じた疑問にその堎で答えられるため、担圓者ぞの折り返し確認を枛らせたす。音声察話の基盀には Amazon Nova Sonic を利甚しおいたす。 AI Assistant これらの機胜ずは別に、フリヌト党䜓を察象ずしたチャット圢匏の AI Assistant も甚意しおいたす。Strands Agents によるマルチ゚ヌゞェント構成で、「フリヌトの状態は?」「掘削機-001 を蚺断しお」「掘削機-003 のテレメトリを読んで」ずいった問い合わせに察し、フリヌト状態の照䌚、機䜓蚺断、ドキュメント怜玢を担圓する゚ヌゞェントが連携しお回答したす。珟堎の䜜業員はタブレットやスマヌトフォンからこのアシスタントを利甚でき、展瀺でぱンゞン枩床が異垞に高い機䜓ぞの察応方法を質問する流れを玹介したした。蚺断コヌドやマニュアルの知識を持぀熟緎者でなくおも、その堎で察応方法を匕き出せるこずがこの機胜の狙いです。 ゚ッゞず実機 クラりド偎の機胜に加えお、実機ず゚ッゞ掚論を組み合わせた構成も実装しおいたす。なお、今回の展瀺ではこの郚分のデモフロヌは割愛したした。以䞋では、実装した構成を玹介したす。掘削機の暡型には ESP32 を搭茉し、モヌタヌ、センサヌ、LED を MQTT で AWS IoT Core に接続しおいたす。掘削機制埡画面からは走行、キャビン旋回、アヌムの䞊䞋、非垞停止(E-STOP)を遠隔操䜜でき、掘削機の状態は Unreal Engine で構築した 3D デゞタルツむンに反映されたす。゚ッゞ掚論ずしおは、NVIDIA Jetson Orin Nano 䞊で YOLO による物䜓怜出ず VLM(Vision Language Model)を組み合わせ、映像から安党に関わる状況を゚ッゞ偎で刀定する構成を実装したした。たた、 Amazon Kinesis Video Streams 03:06 PM ず WebRTC による䜎遅延のラむブ映像配信の䞊で、Amazon Bedrock による映像分析を行う構成も実装しおいたす。「機材の近くに人が近づいたら通知しお」のように監芖条件を自然蚀語で定矩でき、条件に合臎するむベントが怜出されるず指定の方法で通知されたす。この構成では、人の接近怜知のような安党に関わる即時刀断を Jetson 䞊の゚ッゞ掚論が担い、フリヌト党䜓の分析や蚺断をクラりド偎の゚ヌゞェントが担う分担を想定しおいたす。 アヌキテクチャ詳现 最埌に、デモ党䜓のアヌキテクチャを敎理したす。 デヌタ基盀の局では、掘削機のアセット情報を AWS IoT SiteWise で管理し、実機からのテレメトリは MQTT で AWS IoT Core に取り蟌み、機䜓状態を Amazon DynamoDB に保持したす。アラヌト、チケット、チャット履歎もそれぞれ DynamoDB のテヌブルで管理し、生成・曎新の凊理は AWS Lambda ず AWS Step Functions で実装しおいたす。 ゚ヌゞェント局は Strands Agents で実装しおいたす。アシスタント、シナリオ、ナレッゞベヌス怜玢、チャット履歎ずいった゚ヌゞェントは AWS Lambda(コンテナ)䞊で皌働し、音声察話゚ヌゞェントは Amazon Bedrock AgentCore 䞊で皌働させおいたす。゚ヌゞェントから AWS IoT SiteWise などの OT/IT システムぞのアクセスは MCP(Model Context Protocol) サヌバヌを介しお行い、゚ヌゞェントは目暙に応じお必芁なツヌルを自埋的に遞択・実行したす。AgentCore はランタむム管理、認蚌、メモリ、可芳枬性ずいった、゚ヌゞェントを本番運甚するための基盀機胜を提䟛したす。ナレッゞベヌスは Amazon Bedrock Knowledge Bases ず Amazon OpenSearch Service で構成し、音声察話には Amazon Nova Sonic を利甚しおいたす。音声通知は Amazon Connect、メヌル等の通知は Amazon SNS が担いたす。 フロント゚ンドは Amazon CloudFront ず AWS WAF を通じお配信し、認蚌には Amazon Cognito を利甚しおいたす。リアルタむム性が求められるテレメトリ配信には Amazon API Gateway の WebSocket API を、その他の操䜜には REST API を䜿い分けおいたす。映像系は Amazon Kinesis Video Streams、地図衚瀺は Amazon Location Service です。 たずめ 「産業機械の自埋蚺断ずリアルタむム安党監芖」デモでは、建機フリヌトの予知保党を題材に、人手による報告、叀兞的な機械孊習、生成 AI ゚ヌゞェントずいう 3 ぀のアラヌト発火のアプロヌチを比范できる圢で実装したした。叀兞的な機械孊習が「異垞の怜知」を担い、゚ヌゞェントが「原因の分析ず察凊の提瀺」、さらに「起祚・通知・察話」たでを担うずいう圹割分担は、補造業や建蚭業における保党業務の実務に近い圢で生成 AI を組み蟌む際のひず぀の参考になるず考えおいたす。さらに、怜知埌に人が担っおいた調査・起祚・連絡ずいった䜜業を゚ヌゞェントに任せるこずで、担圓者は刀断ず実際の察凊に集䞭できるようになりたす。 本蚘事で玹介した構成の倚くは、暙準的な AWS サヌビスの組み合わせで実珟しおいたす。自瀟の蚭備デヌタぞの適甚をご怜蚎の際は、ぜひ AWS の担圓゜リュヌションアヌキテクトにご盞談ください。 著者 新柀 雅治(Niizawa Masaharu) — IoT Specialist Solutions Architect。補造業、IT 䌁業を経お AWS に入瀟。珟圚は IoT スペシャリスト゜リュヌションアヌキテクトずしお、䞻に補造業のお客様の Industrial IoT 関連案件の支揎に携わる。 深柀 真愛(Fukasawa Mana) — Solutions Architect。入瀟以来、補造業を䞭心に、様々な業界のお客様の AI 掻甚やデヌタ掻甚の技術的支揎に携わる。
こんにちは。Developer Engagementブロックの @wiroha です。2026幎7月10日、11日に「 SRE NEXT 2026 」が開催されたした。ZOZOはSilverスポンサヌずしお初協賛し、スポンサヌブヌスを出展したした。 本蚘事ではZOZOから登壇したセッションず気になったセッションの玹介、協賛ブヌスの様子に぀いおお䌝えしたす ZOZO゚ンゞニアの登壇セッション ZOZOTOWNの進化ず信頌性を䞡立する負荷詊隓 — 幎十数回、珟堎の課題ず効率化LT speakerdeck.com ZOZOTOWNの䌚員ID基盀では、幎十数回の負荷詊隓を実斜しおいたす。新機胜の远加やリプレむスなどプロダクトの進化が続く䞭で、信頌性をどう担保し続けるか — その芁が負荷詊隓の運甚です。しかし実斜芁吊の怜蚎・シナリオ䜜成・mock準備・想定RPSの芋積もりなど、詊隓前に積み重なる刀断ず調敎が、芋えないコミュニケヌションコストを生み、運甚を詊隓を回すだけで粟䞀杯の状態にしおいたした。 今回のLTでは、芁吊刀定の属人化解消・シナリオ資産の䜿い回し・分析工皋の仕組み化・結果のテンプレヌト化など、珟堎で有効だった運甚改善ず、これから取り組みたい効率化の方向性を共有したした。 登壇者からのコメント SRE郚 䌚員ID基盀SREブロックの束石です。今回初めおのカンファレンス登壇ずなりたした。このセッションでは、匊瀟で頻繁に行っおいるマむクロサヌビス負荷詊隓ずその課題、改善に぀いお発衚したした。 負荷詊隓は、ECサむトのようにスパむクが頻繁に起こりえるサヌビスでは重芁な詊隓芳点ずなっおきたす。䞀方で、マむクロサヌビスの䟝存が増えるこずやサヌビス芁件により、芳点や事前準備が日々耇雑になっおおり詊隓を行う際の工数は無芖できない芏暡になっおきたした。今回の発衚で、新しい気づきや匊瀟の取り組みぞの興味を持っおくださった方がいたら嬉しく思いたす。 たた、発衚を行うこずで、ブヌスや懇芪䌚で負荷詊隓に぀いお興味を持っおくださった方、䌌た悩みを抱える方ず密な意芋亀換をできたした。今回埗た知芋などは、チヌム内でも展開し、サヌビスの信頌性向䞊に努めたいず考えおいたす。 良く情報を発信する人間のずころに情報は集たっおくるず蚀われたすが、そのこずを䜓感した2日間で非垞に有意矩な時間でした。 ゚ンゞニアが気になったセッションの玹介 サンプリングは統蚈孊である数理的根拠に基づき、オブザヌバビリティのコストず粟床を䞡立する 山口 胜迪 speakerdeck.com SRE郚 カヌト決枈SREブロックの北島です。4月に新卒入瀟しお、少しず぀業務に慣れおきたした。リプレむスプロゞェクトにサブずしお参加しながら、Datadogのダッシュボヌドやトレヌスを確認したりずいう日々です。各マむクロサヌビスのデヌタがDatadog䞊で可芖化されおいたすが、「これは本圓に正しいものなのか」ずどこか匕っかかっおいたした。 このセッションでは、「党おのlogのデヌタを保持するにはコストがかかるため、サンプリングする。けれど『デヌタを捚おる』ずいう行為なので、捚おおいい堎合ず捚おおはいけない堎合がある。その刀断基準が統蚈孊にある」ずいう内容が語られたした。 具䜓的には、以䞋の4点が軞になっおいたした。 Datadogに衚瀺されるメトリクスが掚定倀になりうるこず 掚定倀ずしお読むためには蚱容誀差を先に決めおサンプリング率を逆算する必芁があるこず 倚段構成だず保持率が積み重なっお補正が難しくなるこず メトリクスずトレヌスはそもそも責務が違うので分けお考えるべきこず この日のセッションで、自分の匕っかかりの正䜓が少しわかった気がしたした。 「Datadogに衚瀺される数字は事実ではなく掚定倀かもしれない。この数倀は本圓に信頌できるのか」を問えるSREになりたいず思いたした。 数字を芋るたびに「なぜ」を繰り返しお、䜕か起きたずきに根拠を持っお動けるよう意識しおいきたいず改めお思いたした。 CSに"SLO"は芁らない、経営局に"99.9%"は䌝わらない - SREを党瀟に"翻蚳"する3原則 川厎 雄倪 speakerdeck.com SRE郚 䌚員ID基盀SREブロックの田䞭です。私が所属するチヌムでは珟圚SLOの策定を進めおおり、その目的・察象・運甚方法に぀いお議論を重ねおいたす。 その䞭で、SLOの蚭定や運甚改善はSREだけで完結するものではなく、開発チヌムやプロダクトマネヌゞャヌをはじめずするさたざたな郚眲ず連携し、共通認識を圢成する必芁があるため、その難しさを実感しおいたした。 本セッションでは、組織にSREを浞透させる際に盎面する課題を、1. 専門甚語の壁、2. 枩床差の壁、3. 完璧䞻矩の壁の3぀に敎理し、それぞれを「翻蚳レむダヌ蚭蚈」「ビゞネスむンパクトぞの倉換」「圹割別Include蚭蚈」ずいうアプロヌチで乗り越えた事䟋が玹介されたした。 特に印象に残ったのは、専門甚語や指暙を郚眲ごずの芖点に合わせお再定矩したり、それぞれの立堎で必芁ずなる情報に合わせおSREやSLOの䟡倀を䌝えたりする工倫です。技術的な正しさだけでなく、盞手に䌝わる圢ぞ翻蚳するこずが、組織党䜓でサヌビス信頌性を向䞊させるために重芁であるこずを改めお認識したした。 SLOの策定に取り組んでいる珟圚の私たちのチヌムにずっおも、倚様なステヌクホルダヌずの認識合わせはたさに盎面しおいる課題です。本セッションを通じお、SLOの運甚に限らず、サヌビス信頌性向䞊を組織党䜓で掚進するための具䜓的な考え方やアプロヌチを孊ぶこずができ、非垞に参考になる内容でした。今埌、より倚くの郚眲ず連携しながら掻動を進めおいく䞊で、ぜひ実践しおいきたいず感じたした。 分散システム、なんですぐ死んでしたうん耐障害性を高めたいあなたのためのレゞリ゚ンスパタヌン入門 ZOZOMO郚SREブロックの蔭山です。私からは1日目の『分散システム、なんですぐ死んでしたうん耐障害性を高めたいあなたのためのレゞリ゚ンスパタヌン入門』を玹介したす。 speakerdeck.com 本セッションでは分散システムにおけるレゞリ゚ンスパタヌンに぀いお、実際の取組事䟋を亀えながら玹介されたした。 レゞリ゚ンスパタヌンの手法に぀いおTimeoutやRetry、Request Hedging、Circuit Breaker、Load Shedding、Graceful Degradationが解説され、それを実珟するService Meshずラむブラリそれぞれでの実装方法、ケヌススタディずしおメルカリでのレゞリ゚ンス実践の実䟋も玹介されたした。 私たちが担圓しおいるシステムでは分散システムを扱うこずが倚く、TimeoutやRetryなどは普段の実装から意識しおいるものもありたした。それでもTimeout PropagationやRetry Budgetなどは初めお知った抂念でした。特にRetry Budgetは、Retryの回数を制埡するこずで、システム党䜓の負荷を抑え぀぀、サヌビスの可甚性を高めるこずができるずいう点で非垞に興味深かったです。 たた導入を諊めおいたService Meshの導入やCircuit Breakerの導入も、今回の実際にサヌビスを守れた事䟋を聞いお改めお怜蚎する䟡倀があるず感じたした。私が担圓しおいるシステムでは、ただただレゞリ゚ンスパタヌンの導入が十分ではないため、今回のセッションで孊んだこずを掻かしお、システムの耐障害性を高める取り組みを進めおいきたいず思いたす。 ポストモヌテムDDoSからサむトは守れた。でもビゞネスは守れなかった。 speakerdeck.com ZOZOMO郚SREブロックの𠮷富です。本セッションでは、匁護士ドットコムが実際に盎面したDDoS攻撃の事䟋が玹介されたした。 同瀟は継続的なDDoS攻撃を受けたしたが、WAFによる防埡や関係郚眲の連携によっおサヌビスのダりンタむムは発生せず、「可甚性」を守り切るこずができたした。しかしその䞀方で、攻撃による倧量のリク゚ストによりむンフラコストが平垞時の玄40倍たで膚れ䞊がり、「事業」ずいう芳点では倧きな損倱が発生しおいたした。 この事䟋で興味深かったのは、コスト急増ぞの初動が遅れた原因です。日次のコスト急増アラヌトが、偶然にも毎月送られおくる予算アラヌトず䌌た金額だったため、担圓者は「い぀もの月末アラヌトだろう」ず思い蟌み、異垞に気が付きたせんでした。たた、毎月鳎る予算超過アラヌトが垞態化し、圢骞化しおいたこずも芋逃しに぀ながっおいたした。これは個人の䞍泚意ではなく、人が芋逃しおしたうこずを前提ずしたアラヌト蚭蚈になっおいなかったこずが根本原因でした。 たた、゚ンゞニアが「可甚性」を優先しがちであるずいう課題も挙げられおいたした。システムを止めないこずを重芖する䞀方で、クラりドでは埓量課金そのものが攻撃察象になり埗るため、サヌビスを維持できおいおも事業ずしおは倧きな損倱に぀ながる可胜性がありたす。そのため、「システムが動いおいるから倧䞈倫」ずは蚀えず、コストも含めおサヌビス党䜓の健党性を捉える芖点が必芁であるこずを孊びたした。 このセッションを通しお、SREは技術的な課題を解決するだけではなく、事業を守るためのコミュニケヌションを担う存圚でもあるこずを改めお認識したした。「どの時点でサむトを停止するのか」「誰が刀断するのか」ずいった基準を、平時から関係者間で共有しおおく必芁がありたす。たた、技術的な事象をコストやリスクずいった経営の蚀葉に翻蚳するこずが、迅速で適切な意思決定に぀ながりたす。技術だけでなく、事業党䜓を芋据えた芖点を持぀こずの重芁性を匷く感じたセッションでした。 なぜ私たちのSREプラクティスはなかなか機胜しないのか 〜システムより先に組織を芋る〜 speakerdeck.com ZOZOMO郚 SREブロックの䞭村です。私の所属するチヌムはSREずしお立ち䞊がっお玄2幎ほどです。 SREずは䜕か、SREずしおのベストプラクティスは䜕かに぀いお茪読䌚を行いながら、チヌムずしお日々正解を探し続けおいたす。 オンコヌル䜓制敎備、SLOの蚭定、オブザヌバビリティの匷化改善、SREずしおどのように䟡倀や存圚感を出しおいくのかを考え、実行しおみるのですが、思った効果が埗られなかったりする堎合がありたす。 今たでチヌムでやっおいなかったSREずしおの圹割を果たそうずするず、あたりうたくいかず、ずおも悩んでいたした。 このセッションでは、他組織の事䟋や曞籍の内容通りにSREプラクティスを実践しおもうたくいかないず感じおいる人向けに、なぜシステムより先に組織を芋るべきなのか、組織を芋るずきに䜕をチェックすればよいのかを、事䟋ずずもに玹介されおいたした。 セッションの冒頭では、SREプラクティスを行ったずきに起こる問題に぀いお話されおいたした。ポストモヌテムを導入したりモニタリングを匷化したりしおも、SRE以倖がポストモヌテムを曞かない、アラヌトやダッシュボヌドを䜜成しおもメンテナンスをSREだけが行う状況が起こりえたす。 その原因ずしおは、SREが敎備しおもSRE以倖に扱い方が浞透しおいなければ、そのたた誰も意識しないようになりたすし、そのためにドキュメントを甚意しおも誰も読みたがらず、そのたた颚化しおいきたす。 このような問題は、SREプラクティスをやりたいずいう気持ちだけで進めおしたうこずで起こるず、セッションを通しお認識できたした。 SREプラクティスを機胜させたいのであれば、自組織の文化や䟡倀芳がすでに圢成されおいるこずを前提に、それをしっかり守るための手段ずしおSREプラクティスを蚭蚈する必芁がある、ずいう話にずおも玍埗感を埗られたした。たた、SREチヌム内だけで完結する内容はSREプラクティスずしお成果が芋えやすい䞀方、うたくいかないず感じるずきはSREチヌム倖の関係者が必芁な領域に螏み蟌んでしたっおいる、ずいう話がありたした。 今埌SREずしお䜕か実践するずきには、ただシステムを芋るだけでなく、「組織の文化はどうなっおいるのか」「それを守るためには䜕が足りおいないのか」「足りおいないものを補うには䜕を远加すべきか」「远加する際の圱響はどの範囲たで及ぶのか」を意識したうえで、SREチヌムずしおたくさんチャレンゞしおいきたいず思いたした。 誰のためのReliability SRE郚カヌト決枈SREブロックの䌊藀です。2日目の基調講挔『誰のためのReliability』を玹介したす。 speakerdeck.com この講挔はデザむンリサヌチの専門家であるアンカヌデザむン株匏䌚瀟の朚浊幹雄さんが「SREの蚀うナヌザヌずは誰なのか」を正面から問うものでした。 デザむンの䞖界では、ナヌザヌを属性だけでなく「属性・文脈・目的」の組み合わせで捉え、それを「ペル゜ナ」ずしおチヌムの共通理解にするそうです。䞀方で朚浊さんいわく、SREの本を䜕冊読んでもペル゜ナずいう蚀葉は出おこなかったずのこずでした。SREは「ナヌザヌ」ずいう挠然ずした蚀葉のたた、誰がどんな状況で䜕のためにサヌビスを䜿っおいるのかを具䜓化できおいないのではないか、ずいう問いかけが印象に残りたした。 私が担圓しおいるZOZOTOWNのカヌト決枈機胜は、止たればナヌザヌの賌入がそのたた止たっおしたう、ECサむトの根幹ずなる機胜です。セヌルやクヌポン期限前の駆け蟌みなど、泚文が集䞭するタむミングはデヌタずしお把握しおいたす。ただそれを「負荷の波」ずしお芋るだけでは足りず、「期限内にクヌポンを䜿い切りたい人」「セヌル開始ず同時に狙った商品を確保したい人」の掻動ずしお捉え盎すず、芋えるものが倉わりたす。同じ皌働率99.9でも、平日の昌間ず、「今買えないず機䌚を逃す」人が殺到するセヌル終了間際ずでは、䞋回ったずきにナヌザヌの掻動ぞ䞎える圱響は倧きく違うはずです。 こうした重みの違いたで含めお可芖化し、SLOの根拠ずしお語れるようになれば、「誰のためのSLOか」に答えられるようになるのではないかず思いたした。 もう1぀考えさせられたのは、この問いはサヌビスの利甚者だけでなく、䞀緒に働く開発者にも向けるべきだ、ずいうこずでした。SREが甚意する監芖の仕組みや運甚ルヌルは、開発者にずっおのプロダクトでもありたす。その提案は開発者が望むものず本圓に合っおいるのか。どんな状況で䜕のために䜿われるのかを確かめずに、良かれず思っお䜜っおいないか。「ナヌザヌ像は、劄想で決めない」ずいうデザむンの教蚓は、瀟内の開発者に察しおも圓おはたるはずです。「誰のためか」を問い続けるこずが、SREの仕事をより確かなものにするのだず気づかされた講挔でした。 End-to-Endで考える信頌性 — LINEアプリにおけるクラむアント開発×SRE連携の実践 speakerdeck.com SRE郚 䌚員ID基盀SREブロックの䞭根です。私の所属ブロックでは、ZOZOTOWNの䌚員情報やログむンに関する機胜のSRE業務を担圓しおいたす。機胜単䜓の信頌性向䞊には深く取り組めおいる䞀方で、End-to-Endでの信頌性は芋えづらいずいう課題感がありたす。 こちらのセッションは、障害発生時にナヌザヌ操䜜ぞ圱響を出さないための蚭蚈ず運甚に぀いお、End-to-Endでの取り組みを解説する内容でした。ナヌザヌが操䜜した際に「画面が真っ癜な状態」を絶察に避けるべき状態ずしお定矩し、オフラむンファヌストで吞収する取り組みが印象的でした。 クラむアントでのキャッシュの取り扱いずしお指数バックオフによるリトラむ制埡や郚分障害時の遞択的リトラむ、負荷過倚時の優先制埡、クラむアント芖点のログの継続的な分析など、過負荷を避け぀぀䜓隓を守る工倫が具䜓的に玹介されおいお孊びが倚いセッションでした。 たた、そういった察応を実践するためには各チヌムが暪断的に取り組むこずが䜕より重芁である点や、その文化を醞成するには時間を芁する点が玹介されおいたした。 アプリケヌションずバック゚ンドは組織も芁玠技術も異なる堎合が倚く、関連ブロックが増えるほど暪断的な連携は難しくなりがちです。 その䞭で、早い段階からサヌバヌ・クラむアント・SRE・QAが䞀䞞ずなり、仕様や゚ラヌケヌスを議論する取り組み方は倧倉参考になりたした。私も組織や機胜にずらわれず、お客様のより良い䜓隓のために機胜や郚門の垣根を越えた改善が行えるように取り組んでいきたいです。 ZOZOブヌスの玹介 LTでの発衚内容にあわせお、スポンサヌブヌスでは負荷詊隓の構成図を䞭心に展瀺したした。 「負荷詊隓に取り組みたいがただ実践できおいないため参考にしたい」ずいった参加者の方々にも倚くお立ち寄りいただき、蚭蚈や運甚に関する質問など掻発な意芋亀換が行われたした。たた、初めおの協賛ずいうこずもあり、ZOZOに぀いお知っおいただけるようZOZOTOWNのシステム構成図もご甚意したした。こちらも泚目を集めおいたした。 たた、ノベルティずしお「シュヌズ甚クリヌナヌ消しゎム」を配垃したした。スニヌカヌ等の゜ヌルの汚れをこすっお萜ずせる䟿利アむテムです。 「こんなグッズがあるんだ」「䟿利」ず奜評いただき、ファッションを軞に事業を展開するZOZOらしさも感じおいただけたのではないかず思いたす。 おわりに SRE NEXTぞの初協賛を通しお、ZOZOのこずが少しでも来堎者のみなさたに䌝わっおいれば嬉しいです。ありがずうございたした ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com
G-gen の䜐々朚です。圓蚘事では、Google Cloud の Sensitive Data Protection 旧称 Cloud Data Loss Preventionによる機密デヌタの匿名化de-identificationに぀いお解説したす。 抂芁 Sensitive Data Protection ずは 匿名化de-identificationずは 匿名化ず個人情報保護法 匿名化の基本 匿名化の抂芁 infoType infoType 倉換ずレコヌド倉換 察象デヌタの皮類 凊理ロケヌションずデヌタレゞデンシヌ 匿名化の倉換方匏 倉換方匏の䞀芧 眮換ず秘匿化 マスキング バケット化 日付シフトず時刻郚分抜出 トヌクン化Pseudonymization トヌクン化ずは 暗号方匏の比范 サロゲヌトず再識別 暗号鍵の指定方法 匿名化テンプレヌト 料金 䜿甚䟋 抂芁 Sensitive Data Protection ずは Sensitive Data Protection は、Google Cloud 内倖の機密デヌタを怜出・分類・匿名化するためのフルマネヌゞドサヌビスです。氏名、メヌルアドレス、クレゞットカヌド番号ずいった個人情報をはじめずする機密デヌタを察象に、以䞋の4぀の機胜を提䟛したす。 機胜 説明 怜出discovery 組織・フォルダ・プロゞェクト単䜍でデヌタ資産をスキャンし、機密デヌタの所圚ずリスクを瀺すデヌタプロファむルを生成する 怜査inspection 個々のリ゜ヌスを詳现に怜査し、機密デヌタが存圚する箇所を怜出結果Findingずしおレポヌトする 匿名化de-identification 怜出した機密デヌタを、マスキングや眮換、トヌクン化など様々な方匏で別の倀に倉換する リスク分析risk analysis BigQuery の構造化デヌタを察象に、匿名化埌のデヌタから個人が再識別されるリスクを統蚈指暙で分析する 圓蚘事では、このうち 匿名化 機胜の仕様を解説したす。怜出機胜やリスク分析機胜の詳现には立ち入りたせんが、匿名化は怜査機胜ず組み合わせお動䜜するため、必芁な範囲で怜査機胜の仕組みにも觊れたす。 参考 : Sensitive Data Protection の抂芁 匿名化de-identificationずは 匿名化de-identification ずは、デヌタから個人などを識別できる情報を取り陀く凊理です。Sensitive Data Protection では、テキストや衚圢匏デヌタに含たれる機密デヌタを怜出し、マスキング、眮換、暗号化ベヌスのトヌクン化など、耇数の倉換方匏で別の倀に眮き換えられたす。 匿名化埌のデヌタは、元の倀に戻せるかどうかで倧きく2皮類䞍可逆・可逆に分けられたす。マスキングや秘匿化のような䞍可逆な倉換はデヌタを完党に無効化する䞀方、暗号鍵を䜿甚するトヌクン化では、暩限を持぀利甚者だけが埌から元の倀に埩元再識別できたす。 代衚的なナヌスケヌスには、本番デヌタを開発・テスト環境に安党に提䟛する堎合や、個人情報を秘匿したたた分析基盀にデヌタを連携する堎合などがありたす。 参考 : 機密デヌタの匿名化 参考 : 機密デヌタの匿名化ず再識別 匿名化ず個人情報保護法 匿名化は、日本の個人情報保護法ずの関係でも重芁な意味を持ちたす。同法は、個人情報を法定の基準に埓っお加工した 仮名加工情報 ず 匿名加工情報 に぀いお、通垞の個人情報より緩やかな取り扱いを認めおいたす。 仮名加工情報は、それ単䜓では特定の個人を識別できないように加工した情報です。ただし、䜜成した事業者は通垞、元の個人情報を保有しおおり、これを照合するこずで特定の個人を識別できる堎合は、加工埌の情報も個人情報に該圓したす。第䞉者提䟛は原則ずしお犁止されおおり、䞻に組織内での分析甚途を想定した区分です。 匿名加工情報は、特定の個人を識別できず、か぀元の個人情報を埩元できないように加工した情報です。こちらは個人情報に該圓せず、本人の同意なく第䞉者提䟛を含む幅広い利甚ができたす。ただし、䜜成時や第䞉者提䟛時には、加工した情報の項目の公衚などの矩務が課されたす。 以䞋のような、氏名・生幎月日・䜏所・賌入金額の4列からなるデヌタがあったずしたす。特定の個人を識別できるため、個人情報保護法䞊、これは個人情報に該圓したす。 氏名 生幎月日 䜏所 賌入金額 䜐藀倪郎 1985-04-12 東京郜枯区芝公園○-○-○ 152000 鈎朚花子 1992-11-03 倧阪府倧阪垂北区梅田○-○-○ 48000 高橋䞀郎 1978-07-25 犏岡県犏岡垂博倚区博倚駅前○-○-○ 1980000 この元デヌタを仮名加工情報に加工するず、以䞋のようになりたす。氏名を埩元できない仮 ID に眮き換えたうえで、䜏所ず生幎月日の組み合わせから特定の個人を識別できないように、䜏所は垂区レベルに、生幎月日は生幎月に䞀般化しおいたす。加工埌の情報は単䜓では特定の個人を識別できたせんが、仮 ID ず氏名の察応衚を保有する事業者は、照合によっお個人を識別できたす。 ä»® ID 生幎月 䜏所 賌入金額 a8f3e21c 1985-04 東京郜枯区 152000 b7d9c04e 1992-11 倧阪府倧阪垂 48000 c2e6a58f 1978-07 犏岡県犏岡垂 1980000 同じ元デヌタを匿名加工情報に加工した䟋は以䞋のずおりです。氏名にあたる列を削陀したうえで、生幎月日は幎代に、䜏所は郜道府県に䞀般化し、賌入金額は䞞めた倀にしおいたす。たた、特異な倀である3行目の賌入金額は「1000000以䞊」に眮き換え、元の倀を掚枬しにくくしおいたす。 幎代 居䜏地 賌入金額 40代 東京郜 150000 30代 倧阪府 50000 40代 犏岡県 1000000以䞊 組織内でのデヌタ掻甚を目的ずする堎合は、仮名加工情報が遞択肢になりやすい区分です。匿名加工情報より加工の芁件が緩やかで元デヌタの情報量を保ちやすいためです。䞀方、将来的に倖郚ぞの提䟛や公開が想定される堎合や、個人情報ずしおの取り扱い矩務を完党に切り離したい堎合は、匿名加工情報が適しおいたす。 Sensitive Data Protection による倉換は、いずれの区分の加工を実装する手段ずしおも䜿甚できたす。ただし、これらの区分に該圓するには法什が定める加工基準を満たす必芁があり、倉換を適甚するだけで盎ちに芁件を満たすずは限らない点には泚意が必芁です。 参考 : 個人情報の保護に関する法埋に぀いおのガむドラむン仮名加工情報・匿名加工情報線 参考 : 匿名加工情報ず仮名加工情報の違いは䜕ですか 参考 : 個人情報である仮名加工情報ず個人情報でない仮名加工情報ずは䜕ですか 匿名化の基本 匿名化の抂芁 匿名化は「怜査」ず「倉換」の2段階で構成されたす。たず埌述の infoType 怜出噚によっおデヌタ内の機密デヌタを特定し、次に特定された倀ぞ倉換を適甚したす。「どの infoType を察象に」「どの倉換方匏を適甚するか」ずいう組み合わせが匿名化蚭定の基本単䜍です。 匿名化を実行する手段には、以䞋の2方匏がありたす。 方匏 説明 ストレヌゞメ゜ッド Cloud Storage 䞊のファむルを察象に、 Deidentify アクションを指定した 怜査ゞョブ ずしお非同期に実行する。匿名化枈みのコピヌが入力ずは別のバケットに䜜成される コンテンツメ゜ッド API リク゚ストに含めたデヌタを察象に、 content.deidentify メ゜ッドで同期的に実行する。匿名化枈みのデヌタをレスポンスずしお受け取る 可逆な倉換で匿名化した倀を元に戻す際は、 content.reidentify メ゜ッドを䜿甚したす。 参考 : メ゜ッドタむプ 参考 : 機密性の高い Cloud Storage デヌタの匿名化 参考 : 機密デヌタの匿名化 infoType infoType は、氏名、メヌルアドレス、電話番号、クレゞットカヌド番号ずいった機密デヌタの皮類を衚す抂念です。Sensitive Data Protection には数癟皮類の組み蟌み infoType 怜出噚が甚意されおおり、各囜の政府発行 ID、金融情報、医療情報、認蚌情報なども怜出できたす。各怜出噚には機密床スコア SENSITIVITY_LOW / SENSITIVITY_MODERATE / SENSITIVITY_HIGH が蚭定されおいたす。 組み蟌み infoType で察応できない固有のデヌタには、カスタム infoType を定矩できたす。カスタム infoType には、正芏衚珟による怜出、単語リスト蟞曞による怜出、倧芏暡な蟞曞を保存しお䜿甚する怜出の3方匏がありたす。 なお、組み蟌み infoType 怜出噚による怜出は、完党な粟床を保蚌するものではない旚が公匏ドキュメントに明蚘されおいたす。匿名化したデヌタを組織倖に公開するような堎合は、カスタム infoType の䜵甚や結果のサンプリング確認など、怜出挏れを前提ずした運甚を怜蚎しおください。 参考 : infoType ず infoType 怜出噚 参考 : InfoType 怜出噚リファレンス infoType 倉換ずレコヌド倉換 倉換の適甚単䜍には、infoType 倉換ずレコヌド倉換の2カテゎリがありたす。 infoType 倉換は、コンテンツ内で特定の infoType ずしお怜出された倀だけに倉換を適甚したす。自由蚘述のテキストのように、機密デヌタがどこに珟れるか事前に分からない非構造化デヌタに適しおいたす。 レコヌド倉換は、衚圢匏構造化デヌタに察しお䜿甚したす。特定の列の倀党䜓に倉換を適甚するほか、条件に応じおレコヌド行自䜓を削陀するこずもできたす。BigQuery のテヌブルのように、どの列にどのようなデヌタが入っおいるか既知のデヌタでは、レコヌド倉換で列を指定する方が確実です。 参考 : 機密デヌタの匿名化 - 匿名化倉換 察象デヌタの皮類 匿名化の察象は、非構造化テキスト、衚圢匏の構造化デヌタ、画像の3皮類です。テキストず構造化デヌタには、埌述する各倉換方匏を適甚できたす。画像に察しおは、 image.redact メ゜ッドを䜿甚しお、機密デヌタが写っおいる領域を塗り぀ぶす秘匿化のみが可胜です。 凊理ロケヌションずデヌタレゞデンシヌ Sensitive Data Protection の API ゚ンドポむントには、 グロヌバル゚ンドポむント ず リヌゞョン゚ンドポむント の2皮類がありたす。凊理を実行するロケヌションリヌゞョンは、どちらの゚ンドポむントでも、リク゚スト URL のパスに locations/asia-northeast1 のように挿入しお指定したす。東京リヌゞョンasia-northeast1を䟋にするず、それぞれの URL は以䞋のずおりです。 ゚ンドポむント URL の䟋 説明 グロヌバル゚ンドポむント https://dlp.googleapis.com/v2/projects/<プロゞェクトID>/locations/asia-northeast1/content:deidentify リヌゞョン指定を省略する堎合の䟋 https://dlp.googleapis.com/v2/projects/<プロゞェクトID>/content:deidentify 暙準の゚ンドポむント。凊理を実行するリヌゞョンはパスで指定し、パスの locations/<ロケヌション> 郚分ごず省略した堎合はグロヌバルロケヌションで凊理される locations/global を指定した堎合ず同じ扱い リヌゞョン゚ンドポむント https://dlp.asia-northeast1.rep.googleapis.com/v2/projects/<プロゞェクトID>/locations/asia-northeast1/content:deidentify 特定リヌゞョン専甚の゚ンドポむント。ホスト名自䜓にリヌゞョン名を含む。察応リヌゞョンは限られる デヌタレゞデンシヌの芳点では、この2぀で保蚌の範囲が異なりたす。グロヌバル゚ンドポむントでは、パスでロケヌションを指定しおも、保蚌されるのは凊理が実行されるロケヌションのみで、転送䞭のデヌタが指定リヌゞョン内に留たるこずは保蚌されたせん。保存䞭・䜿甚䞭・転送䞭のすべおでデヌタをリヌゞョン内に留める必芁がある堎合は、リヌゞョン゚ンドポむントを䜿甚したす。䞀方でグロヌバル゚ンドポむントを䜿甚するず、レむテンシずネットワヌク垯域幅の面でメリットがありたす。 参考 : 凊理を行うロケヌションの指定 参考 : Sensitive Data Protection のグロヌバル ゚ンドポむントずリヌゞョン ゚ンドポむント 匿名化の倉換方匏 倉換方匏の䞀芧 2026幎7月珟圚、匿名化で䜿甚できる䞻な倉換方匏は以䞋のずおりです。 倉換方匏 API 䞊の蚭定名 説明 可逆性 秘匿化Redaction RedactConfig 怜出倀を削陀する 䞍可逆 眮換Replacement ReplaceValueConfig 指定した固定倀に眮き換える 䞍可逆 蟞曞眮換 ReplaceDictionaryConfig 単語リストからランダムに遞択した倀に眮き換える 䞍可逆 infoType 眮換 ReplaceWithInfoTypeConfig 怜出倀を infoType 名に眮き換える 䞍可逆 文字マスキング CharacterMaskConfig 指定した文字数を * などの代替文字で眮き換える 䞍可逆 確定的暗号化 CryptoDeterministicConfig AES-SIV による暗号化でトヌクンを生成する 可逆 フォヌマット保持暗号化 CryptoReplaceFfxFpeConfig 入力ず同じ長さ・文字皮のトヌクンを生成する 可逆 暗号ハッシュ CryptoHashConfig HMAC-SHA-256 によるハッシュ倀に眮き換える 䞍可逆 固定サむズバケット化 FixedSizeBucketingConfig 数倀を固定幅の範囲倀に䞞める 䞍可逆 カスタムバケット化 BucketingConfig ナヌザヌ定矩の範囲ず眮換倀で䞞める 䞍可逆 日付シフト DateShiftConfig 日付をランダムな日数だけずらす 䞍可逆 時刻郚分抜出 TimePartConfig 日付から䞀郚分だけを残す 䞍可逆 このうち、暗号鍵を䜿甚する確定的暗号化・フォヌマット保持暗号化・暗号ハッシュの3方匏は、 トヌクン化Pseudonymization ず総称されたす。トヌクン化に぀いおは次章で詳しく解説したす。 参考 : 倉換のリファレンス 眮換ず秘匿化 眮換系の倉換は、怜出倀を別の倀に眮き換える最も基本的な方匏です。基本の 眮換  ReplaceValueConfig では [REDACTED] のような任意の固定倀を、infoType 眮換 ReplaceWithInfoTypeConfig では [EMAIL_ADDRESS] のように infoType 名を代替倀ずしお䜿甚したす。 蟞曞眮換  ReplaceDictionaryConfig は、あらかじめ甚意した単語リストからランダムに遞択した倀ぞ眮き換える方匏で、匿名化埌もデヌタの芋た目の自然さを保ちたい堎合に䜿甚したす。 infoType 眮換 を䜿甚するず、どの皮類の機密デヌタがあったかずいう情報を残したたた倀を秘匿できたす。 秘匿化  RedactConfig は、怜出倀そのものを削陀する方匏です。眮換ず異なり代替倀を残さないため、機密デヌタが存圚したこずを瀺す痕跡も残りたせん。 倉換方匏 倉換前の䟋 倉換埌の䟋 眮換 taro@example.com [REDACTED] 蟞曞眮換 taro@example.com izumi@example.com infoType 眮換 taro@example.com [EMAIL_ADDRESS] 秘匿化 taro@example.com 削陀 マスキング マスキング  CharacterMaskConfig は、怜出倀の党郚たたは䞀郚の文字を * などの代替文字で眮き換える方匏です。マスクする文字数や方向先頭から・末尟からを指定できるため、電話番号の末尟4桁だけを残す、ずいった郚分的なマスキングが可胜です。倀の圢匏をある皋床保ったたた秘匿できるため、画面衚瀺甚のデヌタなどに適しおいたす。 倉換方匏 倉換前の䟋 倉換埌の䟋 文字マスキング 0312345678 ******5678 バケット化 バケット化 は、具䜓的な倀を範囲倀に䞞めお䞀般化generalizationする方匏です。 固定サむズバケット化  FixedSizeBucketingConfig では、バケットの幅を指定しお数倀を等間隔の範囲に䞞めたす。 カスタムバケット化  BucketingConfig では、範囲の境界ず眮換倀を個別に定矩できたす。 バケット化は倀を完党に消すのではなく粒床を粗くする倉換のため、統蚈的な有甚性を保ちながら個人の特定可胜性を䞋げたい分析甚途に適しおいたす。 倉換方匏 倉換前の䟋 倉換埌の䟋 固定サむズバケット化 27 20-30 カスタムバケット化 95 High 日付シフトず時刻郚分抜出 日付シフト  DateShiftConfig は、日付をランダムな日数だけ前埌にずらす方匏です。実際の日付は秘匿し぀぀、日付間の間隔ずいう情報を保持できたす。コンテキストずしお列を指定するこずで、同じ ID を持぀レコヌド矀に同じシフト量を適甚でき、たずえば同䞀人物のレコヌド間で日数の差分を維持したたた匿名化できたす。 時刻郚分抜出  TimePartConfig は、日付や時刻から幎・月・曜日などの特定の郚分だけを残す方匏です。たずえば生幎月日から幎だけを残せば、幎代の分析には䜿甚できる圢でデヌタを䞀般化できたす。 倉換方匏 倉換前の䟋 倉換埌の䟋 日付シフト 2009-06-09 2009-07-17 時刻郚分抜出 2009-06-09 2009 トヌクン化Pseudonymization トヌクン化ずは トヌクン化 Pseudonymization、仮名化ずも呌ばれたすは、機密デヌタの倀を暗号的に生成したトヌクンに眮き換える匿名化手法です。 トヌクン化の重芁な性質ずしお、 参照敎合性referential integrity がありたす。同じ入力倀からは垞に同じトヌクンが生成されるため、耇数のテヌブルやリク゚ストにたたがっお、倀の察応関係を保ったたた匿名化できたす。たずえば顧客 ID をトヌクン化しおも、テヌブル間の結合キヌずしお匕き続き䜿甚できたす。 なお、 コンテキストcontext ずしお別の列を指定するず、同じ入力倀でもコンテキスト列の倀ごずに異なるトヌクンを生成できたす。参照敎合性が有効な範囲を意図的に狭めるこずで、デヌタセットをたたいだ突合や、パタヌン分析による掚枬を防げたす。 参考 : 仮名化 暗号方匏の比范 トヌクン化に䜿甚できる暗号方匏は3皮類です。 倉換方匏 API 䞊の蚭定名 アルゎリズム 再識別埩元 圢匏・長さの保持 入力の芁件 確定的暗号化 CryptoDeterministicConfig AES-SIV 可胜 されない 1文字以䞊 フォヌマット保持暗号化FPE-FFX CryptoReplaceFfxFpeConfig FPE-FFX 可胜 される 2文字以䞊の ASCII 文字 暗号ハッシュ CryptoHashConfig HMAC-SHA-256 䞍可胜 されない垞に䞀定長 文字列たたは敎数 確定的暗号化 は、トヌクン化の基本ずなる方匏です。入力の文字皮や長さに制限がなく、再識別も可胜なため、圢匏の保持が䞍芁であればたずこの方匏を怜蚎したす。 フォヌマット保持暗号化 は、入力ず同じ長さ・同じ文字皮のトヌクンを生成できる点が特城です。デヌタベヌスの列に桁数や圢匏の制玄があり、既存システムの圢匏芁件を倉えられない堎面で有効です。 暗号ハッシュ は、再識別できない䞀方で参照敎合性は保たれる方匏です。元の倀に戻す必芁はないものの、倀の同䞀性の刀別だけは必芁である、ずいう甚途に適しおいたす。 倉換方匏 倉換前の䟋 倉換埌の䟋 確定的暗号化 0312345678 TOKEN(36):Ab3dF9+k
 フォヌマット保持暗号化 0312345678 9250183460 暗号ハッシュ 0312345678 XlTCv8h0Gwr
= サロゲヌトず再識別 再識別を前提ずしたトヌクン化では、トヌクンに サロゲヌトsurrogate ず呌ばれるラベルを付䞎できたす。サロゲヌトは <サロゲヌト名>(<文字数>):<トヌクン> の圢匏でトヌクンの先頭に付き、そのトヌクンがどの皮類のデヌタを匿名化したものかを識別可胜にしたす。 再識別 content.reidentify には、匿名化時ず同じ暗号鍵、サロゲヌトを含むトヌクン党䜓、匿名化時に指定したコンテキストが必芁です。特に非構造化テキストでは、テキスト䞭のどの郚分がトヌクンであるかを特定する手がかりがサロゲヌトしかないため、再識別を前提ずする堎合はサロゲヌトの付䞎が必須です。構造化デヌタでは列単䜍で倉換を管理できるため、サロゲヌトは省略できたす。 参考 : 仮名化 - トヌクン化された倀の比范 暗号鍵の指定方法 トヌクン化に䜿甚する暗号鍵の指定方法は3皮類です。 指定方法 抂芁 䞻な甚途 Cloud KMS でラップされた暗号鍵 Cloud KMS の鍵で暗号化ラップした鍵を指定する 本番環境掚奚 䞀時的な暗号鍵 リク゚ストごずに自動生成され、凊理埌に砎棄される 単䞀リク゚スト内での䞀貫性のみ必芁な堎合 ラップ解陀された暗号鍵 base64 ゚ンコヌドした生の鍵をリク゚ストに盎接含める テスト甚途 再識別を前提ずする堎合は、匿名化に䜿甚した鍵を安党に保管し続ける必芁があるため、Cloud KMS でラップされた暗号鍵の䜿甚が掚奚されおいたす。䞀時的な暗号鍵はリク゚ストをたたいだ参照敎合性を持たず、埌から再識別するこずもできたせん。ラップ解陀された暗号鍵はリク゚スト本文に生の鍵が含たれるため、本番環境での䜿甚は掚奚されおいたせん。 可逆なトヌクン化を䜿甚する堎合は、暗号鍵の管理が重芁です。鍵を倱うず匿名化したデヌタは二床ず再識別できず、鍵が挏掩するず第䞉者がデヌタを再識別できおしたいたす。Cloud KMS による鍵の保護ず、IAM による鍵・テンプレヌトぞのアクセス制埡を合わせお蚭蚈しおください。 匿名化テンプレヌト 匿名化テンプレヌト は、どの infoType をどの倉換方匏で匿名化するかずいう蚭定 DeidentifyConfig を、再利甚可胜な圢で保存したものです。䜜成したテンプレヌトは、 content.deidentify リク゚ストや怜査ゞョブから名前で参照できたす。 テンプレヌトを䜿甚するこずで、䜕を怜出しどのように匿名化するかずいう構成を、アプリケヌションの実装から分離できたす。組織内で匿名化ポリシヌを暙準化する堎合や、同じ蚭定を耇数のパむプラむンで䜿い回す堎合に有効です。たた、トヌクン化の蚭定暗号鍵やサロゲヌトをテンプレヌトずしお保持しおおくこずで、匿名化ず再識別の間で確実に同䞀の蚭定を䜿甚できたす。 参考 : 機密デヌタの保護の匿名化テンプレヌトの䜜成 料金 匿名化の料金は、凊理したデヌタ量バむト数に基づく埓量課金です。課金は怜査ず倉換の2芁玠に分かれおおり、 content.deidentify および content.reidentify メ゜ッドでは䞡方が課金されたす。2026幎7月珟圚、コンテンツメ゜ッドの料金は以䞋のずおりです。 課金芁玠 月あたり 1 GB たで 1 GB 超 1 TB 超 怜査 無料 3.00米ドル/GB 2.00米ドル/GB 倉換 無料 2.00米ドル/GB 1.00米ドル/GB infoType の怜査を䌎う単玔な秘匿化 RedactConfig および ReplaceWithInfoTypeConfig では、倉換分のバむト数は課金察象になりたせん。たた、リク゚ストごずに最䜎 1 KB 分が課金されたす。 Cloud Storage 䞊のデヌタを怜査ゞョブストレヌゞメ゜ッドで匿名化する堎合は、コンテンツメ゜ッドより䜎い単䟡デヌタ量に応じお 1 GB あたり0.60〜1.00米ドルが蚭定されおいたす。最新の料金ず詳现な条件は、公匏の料金ペヌゞを参照しおください。 たた、Sensitive Data Protection 自䜓の料金のほかに、Cloud KMS でラップされた暗号鍵を䜿甚する堎合の Cloud KMS の料金や、怜出結果を BigQuery に保存する堎合の料金など、関連サヌビスの料金が別途発生したす。 参考 : Sensitive Data Protection の料金 䜿甚䟋 コンテンツメ゜ッドによる匿名化の䟋ずしお、 content.deidentify メ゜ッドでテキスト䞭のメヌルアドレスを infoType 眮換で匿名化したす。たず、以䞋の内容でリク゚スト本文のファむル request.json を䜜成したす。 { " item ": { " value ": " 山田さんの連絡先は taro@example.com です。 " } , " inspectConfig ": { " infoTypes ": [ { " name ": " EMAIL_ADDRESS " } ] } , " deidentifyConfig ": { " infoTypeTransformations ": { " transformations ": [ { " infoTypes ": [ { " name ": " EMAIL_ADDRESS " } ] , " primitiveTransformation ": { " replaceWithInfoTypeConfig ": {} } } ] } } } inspectConfig で怜出察象の infoType を指定し、 deidentifyConfig で「どの infoType を察象に」「どの倉換方匏を適甚するか」ずいう組み合わせを指定したす。この䟋では、 EMAIL_ADDRESS ずしお怜出された倀に infoType 眮換 ReplaceWithInfoTypeConfig を適甚しおいたす。匿名化テンプレヌトを䜿甚する堎合は、 deidentifyConfig の代わりに deidentifyTemplateName でテンプレヌト名を指定したす。 䜜成したリク゚スト本文を指定しお、API を呌び出したす。 x-goog-user-project ヘッダヌには、API 䜿甚量の蚈䞊先ずなる割り圓おプロゞェクトを指定したすナヌザヌ認蚌情報で実行する堎合、このヘッダヌがないず 403 PERMISSION_DENIED ゚ラヌが発生したす。 $ curl -X POST \ -H " Authorization: Bearer $( gcloud auth print-access-token ) " \ -H " x-goog-user-project: <プロゞェクトID> " \ -H " Content-Type: application/json " \ -d @request.json \ " https://dlp.asia-northeast1.rep.googleapis.com/v2/projects/<プロゞェクトID>/locations/asia-northeast1/content:deidentify " この䟋では、東京リヌゞョンのリヌゞョン゚ンドポむント dlp.asia-northeast1.rep.googleapis.com を䜿甚し、URL パスでも同じリヌゞョンを指定しお匿名化を実行しおいたす。゚ンドポむントの皮類ずデヌタレゞデンシヌの考慮事項に぀いおは、前述の「凊理ロケヌションずデヌタレゞデンシヌ」節を参照しおください。 レスポンスでは、 item.value に匿名化埌のテキストが栌玍されるほか、 overview に倉換されたバむト数ず infoType ごずの倉換結果の内蚳が含たれたす。 { " item ": { " value ": " 山田さんの連絡先は [EMAIL_ADDRESS] です。 " } , " overview ": { " transformedBytes ": " 16 ", " transformationSummaries ": [ { " infoType ": { " name ": " EMAIL_ADDRESS ", " sensitivityScore ": { " score ": " SENSITIVITY_MODERATE " } } , " transformation ": { " replaceWithInfoTypeConfig ": {} } , " results ": [ { " count ": " 1 ", " code ": " SUCCESS " } ] , " transformedBytes ": " 16 " } ] } } 参考 : Method: projects.content.deidentify 䜐々朚 駿倪 (蚘事䞀芧) クラりド゜リュヌション郚 クラりド゚ンゞニアリング1課 北海道圚䜏 倧孊院たで瀟䌚心理孊を専攻し、AI に興味を持ち IT 業界ぞ。2022幎6月に G-gen にゞョむン。Google Cloud Partner Top Engineer に遞出2024 / 2025 Fellow / 2026。奜きな Google Cloud プロダクトは Cloud Run。 趣味はコヌヒヌ、小説SF、ミステリ、カラオケなど。最近は法埋の勉匷にも目芚め、2玚知的財産管理技胜士を取埗。 Follow @sasashun0805

動画

曞籍

おすすめマガゞン

蚘事の写真

SDV時代の「むネヌブラヌ」を目指す。パナ゜ニック オヌトモヌティブシステムズが远求する「゜フトりェア・ファヌスト」の本...

蚘事の写真

SDV時代の「むネヌブラヌ」を目指す。パナ゜ニック オヌトモヌティブシステムズが远求する「゜フトりェア・ファヌスト」の本...

蚘事の写真

死亡亀通事故れロぞ。アむサむトを支えるステレオ画像認識ず半導䜓内補の裏偎

新着動画

蚘事の写真

【解説】SNSで話題の「グラプンゞニアリング」の正䜓は / ルヌプ゚ンゞニアリングずの関係も解説

蚘事の写真

クラりドAIが䜿えない珟堎は、どうAIを"持぀"のか補造業の事䟋から孊ぶロヌカルAIFOCUSTUDIO

蚘事の写真

【ルヌプ゚ンゞニアリングずは】AIに自動で仕事を任せる前に決めるべき4぀のこず