Azure - TECH PLAY - TECH PLAY

TECH PLAY

Azure

Microsoft Azureずは、Microsoftが提䟛するクラりドサヌビスの総称です。
䌁業や開発者向けに、コンピュヌティング、分析、デヌタストレヌゞ、ネットワヌキング、AIサヌビスなど倚岐にわたるサヌビスを提䟛しおいたす。
スケヌラブルで柔軟性が高く、オンプレミス環境ず統合しながら䜿えるハむブリッドクラりド゜リュヌションずしおも評䟡されおいたす。

むベント

該圓するコンテンツが芋぀かりたせんでした

マガゞン

技術ブログ

ども最近バグ調査のたびに Azure CLI を叩いおいる韍ちゃんです。 バグ調査でコヌドを読むずころ、AI にやらせるず爆速なんですよね。凊理の順序を远っお、どこで䜕が呌ばれおいるかを敎理するくらいなら、もう完党に任せおたす。ここはめちゃくちゃ助かっおたす。 で、あるずき思ったんです。次はバグの原因たで芋぀けられるように、アプリのログも自由に芋れる圢にしたら、調査もっずはかどるんじゃねず。 ただ、正盎に蚀うず僕、 KQL そんなに曞けないんですよ。Application Insights のログを匕くや぀ですね。曞けないから今たでポヌタルのグラフを眺めお終わっおいたした。 で、そこを敎備しおみたら、 曞けるようにならないたた読めるようになった んです。敎備ずいっおも倧したこずはしおいなくお、Azure CLI を Claude Code に叩かせる圢にしただけです。これがめちゃくちゃ良かったので共有したす。 今回の内容です。 仮説を枡すず、それを確かめる集蚈がそのたた返っおくるずいう話 実際にどう頌んで、どう叩かせおいるか AI に Azure を觊らせる前に、こっちで決めおおいたこず それでも仮説は人間が立おたほうがいい、ずいう話 なお、Application Insights そのものの説明はしたせん。瀟内の先茩の歊井さんが曞いた 䞖界䞀わかりみの深いAPM 〜Application Insights〜 ずいう決定版があるので、そちらに譲りたす。蚈装の入れ方も扱いたせん。すでに入っおいお、必芁な情報が出おいる状態からのスタヌトです。KQL の曞き方も解説したせん。曞けないので、動いたものをそのたた貌っおいきたす。 あずもう1぀。Azure 偎にも 自然蚀語で聞ける仕組み が乗っおいたすObservability Agent。ただ Azure Copilot ぞのアクセスが芁っお、今のずころ英語のみなんですよね2026幎8月時点。 この蚘事はそっちの話ではないです。 手元の Claude Code から Azure CLI を叩く圢の話をしたす。 うれしいのは、仮説をそのたた確かめられるこずでした 先に䞀番おいしいずころを蚀いたす。 思い぀いた仮説を、そのたた確かめられる ようになったんですよね。 バグを远っおいるず「たぶんこうなっおるんじゃないか」が浮かぶじゃないですか。最初の1回だけ遅いんじゃないか、ずか。特定の゚ンドポむントだけ詰たっおるんじゃないか、ずか。 前はそこで止たっおたした。確かめるには KQL を曞かないずいけなくお、曞けないから調べながら組み立おお、たいおい1本目で力尜きる。だからポヌタルのグラフを眺めお「なんずなくそれっぜい」で終わっおいたんです。 今は、その仮説を蚀葉のたた枡せば、確かめる集蚈が返っおきたす。衚を芋お圓たりか倖れかが分かっお、倖れおいたら次の仮説を投げる。 この回転が速いこず が、僕にずっおの「ログが調査に䜿える」でした。 グラフを眺めるのず決定的に違うのはここだず思っおいお、ポヌタルっお「甚意された切り口」を芋る堎所なんですよね。自分の仮説に合わせた切り口は自分で䜜るしかない。そこを肩代わりしおもらえるず、仮説を出すコストだけ払えばよくなりたす。 生ログを䞞ごず枡しおるわけではないです 「AI にログを読たせる」ず蚀うず、生ログをどさっず投げるむメヌゞがあるず思いたす。僕も最初はそう思っおいたした。 でも実際は逆で、KQL 偎で集蚈しおから返させおいたす。AI が受け取るのは集蚈枈みの衚だけです。生ログが芁る堎面なら読たせたすけど、基本は衚です。 これ、トヌクンをケチるためだず思われがちなんですが、そこはあんたり関係なかったですね。効いたのは、 集蚈の条件がク゚リに残る こずのほうでした。 生ログを枡しお集蚈させるず、その集蚈をどうやったのかが䌚話の䞭に消えたす。埌から「この数字どうやっお出した」ず聞き盎すこずになる。ク゚リで集蚈しおあれば、そのク゚リ自䜓が手順曞なんですよね。数字を疑いたくなったら、同じものをもう䞀床叩けばいい。 あず単玔に、数を数えるずころを AI にやらせるのが怖いんですよね。なので集蚈が芁る䜜業は党郚 KQL 偎に寄せおいたす。 ログで芋えたこずを、そのたた蚭定ず突き合わせられたす これは埌から効いおきたや぀です。 ログを匕くのが az monitor app-insights query で、リ゜ヌスの蚭定は az functionapp show 。同じ CLI なんですよね。 az functionapp show -g <リ゜ヌスグルヌプ> -n <関数アプリ名> \ --query "properties.functionAppConfig.scaleAndConcurrency" -o json { "alwaysReady": [ { "instanceCount": 1, "name": "http" } ], "instanceMemoryMB": 2048, "maximumInstanceCount": 40, "triggers": {} } この出力は Flex Consumption プラン のものなので、別のプランだず圢が倉わりたす。 「ログ䞊はこう芋えるけど、蚭定はこうなっおる」の突き合わせがそのたた぀ながりたす。ポヌタルだず画面を行き来しおスクショを枡すこずになっお、枡した時点でどれがどこの倀なのか分からなくなるんですよね。 実際は、知りたいこずず仮説を枡しおるだけです じゃあ䜕を枡しおいるのか、ずいう話です。 先に1぀だけ蚀っおおくず、 az は暩限が付いおいればリ゜ヌスを消せたす 。この埌の「決めおおいたこず」に泚意曞きを曞いたので、手を動かす前にそこだけ読んでもらえるず安心です。 枡しおいるのは2぀だけです。 知りたいこず ず、 仮説 。 こんな感じで蚀っおたす。 この時間垯で遅かったや぀を゚ンドポむント別に芋たい。たぶん最初の1回だけ遅いんだず思う これで返っおくるのがこういうク゚リです。 requests | where timestamp between (datetime(2026-07-20T00:00:00Z) .. datetime(2026-08-04T08:00:00Z)) | where cloud_RoleName == "<関数アプリ名>" | extend path = tostring(parse_url(url).Path) | where path endswith "/auth/csrf" or path endswith "/auth/login" | summarize reqs=count(), slowPct=round(100.0*countif(duration>5000)/count(),1), p50=round(percentile(duration,50),0), p90=round(percentile(duration,90),0) by name, resultCode ここで䞀回止たっお、僕がク゚リに目を通したす。読み取りだけになっおいるか、察象がちゃんず絞れおいるか。この確認だけは毎回やっおいお、問題なければ叩かせたす。KQL が分からなくおも、なんずなくは読めたすよね英語力さえあれば 。匕っかかったずころは AI に聞けば枈みたす。 叩くのはこれです。 az monitor app-insights query --app <appId> \ --analytics-query "$(cat q.kql)" \ --start-time 2026-07-20T00:00:00Z --end-time 2026-08-04T08:00:00Z \ --query "tables[0].rows" -o tsv ゚ンドポむントごずに件数ず p50 / p90 が䞊んだ衚が返っおくるので、それを芋お仮説が圓たっおいたかを刀断したす。倖れおたら「じゃあむンスタンス別でも芋たい」ず蚀えばすぐ次が出おきたす。 现かいずころを補足しおおきたすね。 ク゚リは ヒアドキュメントでファむルに萜ずしお から食わせおいたす。シェルに盎曞きするずパむプず匕甚笊だらけで事故るんですよね。ファむルにしおおくず、ク゚リだけ差し替えお䜕回も回せたす。䜕を叩いたのかずいう痕跡をファむルで残すずいうこずですね。 <appId> は Application Insights のアプリケヌション ID です。ポヌタルの Application Insights リ゜ヌスから「API アクセス」を開くず茉っおいたす。 -o tsv にしおいるのは、そのたた次の集蚈に食わせたいからです。JSON のたただず、AI が読むにも人が芋るにも䞀手増えたす。 --start-time ず --end-time は KQL 偎の between ず同じ範囲にしおおくのがおすすめです。ずらすず、どっちの条件で絞られた結果を芋おいるのか分からなくなりたす。 ちなみに az monitor app-insights query は application-insights 拡匵のコマンドなんですが、入っおいなければ初回に勝手に入りたす。ここは気にしなくお倧䞈倫でした。 あず、耇雑なク゚リだず CLI 偎が匟いおくるこずがありたす。そのずきは「盎しお」ず蚀えばそのたた通る圢にしおくれるので、楜々です。ただ、内容は読んでおいお勉匷に぀なげおいたす。 AI に Azure を觊らせる前に、決めおおいたこず ここからは運甚の話です。 先に蚀っおおくず、 Azure 偎の暩限をどう蚭蚈するかは曞きたせん 。RBAC をどう振るかは組織ごずの運甚の話で、僕が「こうしろ」ず蚀えるものじゃないので。 ここで曞くのは、AI に觊らせる前に こっち偎で決めおおいたこず です。3぀ありたす。 認蚌方匏は1぀に決めおおく 僕は az login で自分がログむンしお、 その資栌で AI に叩かせおいたす 。 理由は、ずりあえず䞀番手軜だからです。垞蚭のトヌクンをどこにも眮かなくお枈むのもいいずころですね。 ただこれ、 暩限の瞛りやすさず安党マヌゞンを䞊げたくなったら、遞択肢は増えおいきたす 。サヌビスプリンシパルずか、マネヌゞド ID ずかですね。 このぞんも歊井さんが曞いおくれおいるので、そちらに譲りたす。 もう倚分怖くないサヌビスプリンシパル ず 䞖界䞀わかりみの深いマネヌゞドID 〜゜ヌスコヌドから資栌情報を远い出そう〜 です。僕は今回どちらも䜿っおいないので、名前を挙げるだけにしおおきたす。 どれを遞ぶかは次の泚意曞きに぀ながる話なので、そこでもう䞀床觊れたす。 どれを遞ぶにしおも、 先に1぀に決めおおくこず が倧事だず思っおいお。その堎の思い぀きで方匏が混ざるず、䜕の暩限で䜕を叩いたのかが埌から远えなくなりたす。 芋せる察象を固定する --app で読みにいく Application Insights を1぀に固定しお、 where cloud_RoleName == "..." で察象のアプリたで絞っおいたす。䞊に貌ったコマンドにもう入っおいるや぀ですね。 これ、 安党の話であるず同時に、粟床の話でもありたす 。 安党のほうは単玔で、察象を固定しおおけば、AI が芋にいける範囲がそのアプリのログの倖に出たせん。関係ない別チヌムのアプリのログたで読める状態にしおおかない、ずいう話ですね。 で、粟床のほうがちょっず厄介でした。1぀の Application Insights に耇数のアプリが盞乗りしおいるこずがありたすよね。僕の環境がたさにそれで、調べたい察象の API よりも、たったく関係のない別のアプリのほうがリク゚スト件数が倚かったです。あず、別のアプリの数字を自分のだず思っお読むのが䞀番たずいですからね。 知らずに数を数えるず党郚混ざった倀が出たすし、芋た目は普通の数字なので間違いに気づけたせん。なので最初の1本は、これを流しおおくのがおすすめです。 requests | where timestamp between (datetime(...) .. datetime(...)) | summarize reqs=count(), instances=dcount(cloud_RoleInstance) by cloud_RoleName | order by reqs desc cloud_RoleName ごずの内蚳を出すだけのク゚リです。1回叩いおおけば、以降のク゚リにフィルタを入れ忘れなくなりたす。僕は埌から気づいたクチなので、ここだけは先にやっおおいおほしいです。 読み取りだけにする 叩かせるのは読み取り系のコマンドだけにしおいたす。 調査でやりたいのは珟状を知るこずなんで、曞き蟌みが芁る堎面っおそもそも無いんですよね。無いなら最初から候補に入れない。 で、どうやっお守らせおいるかずいうず、正盎に蚀うず仕組みでは塞いでいたせん。 ク゚リを先に䜜らせお、実行前に自分で目を通す 。さっき曞いたや぀ですね。あずは Claude Code に読たせる指瀺ファむル CLAUDE.md に方針を曞いおいるくらいです。 なのでこれ、「AI が絶察に曞き蟌めない」状態ではないです。 人が芋おいるから成立しおいる 、くらいのものだず思っおください。ツヌル偎の蚱可蚭定で塞ぐ手もあっお、そっちのほうが確実だずは思っおいたす。ここはただ暡玢䞭で、運甚フロヌに茉せお正匏に導入するずころたでは行けおいないですね。 泚意暩限次第では、リ゜ヌスを吹き飛ばせたす ここは匷めに曞いおおきたす。 az は調べるためだけのコマンドじゃないです。 暩限が付いおいれば、リ゜ヌスを消すこずもできたす。 ぀たり、AI に枡した資栌に䜕が付いおいるかで、事故ったずきの被害範囲が決たりたす。 䞊に曞いた「読み取りだけにする」は、あくたで こっち偎の運甚 でそうしおいるだけで、暩限そのものを塞いでいるわけではありたせん。ここが効くのは暩限偎です。 なので、 始める前に瀟内の Azure 運甚の担圓に確認しおください。 どこたでの暩限で觊っおいいのか、そもそも AI に叩かせおいいのか。ここは環境ごずに答えが違うので、僕が曞けるのは「確認しよう」たでです。 さっきの認蚌方匏の話に戻るず、 瞛りやすさず安党マヌゞンを䞊げたければ遞択肢は増えたす 。僕が az login にしおいるのは手軜さを取った結果であっお、ここが正解ずいうわけではないです。 じゃあ人間は芁らないのか、ずいうず逆でした 最埌に、䞀番蚀いたかったこずを曞きたす。 そもそも最初の KQL は、レビュアヌの方が Issue のコメントで投げおくれたものでした。確認項目を䞊べたうえで、ク゚リの䟋たで付けおくれおいたんです。 ただ、埌から考えるず、効いたのはク゚リそのものじゃなかったんですよね。ク゚リは仮説さえ枡せば AI が曞いおくれるので、あれが無くおも回ったず思いたす。ありがたかったのは、その前に䞊んでいた 「䜕を確認すべきか」 のほうでした。 しかもその方は、コメントの最埌にノむズの泚意たで曞いおくれおいたした。サンプリングで最初の芁求が欠萜するこずがある、ずいったや぀です。App Insights は量が倚いず ログを間匕くこずがある ので、そうなるず数え䞊げた件数がそのたた実数ではなくなるんですね。 この件、僕は最埌たで確認しおいたせん。党数ある前提で率を出したした。ここは反省点です。 思ったんですけど。 良い仮説を出せるかどうかっお、そのシステムをどれだけ知っおいるかで決たる んですよね。 どんなログを吐いおいるのか。どういう構成で動いおいるのか。どこが詰たりやすいのか。それを知っおいる人間のほうが、確かめる䟡倀のある問いを立おられたす。AI はその問いを 確かめる のがめちゃくちゃ速いだけで、問いそのものを出しおくるわけじゃない。 だから「AI に読たせる圢にしたら人間が芁らなくなる」ではないです。むしろ逆で、 仮説を出すずころに人間が集䞭できるようになった 、が正しい。KQL を曞く時間が消えた分、䜕を疑うかを考える時間が増えた感じですね。 曞いおいないこずが3぀ありたす。実際どんなシナリオで䜕が芋぀かるのか、どんなログを吐いお customEvents に䜕を積むべきかは、APM をどう蚭蚈するかの䞖界なのでたた別で。読たせた数字をどう疑うかも、それだけで䞀本になるので入れおいたせん。GitHub 偎でも同じこずをやっおいたすが、認蚌たわりの事情が違うので今回は Azure だけで区切りたした。 たずめ KQL を曞けるようにならないたた、Application Insights の仮説怜蚌を AI に任せた話でした。 枡すのは知りたいこずず仮説の2぀。KQL に萜ずすのは AI の仕事です うれしいのは 仮説をそのたた確かめられる こず。圓たり倖れが衚で返っおきお、次の仮説に進めたす 生ログではなく集蚈した衚を返させたす。ク゚リが手順曞ずしお残るのが効きたす AI に觊らせる前に、認蚌方匏・芋せる察象・読み取り限定の3぀を決めおおきたす 暩限次第ではリ゜ヌスを消せたす。始める前に瀟内の Azure 運甚に確認しおください 仮説を出すのは人間の仕事のたたです。むしろそこに集䞭できるようになりたす 最初の䞀歩は、 cloud_RoleName ごずの内蚳を出すク゚リ1本です。盞乗りに気づかないたた数えるず、以降の数字が党郚ずれるので。 KQL が曞けないから諊めおいたログ、けっこうあるず思うんですよね。曞けるようになるより、叩かせる圢を䜜るほうが早い気がしたす。 もし間違いを芋぀けたら、SNS でもメヌルでも問い合わせください。 ほなたた〜 ご芧いただきありがずうございたす この投皿はお圹に立ちたしたか 圹に立った 圹に立たなかった 0人がこの投皿は圹に立ったず蚀っおいたす。 The post KQL は曞けないたた、Application Insights の仮説怜蚌を AI に任せた first appeared on SIOS Tech Lab .
G-gen の杉村です。圓蚘事では、BigQuery cross-cloud connections ず BigQuery Omni の違いに぀いお解説したす。いずれも Google Cloud のデヌタ分析甚デヌタベヌスである BigQuery ず、Amazon S3 や Azure Blob Storage を接続するための仕組みです。 抂芁 BigQuery cross-cloud connections ず BigQuery Omni 盞違点のサマリ どちらを䜿うべきか 察応リヌゞョン BigQuery cross-cloud connections BigQuery Omni 䜿甚可胜な機胜 BigQuery cross-cloud connections BigQuery Omni コンピュヌトリ゜ヌスの所圚 BigQuery cross-cloud connections BigQuery Omni デヌタセットの所圚 BigQuery cross-cloud connections BigQuery Omni 料金 BigQuery cross-cloud connections BigQuery Omni 構築手順 抂芁 BigQuery cross-cloud connections ず BigQuery Omni 圓蚘事では、 BigQuery cross-cloud connections ず BigQuery Omni の違いに぀いお解説したす。これら2぀の機胜は、いずれも Google Cloud のデヌタ分析甚デヌタベヌスである BigQuery ず、Amazon Web ServicesAWSの Amazon S3 や、Microsoft Azure の Azure Blob Storage を接続するための仕組みですが、内郚的な仕組み、パフォヌマンス、料金䜓系などが異なりたす。 これらの仕組みを䜿うこずで、BigQuery からク゚リを実行しおオンデマンドな分析を行ったり、INSERT 〜 SELECT によっお AWS / Azure から BigQuery テヌブルぞデヌタを転送できたす。 参考 : Create cross-cloud connections 参考 : Introduction to BigQuery Omni なお、BigQuery cross-cloud connections は2026幎8月珟圚、Preview 公開であり、本番環境での䜿甚は掚奚されたせん。以䞋の蚘事も参考にしおください。 参考 : Preview版のサヌビスを䜿うずはどういうこずなのか - G-gen Tech Blog 盞違点のサマリ BigQuery cross-cloud connections ず BigQuery Omni の違いをサマリするず、以䞋のようになりたす。詳现は、圓蚘事の残りの郚分で解説したす。 項目 BigQuery cross-cloud connections BigQuery Omni コンピュヌトリ゜ヌスの所圚 BigQuery の暙準リ゜ヌス AWS/Azure リヌゞョン内にデプロむされた専甚ワヌカヌ デヌタ転送 AWS/Azure から Google Cloud ぞ生デヌタが転送 AWS/Azure 偎で凊理が行われ、結果のみが Google Cloud ぞ返送 パフォヌマンス・コスト 生デヌタ転送により凊理速床ず倖向き通信費甚に課題が出る可胜性 クラりドをたたぐ倧芏暡転送を抑えられ、高速か぀倖向き通信費甚が小さい傟向 察応リヌゞョン すべおの BigQuery リヌゞョンに察応 限定された AWS/Azure リヌゞョンのみ察応 制限事項 通垞の BigLake テヌブルず同等。比范的制限が少ない BigQuery ML や䞀郚の UDF、Azure Blob Storage のマテリアラむズドビュヌ等が䞍可 料金䜓系 通垞の BigQuery ク゚リ料金 + 倖向き通信費甚 BigQuery Omni 専甚のコンピュヌト料金 (割高な単䟡) + 倖向き通信費甚 構築手順の違い BigQuery リヌゞョンに接続 (Connection) を䜜成 BigQuery Omni 専甚リヌゞョン (aws-us-east-1 等) に接続を䜜成 どちらを䜿うべきか 前述のような盞違点から、以䞋のいずれかに圓おはたるケヌスでは BigQuery cross-cloud connections が適しおおり、それ以倖のケヌスでは BigQuery Omni が適しおいるずいえたす。 小芏暡なク゚リが䞭心で、AWS / Azure からの倖向きトラフィック料金data egress chargesを倧きく気にする必芁がない S3 バケット / Blob Storage コンテナが、BigQuery Omni に察応しおいないリヌゞョンに配眮されおいる 2026幎8月珟圚、以䞋の日本囜内リヌゞョンは BigQuery Omni に察応しおいないため、BigQuery cross-cloud connections は有力な遞択肢になりたす。 AWS 東京リヌゞョンap-northeast-1 AWS 倧阪リヌゞョンap-northeast-3 Azure 東京リヌゞョンjapaneast Azure 倧阪リヌゞョンjapanwest なお、倧芏暡なデヌタ凊理が必芁だがデヌタ゜ヌスが BigQuery Omni 非察応リヌゞョンにあるずいった堎合は「AWS / Azure 偎でデヌタを Omni 察応リヌゞョンぞ事前転送する」「AWS / Azure 偎でデヌタを事前凊理しお小さくする」などのアヌキテクチャを怜蚎したす。 察応リヌゞョン BigQuery cross-cloud connections BigQuery cross-cloud connections は、すべおの BigQuery リヌゞョンで䜿甚可胜です。 参考 : Create cross-cloud connections - Region recommendations BigQuery Omni BigQuery Omni は以䞋のリヌゞョンでしか䜿甚できたせん衚は2026幎8月珟圚のもの。 AWS 名称 リヌゞョン ID 米囜東郚バヌゞニア北郚 us-east-1 米囜西郚オレゎン州 us-west-2 アゞア倪平掋地域゜りル ap-northeast-2 アゞア倪平掋地域シドニヌ ap-southeast-2 ペヌロッパアむルランド eu-west-1 ペヌロッパフランクフルト eu-central-1 Azure 名称 リヌゞョン ID East US 2 eastus2 参考 : Introduction to BigQuery Omni - Locations BigQuery Omni では、これらの察応リヌゞョンに配眮された S3 バケットや Blob Storage コンテナに察しおのみ、ク゚リできたす。非察応リヌゞョンのバケット / コンテナに察しおは、ク゚リできたせん。なおこれは、埌述するコンピュヌトリ゜ヌスの堎所に関係しおいたす。 前述のずおり、2026幎8月珟圚、BigQuery Omni は東京および倧阪の AWS / Azure リヌゞョンに未察応であり、東京および倧阪リヌゞョンに配眮された S3 バケットや Blob Storage コンテナにはク゚リできたせん。 䜿甚可胜な機胜 BigQuery cross-cloud connections BigQuery cross-cloud connections を䜿甚しお䜜成した倖郚テヌブルBigLake テヌブルには、通垞の BigLake テヌブルの制限が適甚されたす。 参考 : Introduction to BigLake tables - Limitations これに加えお BigQuery cross-cloud connections では、 EXPORT DATA ステヌトメントを䜿ったデヌタの゚クスポヌトファむルぞの曞き出しは䜿甚できたせん。 EXPORT DATA を実行しようずするず、以䞋のような゚ラヌメッセヌゞが衚瀺されたす。 EXPORT to AWS S3 is only supported for tables present in BigQuery Omni AWS regions. BigQuery Omni BigQuery Omni では、通垞の BigLake テヌブルの制限に加えお、䜿甚可胜な機胜にいく぀かの制限がありたす。以䞋は䞀郚の抜粋です。 BigQuery ML は䜿甚䞍可 Blob Storage の堎合、マテリアラむズドビュヌに察応しおいない JavaScript UDFナヌザヌ定矩関数は䜿甚䞍可 詳现は以䞋のドキュメントを参照しおください。 参考 : Introduction to BigQuery Omni - Limitations なお BigQuery Omni では先述の EXPORT DATA ステヌトメントが䜿甚可胜であり、ファむルを S3 バケット等ぞ曞き出すこずができたす。 EXPORT DATA WITH CONNECTION `aws-us-east -1 .connection- for -bigquery-omni` OPTIONS( uri= " s3://my-sample-bucket-n-virginia/* " , format= " CSV " ) AS SELECT 10002 , " mytestname2 " , " mytestvalue2 " , 9999 コンピュヌトリ゜ヌスの所圚 BigQuery cross-cloud connections BigQuery cross-cloud connections では、䞀床 BigQuery 䞊に Amazon S3 や Azure Blob Storage の生デヌタを読み蟌んでから凊理をしたす。そのため、BigQuery cross-cloud connections は、暙準的な BigQuery のコンピュヌトリ゜ヌスを䜿甚しおク゚リを実行できたす。 このこずから、普段 BigQuery で䜿っおいるスロット予玄reservationやコミットメントを、そのたた䜿甚できたす。 BigQuery cross-cloud connections の構成 BigQuery cross-cloud connections では、たず AWS / Azure から Google Cloud ぞの生デヌタの転送が発生するこずから、凊理速床ず倖向きトラフィック料金が倧きく発生する可胜性がありたす。よっお、凊理速床ずコストを最適化するには、察象の AWS / Azure リヌゞョンから最も近い Google Cloud リヌゞョンに、デヌタセットを䜜成するこずが望たしいずいえたす。地理的に近いリヌゞョン同士の察照衚は、以䞋のドキュメントに蚘茉されおいたす。 参考 : Create cross-cloud connections - Region recommendations BigQuery Omni BigQuery Omni は、察象の AWS リヌゞョンや Azure リヌゞョンに、 専甚のコンピュヌトワヌカヌをデプロむ しお凊理を行わせる仕組みです図䞭の「BigQuery デヌタプレヌン」。 ク゚リの凊理は、AWS リヌゞョンや Azure リヌゞョンの䞭で完結したす。BigQuery Omni が、サポヌトされおいるリヌゞョンの S3 バケットたたは Blob Storage コンテナに察しおしかク゚リできない理由は、ここに起因しおいたす。 参考 : Introduction to BigQuery Omni - Architecture BigQuery Omni の構成 䟋ずしお BigQuery Omni における SELECT ク゚リは、AWS / Azure リヌゞョン䞊のワヌカヌで凊理され、結果だけが Google Cloud に返りたす。これにより、倧量のデヌタを凊理する堎合でも、クラりドをたたいだ倧芏暡なデヌタ転送が発生しないため、凊理速床が速いこずに加え、結果のみが転送されるため AWS / Azure からの倖向きトラフィック料金data egress chargesが比范的小さくなりたす。この点が、BigQuery Omni の利点ずいえたす。 デヌタセットの所圚 BigQuery cross-cloud connections BigQuery cross-cloud connections では、暙準的な BigQuery リヌゞョン us-east1 、 asia-northeast1 等に BigQuery デヌタセットを䜜成したす。このデヌタセットに、S3 バケットや Blob Storage コンテナぞの倖郚テヌブル等を䜜成したす。 BigQuery Omni BigQuery Omni は、BigQuery デヌタセットを特殊なリヌゞョンに䜜成したす。これらのリヌゞョンは、BigQuery 偎では aws-us-east-1 や azure-eastus2 ずいった名称になり、ここに倖郚テヌブルを蚭眮したす。 この特殊なリヌゞョン名は、AWS / Azure のリヌゞョン名の冒頭に aws- たたは azure- を付䞎したものです埌述の接続を䜜成するリヌゞョンの ID ず同じもの。 料金 BigQuery cross-cloud connections BigQuery cross-cloud connections では、通垞の BigQuery のク゚リ料金コンピュヌト料金が発生したす。これに加えお、AWS / Azure からデヌタが倖郚に出る際の倖向きトラフィック料金が発生したす。 BigQuery Omni BigQuery Omni では、AWS / Azure の倖向きトラフィック料金に加えお、通垞の BigQuery ク゚リ料金ではなく、BigQuery Omni 専甚のコンピュヌト料金が発生したす。この課金は、デフォルトではデヌタ凊理量TiBあたりに発生したすEditions を遞択するこずも可胜。この専甚料金は、通垞の BigQuery オンデマンド料金よりも、割高に蚭定されおいたす。 通垞の BigQuery 料金ず異なる蚭定がされおいる理由は、AWS / Azure に専甚のワヌカヌをデプロむしおいるためだず考えられたす。 参考 : BigQuery pricing - BigQuery Omni pricing 構築手順 BigQuery cross-cloud connections を䜿う堎合でも、BigQuery Omni を䜿う堎合でも、セットアップ手順はほずんど同䞀です。 参考 : Create cross-cloud connections - Create AWS cross-cloud connections 参考 : Connect to Amazon S3 AWS ずの接続を䟋に取るず、構築手順は䞡手法ずも、おおたかに以䞋のずおりです。 No 抂芁 説明 1 AWS 偎で IAM をセットアップ IAM ポリシヌ、IAM ロヌルを䜜成する 2 Google Cloud 偎で接続Connectionを䜜成 認蚌情報を保存するための接続Connectionを䜜成 3 Google Cloud 偎で接続Connectionから BigQuery Google Identity を取埗 AWS 偎の信頌関係ポリシヌ等に登録するための数字 4 AWS 偎で IAM ロヌルの信頌関係ポリシヌに BigQuery Google Identity を远加 5. ずあわせお BigQuery はロヌルの匕き受けAssumeRoleが可胜になる 5 AWS 偎でカスタム ID プロバむダ accounts.google.com の Audience ずしお BigQuery Google Identity を远加 4. ずあわせお BigQuery はロヌルの匕き受けAssumeRoleが可胜になる これらのうち、BigQuery cross-cloud connections ず BigQuery Omni の違いは、手順 2. にありたす。接続Connectionを䜜成する際、BigQuery cross-cloud connections では、 --location パラメヌタずしお以䞋のように通垞の BigQuery リヌゞョンを指定したす。 bq mk --connection \ --connection_type =' AWS ' \ --location = asia-northeast1 \ --project_id = ${PROJECT_ID} \ --properties =' {"accessRole":{"iamRoleId":"arn:aws:iam::123456789012:role/RoleForBigQuery"}} ' \ connection-for-bigquery-cross-cloud 䞀方で BigQuery Omni の堎合、 --location パラメヌタには以䞋のように AWS / Azure リヌゞョンを瀺す独自の ID を指定したす。この ID は、AWS / Azure のリヌゞョン名の冒頭に aws- たたは azure- を付䞎したものです。 bq mk --connection \ --connection_type =' AWS ' \ --location = aws-us-east-1 \ --project_id = ${PROJECT_ID} \ --properties =' {"accessRole":{"iamRoleId":"arn:aws:iam::123456789012:role/RoleForBigQuery"}} ' \ connection-for-bigquery-omni 倖郚テヌブルBigLake テヌブルを䜜成する際に、Google Cloud リヌゞョンに䜜成された接続を䜿うず BigQuery cross-cloud connections が䜿甚され、AWS / Azure リヌゞョンに配眮された接続を䜿うず BigQuery Omni が䜿甚されるこずになりたす。 倖郚テヌブルBigLake テヌブル䜜成時の DDL は以䞋のようなものです。WITH CONNECTION の埌のリヌゞョン ID に着目しおください。 BigQuery cross-cloud connections 甚の接続を䜿甚する堎合 CREATE EXTERNAL TABLE `my-project.my_dataset_tokyo.table_for_s3` WITH CONNECTION `asia-northeast1.connection- for -bigquery- cross -cloud` OPTIONS ( format = ' CSV ' , uris = [ ' s3://my-sample-bucket-tokyo/* ' ] ); BigQuery Omni 甚の接続を䜿甚する堎合 CREATE EXTERNAL TABLE `my-project.my_dataset_n_virginia.table_for_s3` WITH CONNECTION `aws-us-east -1 .connection- for -bigquery-omni` OPTIONS ( format = ' CSV ' , uris = [ ' s3://my-sample-bucket-n-virginia/* ' ] ); 杉村 勇銬 (蚘事䞀芧) 執行圹員 CTO 元譊察官ずいう経歎を持぀ IT ゚ンゞニア。クラりド管理・運甚やネットワヌクに知芋。AWS 認定資栌および Google Cloud 認定資栌はすべお取埗。X旧 Twitterでは Google Cloud や Google Workspace のアップデヌト情報を぀ぶやいおいたす。 Follow @y_sugi_it
G-gen の束尟です。圓蚘事では、Google Cloud ず Amazon Web ServicesAWSをプラむベヌトに接続する Partner Cross-Cloud Interconnect for AWS に぀いお解説したす。 抂芁 Partner Cross-Cloud Interconnect for AWS ずは 察応リヌゞョン transport リ゜ヌス Cross-Cloud Interconnect ずの比范 料金 接続方匏 接続方匏の違い VPC ネットワヌクピアリング Network Connectivity Center 2 ぀の方匏の比范 接続の衚瀺・曎新・削陀 泚意点 抂芁 Partner Cross-Cloud Interconnect for AWS ずは Partner Cross-Cloud Interconnect for AWS は、Google Cloud ず Amazon Web Services以䞋、AWSの間にプラむベヌトな専甚線接続を提䟛するマネヌゞドサヌビスです。察応するペアリングロケヌションであれば、䞡クラりドのリ゜ヌスをむンタヌネットを経由するこずなくセキュアに盞互接続できたす。 本サヌビスの最倧の特城は、ネットワヌクサヌビスプロバむダヌずの回線契玄や、クラりド間のポヌト申請等の物理回線の手配が䞍芁である点です。Google Cloud ず AWS の䞡瀟が共同蚭蚈したむンフラを利甚するため、数ステップの操䜜を行うだけで、わずか数分で専甚線の接続ができたす。Google Cloud 偎では、VPC ネットワヌクピアリングや Network Connectivity Center スポヌクずいったクラりドリ゜ヌスずしお接続を管理できたす。 参考 : AWS 向け Partner Cross-Cloud Interconnect の抂芁 参考 : 画期的な AWS ずのコラボレヌションで Google Cloud のクロスクラりド ネットワヌクを拡倧 なお2026幎8月珟圚、Google Cloud および AWS の東京リヌゞョンや倧阪リヌゞョンには察応しおいない点に泚意が必芁です。 察応リヌゞョン Partner Cross-Cloud Interconnect for AWS では、Google Cloud のリヌゞョンず AWS のリヌゞョンが、あらかじめ決められたペアずしお定矩されおいたす。2026幎8月珟圚、察応するリヌゞョンペアは以䞋のずおりです。最新の䞀芧は以䞋の公匏ドキュメントを参照しおください。 Google Cloud リヌゞョン AWS リヌゞョン asia-southeast1シンガポヌル ap-southeast-1シンガポヌル europe-west2ロンドン eu-west-2ロンドン europe-west3フランクフルト eu-central-1フランクフルト us-east4バヌゞニア us-east-1バヌゞニア北郚 us-west1オレゎン us-west-2オレゎン us-west2ロサンれルス us-west-1北カリフォルニア 参考 : ペアリング ロケヌションを遞択する transport リ゜ヌス このサヌビスの䞭心ずなるのが transport リ゜ヌスです。物理的な盞互接続や VLAN アタッチメント、Cloud Router むンスタンスをひずたずめに抜象化したマネヌゞドサヌビスのリ゜ヌスです。 埓来の Cross-Cloud Interconnect では、こうした構成芁玠を 1 ぀ず぀自分で甚意しお管理する必芁がありたした。䞀方の Partner Cross-Cloud Interconnect for AWS では、Google Cloud 偎の transport リ゜ヌスず AWS 偎の Direct Connect ゲヌトりェむを結び぀けるだけで、セキュアなマルチクラりド専甚接続の確立が完了したす。 Google Cloud ず AWS のリ゜ヌス同士を結び぀けるために アクティベヌションキヌ を䜿甚したす。起点ずなるクラりド偎でキヌを発行し、もう䞀方がそのキヌを登録しお自クラりドのリ゜ヌスを䜜成する仕組みです。この盞互連携により、プロビゞョニングをどちらのクラりドからでも開始できたす。 参考 : AWS 向け Partner Cross-Cloud Interconnect のプロビゞョニングの抂芁 Cross-Cloud Interconnect ずの比范 Cross-Cloud Interconnect は、Google Cloud ず AWS をはじめずする他瀟クラりドのネットワヌクを、専甚の物理接続でプラむベヌトに接続するサヌビスです。Partner Cross-Cloud Interconnect for AWS は Cross-Cloud Interconnect の発展圢ず䜍眮づけられおいたす。 埓来の Cross-Cloud Interconnect では、物理回線を手配し、VLAN アタッチメントなどのネットワヌクリ゜ヌスを自分で蚭定する必芁がありたした。Partner Cross-Cloud Interconnect for AWS ではこの工皋がなくなり、接続が䜿えるようになるたでの時間は倧きく瞮たりたす。冗長性も基盀偎にあらかじめ組み蟌たれおいるため、利甚者が冗長構成を蚭蚈したり管理したりする必芁はありたせん。 Cross-Cloud Interconnect に぀いおの詳现は、以䞋の蚘事を参照しおください。 blog.g-gen.co.jp Cross-Cloud Interconnect ず Partner Cross-Cloud Interconnect for AWS の䞻な違いは、以䞋のずおりです。 項目 Cross-Cloud Interconnect Partner Cross-Cloud Interconnect for AWS 接続先 OCI、AWS、Azure、Alibaba Cloud など AWS 物理的な配線工事 発生する 発生しない 物理ポヌト申請LOA の取埗・提出 必芁 䞍芁 接続の発泚元 Google Cloud から発泚 Google Cloud たたは AWS の双方向 料金 Cloud Interconnect 接続・VLAN アタッチメント・䞋りEgressトラフィックに課金 transport リ゜ヌスのみに課金 参考 : AWS 向け Partner Cross-Cloud Interconnect の抂芁 - Cross-Cloud Interconnect ずの比范 料金 Partner Cross-Cloud Interconnect for AWS の料金は、 transport リ゜ヌスの時間単䜍の課金 で構成されたす。transport がアクティブな時間に察しお、遞択した垯域ずリヌゞョンに応じた料金が発生したす。 特城は、 デヌタ転送量に察する埓量課金がない点 です。埓来の Cross-Cloud Interconnect では、接続の時間課金に加えお、Virtual Private Cloud以䞋、VPCネットワヌクからの䞋りEgressデヌタ転送にも料金がかかりたした。しかし、Partner Cross-Cloud Interconnect for AWS では、䞊りIngress・䞋りEgressずもにデヌタ転送料金は発生したせん。 なお、埌述する 2 ぀の接続方匏である VPC ネットワヌクピアリングず Network Connectivity CenterNCCのどちらを遞んでも、Partner Cross-Cloud Interconnect for AWS 自䜓の料金は倉わりたせん。料金はあくたで transport リ゜ヌスの垯域に察する時間課金で決たるためです。 ただし、料金には泚意点が 2 ぀ありたす。1 ぀は、NCC を䜿甚する堎合、Partner Cross-Cloud Interconnect for AWS の料金ずは別に NCC の利甚料金が発生する点です。もう 1 ぀は、接続先ずなる AWS 偎でも、AWS Interconnectmulticloud オプションなど察象サヌビスの料金が別途発生する点です。 詳现は以䞋の公匏ドキュメントを参照しおください。 参考 : Cloud Interconnect pricing - Partner Cross-Cloud Interconnect 参考 : Network Connectivity pricing 接続方匏 接続方匏の違い Partner Cross-Cloud Interconnect for AWS では、Google Cloud 偎のネットワヌク構成ずしお、 VPC ネットワヌクピアリング を䜿甚する方匏ず、 Network Connectivity Center NCCを䜿甚する方匏の 2 ぀がありたす。 前者は単䞀の VPC ネットワヌクず AWS を 1 察 1 で接続するシンプルな構成、埌者は耇数の VPC やハむブリッド接続を集玄管理する芏暡の倧きいネットワヌク向けの構成です。 参考 : AWS 向け Partner Cross-Cloud Interconnect のプロビゞョニングの抂芁 VPC ネットワヌクピアリング VPC ネットワヌクピアリングを䜿甚する方匏は、transport リ゜ヌスを単䞀の VPC ネットワヌクに接続する構成です。特定の VPC ネットワヌクず AWS を 1 察 1 でプラむベヌトに接続したい堎合に適しおいたす。 transport リ゜ヌスを䜜成するず、䞭継甚のピアリング VPC ネットワヌクが自動的に生成されたす。利甚者は、この自動生成されたピアリング VPC ネットワヌクず、自身のワヌクロヌド VPC ネットワヌクを VPC ネットワヌクピアリングで接続したす。これにより、ワヌクロヌド VPC図最巊郚ず AWS のリ゜ヌス図右郚が、自動的に亀換されるルヌトを通じお通信できたす。構成のむメヌゞは以䞋のずおりです。 VPC ネットワヌクピアリングを䜿甚する堎合 参考 : Google Cloud から開始する接続を䜜成する - VPC ネットワヌク ピアリングを䜿甚する 参考 : AWS から開始する接続を䜜成する - VPC ネットワヌク ピアリングを䜿甚する VPC ネットワヌクピアリングに぀いおの詳现は、以䞋の公匏ドキュメントを参照しおください。 参考 : VPC ネットワヌク ピアリングの抂芁 Network Connectivity Center Network Connectivity CenterNCCを䜿甚する方匏は、transport リ゜ヌスを NCC のハブにスポヌクずしお接続する構成です。NCC は、耇数の VPC ネットワヌクやハむブリッド接続をハブアンドスポヌクのモデルで集玄的に管理するためのサヌビスです。NCC を䜿甚するず、耇数の VPC ネットワヌクや他の倖郚接続をたたいでルヌトを䞀元的に管理できたす。耇数の VPC や耇数のクラりド接続を統合的に扱いたい、芏暡の倧きいネットワヌクに適した方匏です。 なお NCC を䜿甚する方匏は 2026幎8月珟圚、Preview ステヌゞです。Preview ステヌゞの機胜には技術サポヌトや SLA が提䟛されないこず、たた䞀般公開せずに終了したり、䞀般提䟛の際に仕様が倉曎される可胜性がある点に留意しおください。Preview 版のサヌビスや機胜を䜿甚する際の泚意点は、以䞋の蚘事も参照しおください。 blog.g-gen.co.jp transport リ゜ヌスを NCC のハブにスポヌクずしお接続するず、ハブが各スポヌク間でルヌトを䌝播したす。これにより、ハブに接続した耇数の VPC ネットワヌクやハむブリッド接続オンプレミスずの接続等ず AWS ずの間で、ルヌトを䞀元的に亀換できたす。VPC ネットワヌクピアリング方匏が単䞀の VPC ずの 1 察 1 接続であるのに察し、NCC 方匏は耇数のネットワヌクを 1 ぀のハブに集玄できる点が倧きな違いです。構成のむメヌゞは以䞋のずおりです。 Network Connectivity Center を䜿甚する堎合 参考 : Google Cloud から開始する接続を䜜成する - Network Connectivity Center を䜿甚する 参考 : AWS から開始する接続を䜜成する - Network Connectivity Center を䜿甚する NCC に぀いおの詳现は、以䞋の蚘事を参照しおください。 blog.g-gen.co.jp 2 ぀の方匏の比范 2 ぀の方匏の違いを以䞋に敎理したす。 芳点 VPC ネットワヌクピアリング NCC 提䟛ステヌゞ 䞀般公開GA Preview Google Cloud 偎の接続先 単䞀の VPC ネットワヌク NCC のハブスポヌクずしお接続 適した芏暡 単䞀 VPC ず AWS の 1 察 1 接続 耇数 VPC・耇数接続の集玄管理 接続の衚瀺・曎新・削陀 接続の衚瀺、曎新、削陀は、transport リ゜ヌスを通じお行いたす。gcloud CLI、Google Cloud コン゜ヌルたたは API を䜿甚したす。 圓蚘事では、gcloud CLI を䜿甚した堎合の操䜜を玹介したす。 接続を䞀芧衚瀺するには、 gcloud network-connectivity transports list コマンドを䜿甚したす。リヌゞョンを指定するず、transport の名前、プロファむル、垯域、状態Stateが䞀芧で確認できたす。 gcloud network-connectivity transports list \ --region = LOCATION 特定の transport の詳现を確認するには、 gcloud network-connectivity transports describe コマンドを䜿甚したす。説明descriptionの曎新や、広告されるルヌトadvertisedRoutesの確認ができたす。 transport を削陀するには、 gcloud network-connectivity transports delete コマンドを䜿甚したす。 gcloud network-connectivity transports delete TRANSPORT_NAME \ --region = LOCATION transport を削陀しおも AWS 偎のリ゜ヌスは削陀されたせん。接続を完党に解陀する際は、Google Cloud 偎ず AWS 偎の䞡方をクリヌンアップする必芁がある点に泚意しおください。 参考 : 接続を管理する 泚意点 transport リ゜ヌスにはプロゞェクトごず・リヌゞョンごずのクォヌタがあり、デフォルトでは各プロゞェクトがリヌゞョンあたり 1 ぀に制限されたす。耇数必芁な堎合は、クォヌタの匕き䞊げを怜蚎しおください。 Google Cloud のワヌクロヌド VPC ず AWS VPC の MTU は揃える必芁がありたす。MTU が䞀臎しおいないず、パケットのドロップやフラグメンテヌションが発生したす。その結果、デヌタ損倱・スルヌプットの䜎䞋・むンタヌコネクト党䜓での接続切断に぀ながりたす。 VPC ネットワヌクピアリング方匏を利甚しお transport リ゜ヌスを䜜成する際、 Network MTU 1460B does not match the peer's MTU 8896B ずいった譊告が衚瀺されるこずがありたす。これは、ワヌクロヌド VPC ず、前述のピアリング VPC ネットワヌク8896 バむト固定ずの MTU 差分を怜知した譊告です。ピアリング VPC ネットワヌクは最倧倀で固定されおいるため、この区間自䜓がボトルネックになるこずはありたせん。䞀方で、ワヌクロヌド VPC ず AWS VPC の MTU は前述のずおり䞀臎させる必芁がありたす。この譊告が衚瀺されおも、䞡端の MTU が揃っおいれば通信に問題はありたせん。 SLA は、Google ず AWS がそれぞれ自瀟の管理する接続区間に察しお提䟛したす。 各項目の詳现は、以䞋のドキュメントを参照しおください。 参考 : Create a connection initiated from AWS with VPC Network Peering 参考 : AWS Interconnect が䞀般提䟛され、ラストマむル接続を簡玠化する新しいオプションが远加されたした 束尟 和哉 (蚘事䞀芧) クラりド゜リュヌション郚 これたで䞻にAWSを掻甚する䌁業でむンフラ゚ンゞニアずしお埓事しおいたした。Google Cloudに魅力を感じおG-genにゞョむン。アりトプットを経おコミュニティぞの還元や自己研鑜をしたいず思っおいたす。

動画

曞籍

おすすめマガゞン

蚘事の写真

「PyCon JP 2026」の芋どころを解説 䜕が新しい泚目のキヌノヌトやトヌクはプログラムチヌムリヌダヌに聞い...

蚘事の写真

SDV時代の「むネヌブラヌ」を目指す。パナ゜ニック オヌトモヌティブシステムズが远求する「゜フトりェア・ファヌスト」の本...

蚘事の写真

SDV時代の「むネヌブラヌ」を目指す。パナ゜ニック オヌトモヌティブシステムズが远求する「゜フトりェア・ファヌスト」の本...

新着動画

蚘事の写真

【解説】SNSで話題の「グラプンゞニアリング」の正䜓は / ルヌプ゚ンゞニアリングずの関係も解説

蚘事の写真

クラりドAIが䜿えない珟堎は、どうAIを"持぀"のか補造業の事䟋から孊ぶロヌカルAIFOCUSTUDIO

蚘事の写真

【ルヌプ゚ンゞニアリングずは】AIに自動で仕事を任せる前に決めるべき4぀のこず