G-gen の佐々木です。当記事では、Pub/Sub から直接 Vertex AI 上の AI モデルによる推論を取得することができる AI 推論 SMT 機能について解説します。 前提知識 Pub/Sub とは Single Message Transforms(SMTs) AI 推論 SMT の機能 基本事項 AI 推論 SMT の利点 使用できるモデル Model Garden で提供されているモデル Vertex AI Endpoints にデプロイしたモデル モデルの入力・出力 入力するメッセー
こんにちは、クロスイノベーション本部リーディングエッジテクノロジーセンターの山下です。 先日、会社でDGX Sparkの互換機である Dell Pro Max with GB10 を購入しました。 128GBのユニファイドメモリ(CPU/GPU共有)を搭載したこのマシンは、LLMサーバの性能評価に最適な環境を提供してくれます。 今回はこのマシンにvLLMサーバを構築し、OpenAI互換のAPIサーバとして動作させてみました。 初回セットアップ まず電源を入れるとOSのインストール、ファームウェアのアップデ
【Google x GenAI】Gemini Enterprise におけるエージェントデザイナーとは? こんにちは、ソフトバンクでクラウドエンジニアをしている井上です。 日々生成 AI を活用する中で「もっと複雑な業務フローを生成 AI に任せられたらいいのに」と考えたことはありませんか? これまでの生成 AI 活用は、ユーザーが問いかけ、生成 AI がそれに答えるという「1対1の対話」が中心でした。Gemini Enterprise のエージェントデザイナーは、その常識を塗り替えます。 本記事では、エ