こんにちは、クロスイノベーション本部リーディングエッジテクノロジーセンターの山下です。 先日、会社でDGX Sparkの互換機である Dell Pro Max with GB10 を購入しました。 128GBのユニファイドメモリ(CPU/GPU共有)を搭載したこのマシンは、LLMサーバの性能評価に最適な環境を提供してくれます。 今回はこのマシンにvLLMサーバを構築し、OpenAI互換のAPIサーバとして動作させてみました。 初回セットアップ まず電源を入れるとOSのインストール、ファームウェアのアップデ