はじめに さくらインターネットで高火力 PHYチームに所属している道下です。 本連載では、高火力 PHYで利用しているサーバーと同種のGPUサーバーを利用し、近年注目度を増しているLLMの分散推論基盤に関して、詳細な技術 […]

はじめに こんにちは！NTTデータにて1GPUにおけるトークン処理量を向上させるべく、日々GPUリソース最適化の検証を行っているエンジニアの居倉です。 2026年9月8日、Nutanixのイベント「.NEXT On Tour Tokyo 2026」に参加してきました。今回は3人でイベントに参加し、それぞれが聴講したセッションを記事にすることになりました。第1回となる本記事では、私が参加したAI基盤の配置とAI利用の管理に関する2つのセッションを紹介します。 こんな方に読んでいただきたい記事です AI基盤の

この記事は Amazon EKS introduces enhanced network policy capabilities (記事公開日: 2025 年 12 月 15 日) を翻訳したものです。 2025 年 12 月に、 Amazon EKS におけるネイティブなネットワークポリシーのサポートを拡張し、Admin Policy と Application Network Policy の両方に対応したことを発表しました。これらの追加されたポリシーにより、クラスター管理者 (プラットフォームチーム

はじめに 検索基盤チームの mrkm4ntr です。以前、 CPU 使用率による Elasticsearch の autoscaling について書きました。ピーク時間帯に合わせて確保していたリソースを、トラフィックに合わせて増減することで、Elasticsearch のコストを約 40% 削減できました。 この autoscaling には、まだコストを削る余地が残っていました。この記事では、そのために行った 2 つの改善を紹介します。 scale-out の高速化 : shard のコピー待ちをなくす

はじめに Kubernetes上でLLMの推論などGPUを使うワークロードを動かすには、GPUノードにドライバを入れ、PodからGPUを利用できる状態にしておく必要があります。本記事では、インターネットに接続できないAirGap環境のRKE2クラスタに対して、NVIDIA GPU DriverとNVIDIA GPU Operatorを導入し、Kubernetes上でGPUを使えるようにするまでの手順を紹介します。 SUSE AIのようなKubernetes上のAI基盤を構築する際の前提作業にあたりますが、

みなさまこんにちは。自動車・製造インダストリーソリューションアーキテクトの 小川 です。10月に入っても関東は秋雨模様のお天気から徐々に秋晴れの日も増えてきましたね。こちらの「 月刊AWS製造 」ブログでは直近1カ月に発表された製造関連のブログ・サービスのアップデート・事例や今後開催予定のイベントなどを毎月お届けしています。最近Amazonの独自チップ開発に関する記事やニュースが複数出ていたので、今月は製品設計開発領域でのAI活用に関して、ピックアップトピックとして触れさせて頂きます。 ピックアップトピッ

NTTデータ3年目社員の栫と、1年目社員の喜田（@kidatakeru）、齋藤（@maaya）です。 2026年7月30日・31日に東京ビッグサイトで開催されたGoogle Cloud Next Tokyo 26のDAY 2レポートです。 DAY 2で特に印象に残ったのは、運用に関する話題の多さです。 基調講演ではAIエージェントを動かし続けるための基盤が紹介され、各セッションでもデータベース移行に伴うチューニング、ハイブリッドクラウド運用、障害対応、オブザーバビリティなど、システムを継続的に運用するため

はじめに こんにちは！データ推進室の羽鳥、天野です。 普段はそれぞれ、LLMを使った推薦システムの開発と、データ組織のマネジ

こんにちはサイオステクノロジーの前田です。 Prometheusを導入しようとしても多数展開用のシングルノード等の小さい環境の場合や、複数クラスターが存在する大規模な環境の場合ではPrometheusだとリソース問題やデータの保存の問題で希望のメトリクスが保管できないケースが有ります。VictoriaMetricsはPrometheusのいくつかの課題に対応することができます。本記事ではVictoria MetricsとPrometheusを比較していきます。 Kubernetesのメトリクス収集OSS2

みなさん、こんにちは。ソリューションアーキテクトの杉山です。今週も 週刊AWS をお届けします。 10 月 27 日 (火) 14:00 から、オンラインハンズオンワークショップ 「ハンズオンワークショップ：Amazon EKS で Platform Engineering を加速する」 を開催します。開発者が自分でアプリをデプロイできるセルフサービス型の仕組みは、リリースを速くできます。一方で、複数のツールを組み合わせる必要があり、インフラも複雑になります。前半の座学では、Platform Engine

1. はじめに LLMをアプリケーションから利用する機会が増えるにつれて、APIの呼び出し回数だけではなく、どのアプリケーションがどれくらいLLMを利用しているのか、また利用料がどの程度発生しているのかを把握することが重要になってきています。 特にチームでLLM APIを共通利用する場合や、複数のアプリケーションからLLMを呼び出す場合、利用状況を可視化することで、チーム別・アプリケーション別の利用傾向を把握しやすくなり、コスト管理にも役立ちます。 今回は、Kong KonnectのAI Gateway機

■ 目次 はじめに このブログの概要 対象読者と前提知識 1. なぜ、そうなっていたのか？ オンプレミスという前提 Kubernetes導入で得られたもの 残った4つの課題 「境界」と「粒度」 2. 境界をどう引き直したのか？ Namespaceの割り当て先 Tenant境界の導入 セルフサービスでの環境発行 エコシステムのテナント分離 論理的な境界の積み重ね 3. リソースの粒度をどう変えたのか？ k8sリソースの粒度の問題 マニフェスト抽象化OSSの選定 PlatformAppの記述例 拡張性とガード

はじめに 以前の記事 では、SUSE AIとSUSE AI Factoryの概要と、両者の位置づけを紹介しました。今回は、SUSE AI Factoryの中身について紹介します。 vLLMで高速推論、Milvusでベクトル検索、Open WebUIでチャット、MLflowで実験管理。生成AI基盤に欠かせないこうしたOSSを、SUSE AI Factoryならひとつのプラットフォームで扱えます。 本記事では、まずSUSE AI Factoryの仕組みとユースケース、アーキテクチャを紹介します。そのうえで、S

2026 年 9 月 21 日週を表現するテーマが 1 つあるとすれば、「選択」ではないでしょうか。フロンティアモデルが次々と生み出される中、関心はもはや「モデルがどれほど賢いか」だけではなくなり、「このコストで、このレイテンシーで、このステップに合うモデルはどれか」になっています。 その関心に応えるモデルが、ここ数日間にわたって Amazon Bedrock に導入されました。知能と効率の対比曲線に 2 つの新たな選択肢を提供する OpenAI の GPT-6 Sol と GPT-6 Luna 、および

2026年7月29日から 2 日間にわたって、 アマゾンウェブサービスジャパン合同会社はパシフィコ横浜で開催された KubeCon + CloudNativeCon Japan 2026 においてスポンサーとしてブースを出展しており、たくさんの方にご来場いただきました。（ご来場いただいた皆様、有難うございました！）   AWS ブースでは、2日間で 12 のデモセッションを行い、多くのご来場者にご視聴いただきました。その際にセッション資料をシェアしてほしいとのご要望をいくつか頂いたことを受け、こ