gpt-oss-20bをCPUで推論したらGPUより爆速でした。なぜこのようなことになったのでしょうか？今日は最近のARMのCPU推論の話を書きます。 まずは、ベンチマーク結果を見ていきましょう。 評価環境 マシン: OrangePi 6 CPU: CIX CD8160 4x ARM Cortex-A720 (最大2.6 GHz) 4x ARM Cortex-A720 (最大2.4 GHz) 4x ARM Cortex-A520 (最大1.8 GHz) GPU: Immortalis G720 MC10

はじめに さくらインターネットで高火力PHYのチームに所属している道下です。 本連載では、高火力 PHYで利用しているサーバーと同種のGPUサーバーを利用し、近年注目度を増しているLLMの分散推論基盤技術に関して詳細な技 […]

2025年9月、チェコ・プラハで開催されたレコメンドシステムの国際カンファレンス「RecSys 2025 」。その公式コンペティシ

こんにちは、サイオステクノロジーの遠藤です。 クラウドAPIを使わず、手元のノートPCでLLMを動かしたいと思ったことはありませんか？ 2025年現在、軽量で高性能なモデルが続々と登場し、一般的なノートPCでも実用的なLLMを動かせるようになりました。本記事では、ノートPCで動作する主要なローカルLLMモデルを公式ソースをもとに徹底比較し、導入時の注意点まで解説します。 ローカルLLMとは？なぜ今注目されているのか ローカルLLMとは、クラウドサービスを介さず、自分のPC上で直接動作させる大規模言語モデル

アマゾン ウェブ サービス ジャパン（以下、AWS）は 2025 年 11 月 11 日に、「【EdTech Meetup】 AI 時代の EdTech ～プロダクト・開発・運用の変革と EdTech の未来～」を AWS Startup Loft Tokyo にて開催しました。 AI 技術の急速な発展により大きな変革期を迎えている教育テクノロジー（EdTech）分野について、ユニファ株式会社、スタディポケット株式会社、ビズメイツ株式会社からのライトニングトークとパネルディスカッションを通じて議論を深めま

この記事は Japan AWS Ambassador Advent Calendar 2025 の12/16付記事となります。 こんにちは、SCSKの木澤です。  今年もAmbassadorアドベントカレンダーへ寄稿させていただきます（公開が1日遅れですみません） ありがたいことに、今年もre:Inventに参加させていただきました。 今回は参加したキーノートやワークショップを通じて感じたAWSの戦略についてお話ししたいと思います。 re:Invent 2025の参加体験 私はAWS Ambas

Amazon Simple Storage Service (Amazon S3) は、アプリケーションの需要に応じて自動的にスケールする弾力性のあるサービスで、最新の ML ワークロードに必要な高スループットパフォーマンスを提供します。 Amazon S3 Connector for PyTorch や Mountpoint for Amazon S3 などの高性能クライアントコネクタは、S3 REST API を直接扱うことなく、トレーニングパイプラインにネイティブな S3 統合を提供します。 この記

aptpod Advent Calendar 2025 12月16日の記事を担当します、Roboticsグループの久保田です。 Roboticsグループとして、最近では四足歩行ロボットを扱う機会が増えており、自律走行だけでなく、ロボットに搭載されたセンサーデータの活用が重要なテーマになっています。 四足歩行ロボットには、カメラやLiDARといった視覚・環境認識系のセンサーが標準的に搭載されています。これらのセンサーデータは、aptpodの製品である intdash を用いることで、時系列データとして継続的

さくらインターネット研究所の坪内(@yuuk1t)です。 本連載では、AIスパコン「さくらONE」で実施した各種ベンチマーク結果をご紹介しています。前回の第1回の記事では、MLPerfベンチマークの概要と、さくらONEに […]

この記事は、 Insight Edge Advent Calendar 2025 の11日目の記事です！！ はじめに こんにちは。アジャイル開発チームでエンジニアリングマネージャーをしている三澤です。本記事では今年実施したチームビルディング施策をご紹介します。 弊社Insight Edgeは、住友商事グループ各社のDXを推進するためにプロジェクト単位でチームを組成するスタイルをとっています。 そのため、「これまで一緒のプロジェクトに入ったことがないメンバーと次のプロジェクトでチームを組む」という状況が発生

こんにちは。LINE Walletを開発しているフロントエンドエンジニアのカム ハヨンです。LINEヤフーは去年に引き続き、2025年11月16日に開催されたJSConf JP 2025にPremiu...

こんにちは、ソリューションアーキテクトの尾澤です。 この記事は 「aptpod Advent Calendar 2025」 の12月9日の記事です。 皆さんは ChatGPT や Gemini のような「LLMチャットツール」をどのように活用していますか？PDF資料を分析するためにNotebook LMのような「RAGツール」を活用する場面もあるでしょう。とても便利で、すでに仕事道具として手放せないという人も多いのではないでしょうか？ 本記事では、これらのツールをSaaSに頼らずオンデバイスで動かせるよう

みなさん、こんにちは。ソリューションアーキテクトの杉山です。 今週も 週刊AWS をお届けします。 先週は  AWS re:Invent 2025  が開催されました。今週は特別号となっており、多くのアップデートを広くお届けするために、以下の 3 part 構成となっています。 週刊生成AI with AWS – re:Invent 2025 特別号 part 1 (ToBeUpdate) 週刊AWS – re:Invent 2025 特別号 part 2 (本記事) 週刊AWS –

2025 年 12 月 3 日、 Amazon SageMaker HyperPod における 2 つの新しい AI モデル訓練機能を発表しました：チェックポイントレス訓練は、ピアツーピアの状態回復を可能にすることで従来のチェックポイントベースのリカバリーの必要性を軽減するアプローチであり、エラスティック訓練は、リソースの可用性に基づいて AI ワークロードを自動的にスケールさせることを可能にします。 チェックポイントなしのトレーニング – チェックポイントなしのトレーニングは、障害が発生してもトレーニン

本ブログは 株式会社アプリズム 様と Amazon Web Services Japan 合同会社が共同で執筆いたしました。 みなさん、こんにちは。ソリューションアーキテクト 伊勢田氷琴です。 競走馬や乗馬用の馬を管理する施設では、24時間365日の見守りが求められます。しかし、夜間の宿直体制を維持することは、人材確保やコスト面で大きな負担となっています。株式会社アプリズム様は、この課題を AI と IoT 技術で解決する馬の見守りシステム「 aiba 」を開発しました。本ブログでは、 Amazon Sa