大規模言語モデル（LLM）
大規模言語モデル（LLM: Large Language Model）は人工知能の一種であり、大量のテキストデータを学習して言語に関する知識を獲得する機械学習モデルです。自然言語処理の分野でとても重要な役割を果たしています。
イベント
マガジン
技術ブログ
NVIDIAのTensorRT Model Optimizerを利用して、LLMの推論速度を向上させる「投機的デコード」を試す方法について解説します。EAGLEを用いた具体的な実装手順や、推論速度の比較結果などを客観的に紹介します。
はじめに この記事で学べること 前提知識・条件 結論となる3つの設計原則 原則1: コンテキストロットを前提に設計する すべての LLM（大規模言語モデル）は入力長に応じて性能が劣化する 1万行程度でもコンテキストに収まりづらい 実際どのくらいから劣化する？ ノイズとして取り込まれる要素 スマートゾーンとダムゾーン コンテキストエンジニアリング 対策としてのセッション・コンパクション 原則2: ソフトウェアを境界で分割し、近接して配置する（Pragmatic Lambda / モノレポ） なぜ境界が必要か モノレポで近接して配置する Lambda 関数の分割粒度、Pragmatic Lambd…
こんにちは。東京科学大学 修士一年の一瀬達矢です。   AI事業本部 極TD事業部で202 ...
