こんにちは、ソリューションアーキテクトの宇佐美です。 2026年7月15日(水) に開催された「Neuron Community – 2026 Vol.1」の様子をレポートします。このイベントは、2025年3月に立ち上げられた「Neuron Community」の協力のもと開催しました。 今回は、 AWS Summit Japan 2026 開催後ということもあり、AWS Summit Japan の振り返りや、AWS Neuron のアップデート情報が多めの内容となっています。 Neuron Community とは AWS では、機械学習のトレーニングと推論のための高性能で費用対効果の高い機械学習アクセラレータ（ AWS Trainium 、 AWS Inferentia ）、および深層学習と生成 AI ワークロードを実行するために使用される SDK の AWS Neuron を提供しています。「Neuron Community」は、ユーザー間で AWS Trainium / AWS Inferentia / AWS Neuron の知見共有を促進する場として発足しました。 「Neuron Community」は、主に Discord を使用して運営されています。興味を持っていただいた方は、下記の URL から参加してみてください。 AWS Neuron Community (Discord) : https://discord.gg/DUx4g3Z3pq オープニング：Neuron Community の成り立ちとカラクリ社での Trainium 取り組み紹介 中山 智文 氏（カラクリ株式会社 取締役 CPO) 資料：後日公開 オープニングセッションでは、カラクリ株式会社の中山氏より発表していただきました。カラクリ株式会社は、2023年より一貫して AWS Trainium を利用し続けており、Neuron Community の立ち上げにも大きな貢献をしていただいています。この発表では、Neuron Community の始まりについて紹介していただきました。また、カラクリ株式会社の AWS Trainium に関する2つの取り組みについても紹介していただきました。1つ目の取り組みは、Amazon EKS 上に構築された 「Neuron 分散学習プラットフォーム」 です。このプラットフォームを構築することで、インフラ関連の知識が十分ではないメンバーでも分散学習を実行できる環境の整備を進めているそうです。2つ目の取り組みは、AWS Trainium の NKI カーネル開発を促進するための 「カーネル開発エージェント」 です。この AI エージェントにより、NKI カーネル開発をエージェントが自律的に進められるようになるということです。最後に、今後の Neuron Community の活動について、よりオープンな場にしていきたいという発信をしていただきました。 AWS Summit Japan 振り返り① セッションダイジェスト「⼤規模学習から AI エージェントの推論まで ~ コスト効率と性能が両⽴する AWS Trainium の全貌 ~」 澤 亮太 (Amazon Web Services Japan G.K.) 資料： “AI エージェントの推論から⼤規模学習まで” コスト効率と性能が両⽴する AI インフラ ̶ AWS Trainium の全貌 Amazon Web Services Japan G.K. の澤からは、 AWS Summit Japan 2026 の振り返りとして、「”AI エージェントの推論から大規模学習まで” コスト効率と性能が両立する AI インフラ ー AWS Trainium の全貌」のセッションを、15 分のダイジェスト版で紹介しました。このダイジェストでは、AWS Trainium の典型的な使い方として、 “A. コードはそのままで学習コストを下げたい” 、 “B. 性能を最適化したい” 、 “C. 推論コストを固定化したい” の3点に注目して説明しました。 A. では、 Native PyTorch support（ベータ版） を使い、GPU向けPyTorchコードのデバイス指定を cuda から neuron に変更して、AWS Trainium 上で学習を実行する方法を紹介しました。デモでは、GPT-2 の学習スクリプトを実行しました。B. では、 NKI (Neuron Kernel Interface) により AWS Trainium のハードウェア命令セットに直接アクセスして AI カーネルの最適化が可能であることを紹介しました。また、性能最適化とデバッグのワークフローを支援する Neuron Explorer、NKI の開発を AI エージェントで加速するためのオープンソースツールキットの “Neuron Agentic Development” についても紹介し、Neuron Agentic Development のデモを見ていただきました。C. では vLLM on Trainium を使うことで、オープンウェイトモデルをAWS Trainium 上でサービングできます。ここでは、openai/gpt-oss-20b モデルを AWS Trainium 上でサービングするデモを見ていただきました。 AWS Summit Japan 振り返り② ブース展示紹介「⽣成 AI を⽀えるインフラ技術」 赤澤 Toshinobu (Amazon Web Services Japan G.K.) Amazon Web Services Japan G.K. の赤澤からは、 AWS Summit Japan 2026 の振り返りとして、ブース展示「生成AIを支えるインフラ技術」について紹介しました。この展示は、複数のマルチモーダルモデルを Amazon EC2 trn2.48xlarge でサービングする様子を見ていただくもので、マルチモーダルモデルで画像の編集を行います。音声で画像編集の指示をすると Whisper Large v3 で音声認識を行い、Qwen3-VL-8B-Instruct で元になる画像を編集するための指示を生成します。指示は Qwen-Image-Edit-2511 に渡され、画像が編集されます。編集された画像は、Qwen3-VL-8B-Instruct を使って指示通りに編集できているかを講評し、XTTSv2 で音声出力します。この発表では、３匹の子猫のイラストを、4匹に増やすという画像編集の様子を見ていただきました。 また、このデモを実現しているアーキテクチャについての説明も行いました。4つのモデルのtrn2.48xlarge の 64 論理コアへのアロケーションや、モデルのデプロイフローなども説明しています。 AWS Trainium / Inferentia / Neuron SDK 最新アップデート 常世 大史 (Amazon Web Services Japan G.K.) 資料： Neuron Communit 2026 Vol.1 AWS Trainium / Neuron 最新アップデート Amazon Web Services Japan G.K. の常世からは、ちょうどイベント前日にテレビ東京の WBS（ワールドビジネスサテライト）で AI 向けアマゾン独自の半導体開発が特集 されたことに触れ、自身が所属するアマゾン内のチップ開発部隊「アンナプルナラボ」について紹介しました。Anthropic との共同プロジェクト Project Rainier では、これまでに 140 万個超の Trainium 2 および Trainium 3 チップが稼働中であること（WBS 内の特集にて紹介）、 OpenAI が 2GW 規模での Trainium 採用を発表 したこと、また従来のチャットボット型 AI からエージェント型 AI へとシフトする中で、AI チップに加え AWS Graviton プロセッサの重要性が増している点を紹介しました。 Meta が数千万の Graviton コアで Agentic AI をスケールしている事例 にも触れました。 次に、澤のセッションでも紹介された AWS Trainium 向けの SDK「AWS Neuron」のアップデートとして、ライブラリのネイティブ化（Native PyTorch、Native vLLM）の最新状況を紹介しました。 また、7 月 7 日にリリースされた最新の Neuron 2.31 では、性能最適化の要である NKI（Neuron Kernel Interface）と NKI Library に大きなアップデートがあった点、さらに NKI カーネル開発用のエージェントコーディング機能 Neuron Agentic Development によるカーネル自動最適化ループへの注力を紹介し、セッションを締めくくりました。 ※ イベント開催後の 2026年7月20日(月) に vLLM Neuron Beta がパブリックリリースしました！ さいごに 通算3回目の Neuron Community は、カラクリ株式会社での AWS Trainium への取り組みの発表や、AWS Summit Japan 2026 の振り返り、AWS Neuron 関連の最新アップデート情報の紹介と、充実した内容となりました。AWS Summit Japan 2026 のセッション動画は、 AWS Summit Japan の Web ページ に登録いただくことでオンデマンド視聴が可能です。ご興味のある方は、ぜひ登録してみてください。 発表後には今後の Neuron Community についてのディスカッションも行われ、約 1 年ぶりの開催となったことを踏まえ、より高い頻度で開催していこうという声が挙がりました。AWS としても積極的に支援していきます。 今後の Neuron Community も、Discord を中心に募集や告知を行っていきます。興味を持っていただいた方は、ぜひ、下記の URL から参加してみてください。 AWS Neuron Community (Discord) : https://discord.gg/DUx4g3Z3pq 著者について 宇佐美 雅紀 (Usami Masanori) 製造業のお客様を担当するソリューションアーキテクトです。 製造業のお客様のクラウド活用を支援しています。 常世 大史 (Tokoyo Hiroshi) AWS Annapurna Labs のソリューションアーキテクトです。 Annapurna Labs が提供する AWS Trainium、Inferentia の技術支援に注力しています。  

本ブログは、2026 年 7 月 14 日に Vandit Kothari によって執筆された「 Updates to AWS Certified Machine Learning Engineer – Associate (MLA-C02) 」を翻訳したものです。 近日公開 : AWS Certified Machine Learning Engineer – Associate アップデート (MLA-C02) AWS 認定は、AWS Certified Machine Learning Engineer – Associate を更新します。ベータ版試験の受験予約は、2026 年 9 月 1 日より開始されます (試験は英語のみ)。現在のバージョンの試験 (MLA-C01) を英語で受験できる最終日は 2026 年 9 月 28 日です。現在のバージョンの試験 (MLA-C01) は、ベータ期間中も日本語、韓国語、簡体字中国語で引き続き受験可能です。 機械学習 (ML) エンジニアの役割は進化しています。今日の ML エンジニアの役割は、モデルの構築とデプロイだけではありません。生成 AI ソリューションの実装、基盤モデルや大規模言語モデル (LLM) の活用、エージェンティック AIワークフローを編成し、AIを大規模に運用します。この進化に対応するため、更新された試験 (MLA-C02) では、従来の ML エンジニアリングに加えて、生成 AI、エージェンティック AI、基盤モデル / LLM ワークロードが含まれます。この認定は、Amazon SageMaker AI、Amazon Bedrock、その他のサービスを使用して、AWS 上で ML および生成 AI ソリューションを構築、デプロイ、保守、監視する能力を検証します。 この認定の対象者 更新された AWS Certified Machine Learning Engineer – Associate は、本番環境で ML および生成 AI ソリューションを構築・運用する専門家を対象としています。対象ロールは以下の通りです。 エンドツーエンドの ML ライフサイクル管理を担当する ML エンジニアおよび MLOps エンジニア 基盤モデルおよび生成 AI アプリケーションを運用する LLM 運用エンジニア ML データパイプラインを構築・管理するデータエンジニア ML / 生成 AI 機能をアプリケーションに統合するソフトウェア開発者 ML エンジニアリングの役割に移行するデータサイエンティスト ML システムを設計する ML アーキテクトおよびソリューションアーキテクト 推奨される経験: Amazon SageMaker AI、Amazon Bedrock、およびその他の AWS サービスを使用した ML エンジニアリングの 1 年以上の経験 バックエンドソフトウェア開発者、DevOps エンジニア、データエンジニア、データサイエンティストなどの関連ロールでの 1 年以上の経験 従来の ML と生成 AI の両方の経験 雇用主および AWS パートナーの皆様へ: この認定は、ML エンジニアおよび MLOps エンジニアが従来の ML と生成 AI の両方にわたる最新スキルを検証済みであることを保証し、チームが今日のビジネス目標を達成する本番環境レベルのソリューションを提供できることに確信を持てるようにします。 MLA-C02 での変更点とその理由 試験のドメイン構成は変わりません。新しいドメインは追加されていません。ただし、更新された試験には、ML エンジニアの役割が実務上どのように拡大しているかに沿った主要な追加事項が反映されています。 生成 AI の実装: 生成 AI ソリューションの構築とデプロイ、基盤モデルのファインチューニング、RAG (検索拡張生成) アーキテクチャの実装 エージェンティック AI: AI エージェントと複雑なワークフローのオーケストレーション 基盤モデルと LLM: 大規模言語モデルの選択、カスタマイズ、運用 Amazon Bedrock: 生成 AI ワークロード向け Amazon Bedrock 機能のカバレッジ拡大 責任ある AI の実践: 従来の ML と生成 AI の両方にわたる責任ある AI 実装に関するガイダンスの更新 既存のタスクステートメントとスキルは、現在の業界慣行に沿って更新されていますが、認定が常に検証してきた中核的な ML エンジニアリング能力は維持されています。 注記 : タスクステートメントの詳細を含む完全な試験ガイドは、2026 年 9 月 1 日のベータ登録開始時に公開されます。 主要な日程 2026 年 9 月 1 日: ベータ版試験の受験予約開始 (英語のみ)、試験ガイド公開 2026 年 9 月 28 日: MLA-C01 英語での最終受験日 (日本語、韓国語、簡体字中国語はベータ期間中も引き続き利用可能) 2026 年 9 月 29 日: ベータ版試験の受験開始 ベータ試験の詳細 試験時間: 170 分 問題数: 85 問 受験料: 75 USD 言語: 英語のみ 配信: Pearson VUE (テストセンターまたはオンライン監督付き) MLA-C01 と MLA-C02 のどちらを受験すべきか ? 英語で受験する方は、以下をご検討ください。 MLA-C01 (既存試験) を受験 (2026 年 9 月 28 日まで): すでに準備が整っており、今すぐ認定を取得したい場合はこちらをご検討ください。資格は元の有効期限まで有効です。 MLA-C02 (ベータ) を受験 (2026 年 9 月 1 日受験予約開始): 従来の ML と生成 AI の両方のスキルを認定で検証したい場合。 すべての試験言語について、更新版試験 (MLA-C02) の標準版は 2027 年初頭に利用可能になります。 今すぐ始めましょう ML エンジニアの役割は進化しており、この認定もそれに合わせて進化しています。レコメンデーションシステムの構築、基盤モデルのファインチューニング、エージェンティック AI ワークフローの実装など、MLA-C02 はあなたのスキルが今日の業界が求めるものを反映していることを証明します。 参考リンク AWS Certified Machine Learning Engineer – Associate の詳細を見る AWS Skill Builder で学習を始める AWS 認定パスを確認する   翻訳は Technical Instructor の 室橋 弘和 が担当しました。

本記事は先日開催されたACL 2026についてのものです。 ACL 2026は計算言語学や自然言語処理に関するTier1の国際会議であり、昨今流行りのLLMや生成AIに関する研究も多く発表されています。 ここではACL 2026がどのような国際会議かということについて、開催規模や投稿論文の傾向などの観点から紹介します。 またACL 2026に採択された論文の中から一部を取り上げ、その内容について説明します。 はじめに ACLについて 開催規模 論文数の増加と生成AI対策 採択傾向 Best Papers 論文紹介 ClusterRAG: Cluster-Based Collaborative Filtering for Personalized Retrieval-Augmented Generation [Nkhata et al., 2026] コンセプト 概要 感想 Instant Personalized Large Language Model Adaptation via Hypernetwork [Tan et al., 2026] コンセプト 概要 感想 Preference Heads in Large Language Models: A Mechanistic Framework for Interpretable Personalization [Zhang et al., 2026] コンセプト 概要 感想 おわりに 参考文献 はじめに はじめまして。イノベーションセンター GenerativeAI PJの安川です。 普段は rokadoc という、生成AIを用いたドキュメント活用に資するプロダクトの開発に携わっています。 本記事ではACL 2026の概要を紹介するだけではなく、Best papersに選出された論文や私が興味を持っている分野の論文をいくつか紹介します。 昨今では生成AIによってぐっと論文を読むハードルが下がったと感じています。 本記事を読んで論文に興味を持たれた方は是非、ご自身の興味のある内容について調べてみてください。 ある程度有名なサービスをお使いであれば、ご自身の興味を述べた上で「ACL 2026で関連する論文を探して」と頼むと探してきてくれると思います。 ACLについて ACL (Annual Meeting of the Association for Computational Linguistics) は計算言語学、自然言語処理に関するTier1の国際会議です。 近年ではARR (ACL Rolling Review) と呼ばれるダブルブラインド形式の査読制度が採用されています。ARRで査読とメタレビューを受けた論文を著者がACLへ提出し、その査読結果に基づいて、ACLの本会議またはFindingsへの採否が決定されます。 ACL 2026は2026年7月2日-7月7日にアメリカのカリフォルニア州で開催されました。 開催規模 投稿数、採択数の推移は以下のようになっています。 また投稿数が増えるということは採択率が下がるということです。 これまでも難易度の高い国際会議と呼ばれ、相応の採択率の低さでしたが、今年は20%を下回るという状態になりました。 （※）年ごとに公開されている情報が異なり、また公式情報の中にも揺れがあるため参考情報としてください。 ACL 2026の投稿数は前年比で45%増となっています。 これには近年の生成AIによる論文の執筆の自動化の影響が少なからずあると考えられます。 論文数の増加と生成AI対策 先述の通りの投稿数の増加は一過性のものではなく、2026年5月分の投稿が17,087件に達しました。 ARR運営は査読者の規模が投稿数の増加に追い付いていないとして、著者への相互査読義務の拡大を決定しています。 加えてACL史上初めての投稿数の制限を含む選択肢が検討されていると発表がありました ( An explanatory letter on the ARR May 2026 cycle )。 この中で生成AI対策も進められています。 具体的にはHalluCitation [Sakai et al., 2026]で知られる架空の論文を引用しているという問題の対策として、存在しない参考文献を含む投稿をデスクリジェクトしています。 加えてカメラレディ最終チェックで100本以上の採択済み論文に架空の引用が見つかり、不採択とされました（ただし通常の再投稿は可能） ( ACL Statement on Desk Rejecting Papers with Hallucinated References )。 採択傾向 ここでは採択論文のタイトルから特定のキーワードを抽出し、その傾向を見ます。 グラフからは以下の傾向が読み取れます。 LLMが突出している 昨年に比べてやや下がってはいるが、すでに一般的に扱われる問題となっており、タイトルに明示する論文が減っただけの可能性がある。その上、下がったとしても約1/3を占めている 推論、エージェント、強化学習・報酬が昨年から伸びている Claude CodeやCodexなどCoding Agentの躍進を鑑みると納得の結果となっている。すでに1つのLLMのみに完結した使い方は想定されておらず、多数のLLMを協調させツールを利用するのが応用面でもスタンダードになっている より難しい問題を解くために用いられる推論や強化学習もより注目を集めている。また強化学習はエージェントの協調やツール利用を促進する目的でも使われるため、扱う論文が増えたのだと考えられる 評価・ベンチマーク、マルチモーダル・視覚は10%を超えた状態で昨年から安定している 双方解いている問題は昨年に比べて大きく難化している印象。また応用面を考えると評価はモデルの進歩に合わせて続ける必要があり、今後も高い比率で推移していくと考えられる 相対的に縮小したのは、多言語・低資源、バイアス・公平性、プロンプト・文脈内学習、ファインチューニング、長文脈、翻訳辺り この辺りはモデルの大規模化、マルチタスク化の影響を受けていると言える Best Papers ACL 2026でBest Papersを獲得した論文の概要を紹介します。 どの論文もBest Papersを獲るに相応しい大変面白い論文のため、気になった方は是非とも元論文を参照ください。 The Imperfective Paradox in Large Language Models [Ma & Miyao, 2026] 概要：「言語において進行形が完了を必ずしも意味しない」というImperfective Paradoxに着目し、LLMが構成的意味論を真に把握できるかを分析した。埋め込みでは過程（進行形）と結果（単純過去形）を分離できる一方で、推論では過程から完了を誤って認識することがあることを示した Memory efficiency and resource-rational encoding in sentence processing [Xu et al., 2026] 概要：人間の作業記憶の制約を言語モデルへ導入し、挙動がどのように変化するかを調査した。モデルの中で深く文脈化された表現を司るヘッドが表層的な表現を司るヘッドよりも優先されること、モデルのサプライザルから人間の読解時間の予測がより上手くいくこと、次単語予測を行う表現空間が圧縮されることなどがわかった Characterizing the Expressivity of Local Attention in Transformers [Li & Cotterell, 2026] 概要：Transformerにおけるglobal attention、local attention、hybrid global-local attentionの表現力を分析した。local attentionはglobal attentionに対して計算効率化を動機として提案されたものであったが、LTL (linear temporal logic) と形式言語理論を用いてそれぞれが異なる表現力を持つこと、両者を組み合わせたhybrid attentionがそれぞれより高い表現力を持つことを示した 論文紹介 ここまでACLの概要について紹介しました。ここからは筆者が個人的に興味を持っている分野であるPersonalization系の論文の中で面白かった論文について、感想と一緒に紹介します。 ClusterRAG: Cluster-Based Collaborative Filtering for Personalized Retrieval-Augmented Generation [Nkhata et al., 2026] コンセプト 類似ユーザの閲覧履歴にもとづくドキュメント推薦。 概要 [Nkhata et al., 2026]のFigure 1より引用。提案手法であるClusterRAGの概要図 現在提案されているRAGに関する手法では、利用するユーザの情報やユーザ間の関係性を上手く反映できていないものが多数となっています。 この論文では本人及び類似ユーザのユーザ情報を活用したRAGを提案しました。 提案手法は以下のステップで構成されています。 User Representation & Retrieval ユーザごとに、そのユーザと関連する（作成した、閲覧したなど）ドキュメントの情報を持つ状況を仮定。そのユーザ情報を元に全ユーザのユーザ埋め込みを作成し、Clusteringによって似たユーザ同士が固まるようなクラスタを作成する Profile Retrieval 以下の3つのモードに応じて検索範囲を設定し、関連するドキュメントを検索する User-Only：対象のユーザと関連するドキュメントを対象にする Collaborative：対象のユーザと似たユーザと関連するドキュメントを対象にする Hybrid：上記2つのハイブリッド Personalized Generation 2で取得したドキュメントを元に回答を生成 感想 同じ境遇にある人と関連するドキュメントが見たいというのは直感に従う 例えば自分と同じチームに所属している人が見たことあるドキュメントは恐らく自分にとっても参考になるだろうと思う 一方で元々与えられたユーザ情報の引力が強すぎる気もする 部署異動をした場合や普段やらない業務をやる時に必要なドキュメントが取得し辛いように感じる。例えば私は最近、普段やらない特殊な事務処理をしようとしたが、そういった時に適切なドキュメントが（余程クラスタの範囲を広げないと）検索対象外になってしまう Instant Personalized Large Language Model Adaptation via Hypernetwork [Tan et al., 2026] コンセプト ユーザ情報からPersonalizeのためのLoRAを作るHypernetworkの構築。 概要 [Tan et al., 2026]のFigure 1より引用。従来の一人のユーザに対して一つのPEFTを学習する手法と、提案手法であるP2P (Profile-to-PEFT) の比較 LLMのPersonalizationは “prompt base” と “fine-tuning base” の2つに大別されます。 前者はプロンプトにユーザ情報を与えます。 この形式であればモデルのファインチューニングは不要ですが、ユーザ情報をLLMに送信するためプライバシーの問題がある他、特定の回答に不要な文も多くノイズとなってしまいます。 一方で後者はモデル学習のためのコストが高いという難点があります。 後者のコスト削減のために、提案手法では以下のステップでHypernetworkによるLoRAの作成を行いました。 User Profile Encoding：テキストで表現されるユーザ情報を文埋め込みモデルを用いて固定次元のユーザ埋め込みへエンコードし、ユーザの嗜好及び行動パターンの圧縮された表現とする Position-Aware Input Formulation：HypernetworkがLLM内の異なる位置（層）に対して異なるパラメータを生成できるように、ユーザ埋め込みを学習可能な位置埋め込みで拡張する Parameter Generation：2ステップ目で作成した表現をHypernetworkで処理し、出力を形状変更してLoRAとする 感想 ユーザ埋め込み表現からLoRAを作って反映させるという方向性は好み しかもpromptとしてユーザ情報を与えるものと同等以上の反映度合いになっているそうで、十分ユーザの特徴を反映できていると言える 一方でユーザ情報から埋め込みを作成する際の情報損失が発生しないか気になる ユーザ情報が埋め込み表現で格納可能な容量を超えてしまう可能性も考えられる。プロンプトベースであれば検索を活用して適切なユーザ情報を手軽に取捨選択はできるが、この手法だと手軽に行うのは難しい Preference Heads in Large Language Models: A Mechanistic Framework for Interpretable Personalization [Zhang et al., 2026] コンセプト LLMのPersonalizeに関する内部機序の分析。 概要 [Zhang et al., 2026]のFigure 1より引用。異なるユーザプロファイルがPreference headsの異なる部分集合を活性化し、ユーザ情報に基づいたスタイルを持つ出力を生成 LLMは暗黙的なPersonalization能力を示しており、最小限の条件付けでユーザ固有の書き方、関心に適応します。 これに着目しprompt engineeringやFine-tuningが行われていますが、この仕組みはブラックボックスとなっています。 著者らは「Personalizationはユーザ固有の文体及び話題の信号を符号化し、生成に直接的に影響を及ぼす、注意ヘッドのスパースな部分集合で媒介される」と仮説を立て確認しました。 LLMのPersonalizationに貢献するPreference Headsの存在を仮定し、その検出方法を提案しています。 また検出した結果を踏まえてPersonalizationを行う手法も提案しました。 まずPreference Headsを検出するために、PCS (Preference Contribution Score) を導入する。これはユーザ情報に条件付けられた入力及び出力のペアを用いて、LLMの一部ヘッドを削除した際に出力が劣化する度合いを評価する。ここで結果に大きく影響を与えたヘッドをPreference Headsとする またPCSで検出したPreference Headsを活用したDPS (Differential Preference Steering) を提案。Preference Headsがマスクされたモデルと通常のモデルそれぞれの出力ロジットの差分を増幅する形でより強いPersonalizationを行う 結果と分析は以下のようになっています。 PCSによる分析としてPreference Headsはスパースな部分集合となることがわかった 高いPCSを持つHeadsは少数であり、特定の層に固まらず複数の層に散在する またPreference Headsはユーザに固有であり、ユーザによって位置が異なる DPSの性能は先行研究に対しても優れる結果となった ただ比較対象としているのは、DPSと類似した「モデル出力の差分を増幅させる形の手法」のみであり、promptとして与えるものやLoRAなどFine-tuningを行う手法との比較は行なっていない 感想 個人的に興味のある分野のPersonalization × 内部機序であるので大変好みである LLMのPersonalizationは盛んに行われているが、中身はblack box化されていて中身に切り込んでいる研究は少ない Preference Headsはユーザ固有であり、モデルの中で散在しているという点が特に興味深い Preference Headsがユーザ固有だということは、「ユーザ入力を出力特性に写像するヘッドがある」という考え方ではなく、「LLMの中に人間を表現する経路がある」という考え方ができる。とても良い DPSのように増幅するのではなく、軽量化の文脈で語られるPruningを利用して経路を限定するみたいな方向性でのPersonalization手法の場合にどうなるのかも気になる 削っても良い（Bさん、Cさん……Zさんと関連してAさんと関連しない）経路をどう現実的な計算量で特定するのか問題はあるが…… おわりに 本記事では、計算言語学や自然言語処理でTier1に位置する国際会議ACL 2026に関してまとめました。 また筆者個人が興味のあるPersonalization系の論文についても紹介しました。 現在爆発的に流行っているLLMや生成AIといった技術も、これまで積み重ねられた研究によって実現されたものです。 学術文献専用の検索サービスであるGoogle Scholarには「巨人の肩の上に立つ」とあります。 本記事がその巨人の一端に触れる機会となっていれば幸いです。 それでは皆さん、お読みいただきありがとうございました。 参考文献 [Sakai et al., 2026] Yusuke Sakai, Hidetaka Kamigaito, and Taro Watanabe. 2026. HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 47295–47376, San Diego, California, United States. Association for Computational Linguistics. https://aclanthology.org/2026.acl-long.2189/ [Ma & Miyao, 2026] Bolei Ma and Yusuke Miyao. 2026. The Imperfective Paradox in Large Language Models. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 15093–15111, San Diego, California, United States. Association for Computational Linguistics. https://aclanthology.org/2026.acl-long.689/ [Xu et al., 2026] Weijie Xu, Brian Dillon, and Richard Futrell. 2026. Memory efficiency and resource-rational encoding in sentence processing. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33603–33618, San Diego, California, United States. Association for Computational Linguistics. https://aclanthology.org/2026.acl-long.1550/ [Li & Cotterell, 2026] Jiaoda Li and Ryan Cotterell. 2026. Characterizing the Expressivity of Local Attention in Transformers. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 37485–37507, San Diego, California, United States. Association for Computational Linguistics. https://aclanthology.org/2026.acl-long.1739/ [Nkhata et al., 2026] Gibson Nkhata, Uttamasha Anjally Oyshi, Quan Mai, and Susan Gauch. 2026. ClusterRAG: Cluster-Based Collaborative Filtering for Personalized Retrieval-Augmented Generation. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 20523–20539, San Diego, California, United States. Association for Computational Linguistics. https://aclanthology.org/2026.acl-long.940/ [Tan et al., 2026] Zhaoxuan Tan, Zixuan Zhang, Haoyang Wen, Zheng Li, Rongzhi Zhang, Pei Chen, Fengran Mo, Zheyuan Liu, Qingkai Zeng, Qingyu Yin, and Meng Jiang. 2026. Instant Personalized Large Language Model Adaptation via Hypernetwork. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 23557–23580, San Diego, California, United States. Association for Computational Linguistics. https://aclanthology.org/2026.acl-long.1081/ [Zhang et al., 2026] Weixu Zhang, Ye Yuan, Changjiang Han, Yuxing Tian, Zipeng Sun, Linfeng Du, Jikun Kang, Hong Kang, Xue Liu, and Haolun Wu. 2026. Preference Heads in Large Language Models: A Mechanistic Framework for Interpretable Personalization. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 47742–47754, San Diego, California, United States. Association for Computational Linguistics. https://aclanthology.org/2026.acl-long.2205/