Attentionさえあればいい。～NovelAIなどの今どきの自然言語AIの基礎技術を解説～

講座概要

近年、自然言語処理分野でのAI技術は目覚ましい成長を見せています。

2021年には、小説をAIに書かせることができる「AIのべりすと」が公開されました。 最近では、AIに文章に沿った絵を生成させる、いわゆるText2Imageが盛り上がりを見せています。 「Midjourney」から始まり、「Stable Diffusion」や「NovelAI」など、Text2Imageを試せるサービスが次々と公開されています。 これらのAIが書く文章、あるいは文章から生成する絵は非常にクオリティが高く、あと数年経てば人間のそれを完全に上回ってしまうかもしれません。

Transformerという言葉を知っていますか？ Transformerとは、2017年にGoogleが発表した論文に登場する深層学習モデルの名前で、実は「AIのべりすと」や「NovelAI」には、このTransformerから派生したモデルが使用されています。 その論文の名前は「Attention is All You Need」、近年の自然言語処理の発展はこの論文から始まりました。 AttentionはTransformerモデルの中でも特にコアとなるアルゴリズムです。 文章中のどの部分にどのように注目(Attention)するかをパラメータとしてモデルに組み込むことで、自然言語処理モデルの性能を飛躍的に向上させました。近年の自然言語モデルを理解するには、このAttentionを理解することが必須となります。

本発表では、Attentionのしくみについて数式レベルで解説します。また、AttentionがTransformerの中でどう使われているのか、Transformerからどのようにモデルが派生したかについても解説します。

キーワード

• 自然言語
• 深層学習
• Transformer
• Attention

主な対象者

• 自然言語AIに興味がある方
• なんとなくTransformerなど用語は聞いたことあるけどしくみはよく分かっていない方

前提とする知識

• ベクトルや行列の基本計算はわかる(高校生レベル)
• 深層学習をある程度知っている(Feed-Fowardが何なのかわかるレベル)

アジェンダ

• 最近話題の自然言語AIについて
• Transformerモデルとは
• QKV Attentionとは
• Multi-Head Attentionとは
• Transformerの派生モデルについて

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoom URLが表示されます。

タイムテーブル