Transformerを詳しく学ぼう！ Section4【Live!人工知能 140】

「Transformerを詳しく学ぼう！」は、生成AIのベースとなる技術、「Transformer」について詳しく学ぶ講座です。
Transformerがどのような仕組みで機能しており、生成AIの躍進を支えているのかを掘り下げていきます。
理解を深めるために、本講座ではフレームワークPyTorchを使ってTransformerの実装にもトライします。

Transformerをベースにした大規模言語モデル（LLM）は現在様々な分野で驚異的な性能を発揮し、幅広く活用されています。
特にGPT-3.5やGPT-4が使われているChatGPTは、自然言語を使った対話により自然な文章を生成可能なので、大きな注目を集めています。
LLMは様々なタスクをこなせる汎用性を備えており、これまで人間しかできなかった様々なタスクを任せることが可能になってきています。

本講座では、最初にTransformerの概要を学んだ上で、Attentionの仕組み、埋め込みについて順を追って学んでいきます。
そして、最後にここまでの内容を踏まえてTransformerを組み立てます。
Transformerを詳しく学び、生成AIに対する深い洞察力を身につけましょう。

講座の内容は以下を予定しています。
Section1. Transformerの概要（10/9）: https://liveai.connpass.com/event/298804/
Section2. Attentionの仕組み（10/23）: https://liveai.connpass.com/event/298805/
Section3. Transformerにおける埋め込み（10/30）: https://liveai.connpass.com/event/298806/
Section4. Transformerを組み立てる（11/6）: https://liveai.connpass.com/event/298807/
講座の内容は、予告なく変更されることもあるのでご注意ください。

なお、今回の講座でプログラミング言語Pythonの解説は最小限となりますが、Pythonの基礎を解説するノートブックを予め配布します。
Pythonの開発環境にはGoogle Colaboratoryを使用します。

【自由研究室 AIRS-Lab】
「AI」をテーマに交流し創造する、Web上のコミュニティです。
https://www.airs-lab.jp/

【News! AIRS-Lab】
AIの話題、講義動画、Udemyコース割引などのコンテンツを毎週配信しています。
https://note.com/yuky_az

【Live!人工知能】
毎週月曜日21時に開催。人工知能（AI）技術に関する無料のライブ講義です。
YouTube Liveを利用して配信されます。
以下のチャンネルで過去のライブ動画の一部を見ることができます。
https://www.youtube.com/channel/UCT_HwlT8bgYrpKrEvw0jH7Q

講師: 我妻幸長（@yuky_az）
「ヒトとAIの共生」がミッションの会社、SAI-Lab株式会社（ https://sai-lab.co.jp ）の代表取締役。AI関連の教育と研究開発に従事。
東北大学大学院理学研究科修了。理学博士（物理学）。
法政大学デザイン工学部兼任講師。
Web上のコミュニティ「自由研究室 AIRS-Lab」を主宰。
オンライン教育プラットフォームUdemyで、14万人にAIを教える人気講師。
複数の有名企業でAI技術を指導。
著書に、「はじめてのディープラーニング」「はじめてのディープラーニング2」（SBクリエイティブ）、「Pythonで動かして学ぶ！あたらしい数学の教科書」「あたらしい脳科学と人工知能の教科書」「Google Colaboratoryで学ぶ! あたらしい人工知能技術の教科書」「PyTorchで作る！深層学習モデル・AI アプリ開発入門」「BERT実践入門」（翔泳社）。共著に「No.1スクール講師陣による　世界一受けたいiPhoneアプリ開発の授業」（技術評論社）。