AI&機械学習しよう！勉強会( https://www.facebook.com/groups/do2dle/ )は、プログラム、システム開発の現場の人を中心にしたソース＆論文輪読会を進めて、AIを作れる人を増やすことを目的とするグループです。 AIに関するホットな話題を取り入れながら情報交換できる場を作っていきます。定期的にミートアップを開催していきます。

概要

2018 年は自然言語処理についての話題が沸騰した感がある。ELMo, BERT, ULMFiT, GPT-2, XLNet など炎上騒動になるほどの活況を呈している。今回は，それらのパフォーマンスに一喜一憂，右往左往することなく，問題の真の所在と取り組むべき課題とを整理して提示したい。注意については BERT は自己注意だが XLNet は 2 ストリーム注意。訓練には BERT はマスク化言語モデル，XLNet は順列言語モデル。位置情報は BERT では位置エンコーダだが，XLNet など異なる。これらの相違は何を意味し，どこへ向かっていると考えるべきなのか，今回はそれらの意味付けについて考える。

前提知識：seq2seq, 双方向 RNN, word2vec についての知識
上記を前提に解説いたします。 できれば、BERT、GPT-2、MT-DNNなど関連論文はチェックしておいてください。

タイムスケジュール

• 18:30 ～　開場　受付開始
• 19:00 ～ 20:00　AI自然言語処理講演
• 20:00 〜 21:00　TPUを使った実験プロジェクトディスカッション
• 21:00 〜 21:30 　片づけ撤収

内容

会場

• 芝浦港南区民センター／第１集会室
• http://www.shibaura-konan-civiccenter.jp/shisetsu/access.html
• 【住所】東京都港区芝浦4-13-1
• 【交通】JR: 田町駅下車　東口徒歩10分 / 地下鉄　三田線・浅草線: 三田駅下車　A4出口徒歩12分
• Wi-Fiはありません

参加費

200円