データ前処理研究会 by Team AI 5/18(金)
イベント内容
===================================
こんにちは！ Team AI代表 石井大輔です。
弊社でもAIを構築していますが、データの前処理は地味ながら、分析の精度を左右するとても大事な領域ですよね？でも、体系だって手法をまとめてあるサイトや書籍は非常に少ないです。 我々はこの問題をコミュニティの集合知で解決しようとしています。
もくもく会・ディスカッション形式で前処理に関する研究会を進めていき、 体系的な部分はどんどんQiita等の記事としてアウトプットすることで、 実際のデータ分析フィールドで活躍されようとしている方々の支援をしようと思っております。
代表的手法：
*データクリーニング - これはデータ前処理で実装される最初のステップです。このステップでは、主な焦点は、欠落データ、ノイズの多いデータ、検出、および外れ値の除去、データ内の重複および計算バイアスの最小化の処理です。
*データ統合 - このプロセスは、さまざまなデータソースからデータを収集し、データを結合して一貫性のあるデータを形成する場合に使用されます。データクリーニングを実行した後のこの一貫したデータは、分析に使用されます。
*データ変換 - このステップは、モデルの必要に応じて生データを指定されたフォーマットに変換するために使用されます。データの変換に使用されるオプションは次のとおりです。
*正規化 - この方法では、データのスケーリングを実行できるように数値データを指定された範囲、つまり0と1の間に変換します。
*集約 - コンセプトは単語そのものから派生することができます。この方法は、フィーチャを1つにまとめるために使用されます。例えば、2つのカテゴリーを組み合わせて新しいカテゴリーを形成することができる。
*一般化 - この場合、下位レベルの属性は上位レベルに変換されます。
*データ削減 - データ複製の変換とスケーリング、すなわちデータ内の冗長性が除去され、データを効率的に整理した後。
この勉強会は外国人・日本人交え、技術情報を交換する刺激ある場にしたいと思っております。
オープンデータ、API、ライブラリ、ツール、論文、コンペ等、どんどん情報交換して、業界を一緒に発展させましょう！
“勉強会を開いて、学習者同士情報交換する"
手法を取っていますので、カジュアルにお越しください。
===================================
データ前処理に関するブログ記事
「前処理」のフォーマット共通化やOSS化はできないんだろうか
http://tjo.hatenablog.com/entry/2013/12/17/201529
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
https://www.slideshare.net/hajimesasaki1/wi2-55598897
Pythonで機械学習はじめました データ前処理編
https://qiita.com/yuuki_1204_/items/c26cb09fba8aad35dc0a
自然言語処理における前処理の種類とその威力
https://qiita.com/Hironsan/items/2466fe0f344115aff177
長岡技術科学大学 自然言語処理チーム
https://www.youtube.com/watch?v=I02cX-uZtzM
===================================
Team AIでは日々AIの開発業務・AI業界の人材紹介業務を行っていますが、
この度AI研究会を主催することになりました。
社会人も学生も、みんなで集まってAIを自習しましょう！
教材を持ち込んでもくもく勉強してもいいし、
皆と話して情報交換していただいてもいいです。
===================================
Contact:
Please contact
dai@jenio.co
or 08063062223
質問がある方や、迷子になったという方は、
dai@jenio.co
にご連絡ください。
==========================================================
場所について：
150-0042 東京都渋谷区宇田川町 36-17, ニューシブヤマンション 202号室
JR渋谷駅徒歩5分、東急ハンズ渋谷店から30秒
フレッシュネスバーガーとサイゼリヤの間の道を進むと左手に見える白いマンションです
道順写真はこちらから
TEL: 080-6306-2223
36-17 New Shibuya Mansion 202, Udagawa-cho Shibuya-ku Tokyo JAPAN zip150-0042
==========================================================
主催 ： 100万人の機械学習コミュニティを東京に創る Team AI
機械学習に特化した勉強会・人材紹介・受託開発の会社です。
代表 ： 石井 大輔 経歴；
株式会社ジェニオ代表取締役 1975年岡山県生まれ。
京都大学卒業後、1998年伊藤忠商事に入社し繊維カンパニーでPaulSmith等を担当。
ロンドン、ミラノでの駐在を経て、2011年ジェニオを創業。
ファッション通販BUYMAの海外事業開発を受注。
2015年、シリコンバレーの起業家育成組織OneTractionの指導のもと米国で事業推進。
2016年、人工知能開発案件に特化したクラウドソーシングサービスTeam AIを立ち上げる。
==========================================================
注意事項
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。
新規会員登録
このイベントに申し込むには会員登録が必要です。
アカウント登録済みの方はログインしてください。
※ ソーシャルアカウントで登録するとログインが簡単に行えます。
※ 連携したソーシャルアカウントは、会員登録完了後にいつでも変更できます。
