Pythonによるスクレイピング入門

概要

スクレイピングの入門から最も簡単な文章の類似度判定のロジックを理解し、実装できるようになります。

スクレイピングとはWEB上のコンテンツから任意のデータを取り出す手法の一種です。
必要な情報を素早く的確に取り出すことのできるスクレイピングは非常に便利です。しかし、HTMLやCSSの基本的な知識を持ち合わせていないと独学での習得は少し壁が高いかもしれません。

当講座では、HTML,CSS,javascriptの役割についても触れながらスクレイピングの入門を行います。また、APIというサービス側であらかじめ用意されているツールを使ってデータを取得する方法やSeleniumを使ってブラウザを操作する方法について解説します。合わせて、スクレイピングをする上で気をつけなければいけない問題に触れます。(seleniumを使ったスクレイピング手法は、実演のみ)

当日は実戦形式で進めていきますので、Python3をインストールしたPCの持参をお願いいたします。

※本講座は、動画復習対応講座でございます。受講した翌日から1週間、動画を公開いたします。聞き逃してしまった箇所の補填やより深い理解のためにお役立ていただけると幸いです！

講座を通じて得られること

・htmlの構造を理解し、必要なデータを自在に抽出するスキル

・スクレイピングしたデータを整形する手法の習得

・JSON形式のデータの取り扱い方の習得

・APIを使って取得したデータの整形方法を習得

・Seleniumを使ったChromeの操作方法の理解

内容

・html,css,javascriptの役割の解説

・cssセレクタを使ったスクレイピング

・スクレイピングしたデータの整形

・csvファイルへの出力

・スクレイピングをする際の注意点

・APIを使用したJSON形式のスクレイピング

・SeleniumでのChromeの操作

※ 当日予告なく時間配分・内容が変更になる可能性がございます。

講座一覧のフローチャート

どの講座から受講したら良いのかわからないというような方は、下記のフローチャートを参考にしていただければと思います。

##事前準備・持ち物
Python3をインストールしたPCの持参をお願いいたします．

また以下のライブラリをインストールするようにお願いいたします。

・beautifulsoup4

・requests

・pandas

講義はJupyter Notebookを用いて行いますので，インストール頂いたほうがスムーズに講座を受けることが可能です．

また、google chromeを使用してhtmlやcssについての説明を行います。インストールされていなくても受講にあたって支障はありませんが、あるとより深い理解ができるかと思います。

※インストールでお困りの方はinfo@to-kei.netまでご連絡いただければ、可能な範囲で対応致します。

こんな人にオススメ

・Pythonのfor文,if文など基本的な文法を理解している方（文法に自信のない方はこちらの講座の受講後に当講座の受講をおすすめいたします。）

・自然言語処理の基礎を学びたい人

・WEBに関する知識は少ないが、スクレイピングに興味がある人

・スクレピングを使ってデータ処理をしたい人

・APIを使ってみたい人。

講師

小林航平
カオス力学系時系列の分析に関する研究に従事、中でも複雑な非線形時系列をニューラルネットワークが学習する過程について研究。確率統計、情報工学などに精通。

(オンライン動画、復習用動画は別講師の場合があります。)

##領収書について
【Stripeで事前決済の方】

クレジットカード会社が発行する明細を領収書の代わりとしてご利用ください。

【Paypalの方】

決済処理後にPaypalから送付されるメール内容、またはPaypalの取引履歴から該当項目を確認の上、「詳細」をご覧ください。それらが領収書の代わりとなります。また、クレジットカード会社発行の利用明細書も領収書としてご利用いただけます。

【別途領収書発行が必要な方】

別途発行手数料として1000円頂きます。必要な方は、以下のフォームよりご申請ください。領収書発行手数料と受講料金を合算した金額で発行いたします。

全人類がわかる統計学 領収書発行フォーム

受付・入場時間

開始の10分前から

※なるべく5分前までにお入りください。

※途中参加も可能です。


❇︎オンライン受講でお申し込みいただいた方は、セミナールームにてご参加いただくことはできません。ネット環境のある場所での受講をお願いいたします。

ポータルサイト会員登録のお願い

全人類がわかる統計学では、ポータルサイトを使って講座で扱う教材を受講者の皆様に共有いたします。
初めて全人類がわかる統計学の講座に参加される方は、あらかじめこちらより会員登録をお願いいたします。

お問い合わせ

・メールでのお問い合わせは、info@to-kei.net　までご連絡ください。

・こちらで⇨LINE＠からもお問い合わせいただけます。（推奨）

注意事項

・リクルーティング、勧誘、採用活動など、目的に沿わない行為につきまして、主催者が相応しくないと判断した場合は即刻退出処分とします。全員が気持ちよく過ごすことが出来るよう、ご協力をお願い致します。

・講座内で扱うコンテンツは全て「全人類がわかる統計学」に帰属しています。複製はご遠慮ください。

・個人ブログへの講義コンテンツの掲載はご遠慮ください。

・最小遂行人数は「3名」です。開催日の前日までにこの人数に達しない場合は中止となります。ただし、複数の媒体で募集を行っているので、本サイトの申込者数が最小遂行人数に達しない場合でも開催になる場合がございます。もし、中止が決定した場合はその時点で登録しているメールアドレスにご連絡させていただきます。

・最小遂行人数は「3名」です。開催日の前日までにこの人数に達しない場合は中止となります。ただし、複数の媒体で募集を行っているので、本サイトの申込者数が最小遂行人数に達しない場合でも開催になる場合がございます。もし、中止が決定した場合はその時点で「全額返金」し、登録しているメールアドレスにご連絡させていただきます。

全人類がわかる統計学とは

株式会社AVILENが運営するサービスです。統計学・機械学習の学習用サイト全人類がわかる統計学を運営、管理するほか、社会人向けのAI人材やデータサイエンティスト育成のための教育事業を行なっております。
統計学や機械学習を、出来るだけわかりやすく多くの人々に届けるということを目指して活動しています。