Pythonによるスクレイピング入門

概要

スクレイピングの入門から最も簡単な文章の類似度判定のロジックを理解し、実装できるようになります。

スクレイピングとはWEB上のコンテンツから任意のデータを取り出す手法の一種です。 必要な情報を素早く的確に取り出すことのできるスクレイピングは非常に便利です。しかし、HTMLやCSSの基本的な知識を持ち合わせていないと独学での習得は少し壁が高いかもしれません。
当講座では、HTML,CSS,javascriptの役割についても触れながらスクレイピングの入門を行います。また、APIというサービス側であらかじめ用意されているツールを使ってデータを取得する方法やSeleniumを使ってブラウザを操作する方法について解説します。合わせて、スクレイピングをする上で気をつけなければいけない問題に触れます。(seleniumを使ったスクレイピング手法は、実演のみ)

当日は実戦形式で進めていきますので、Python3をインストールしたPCの持参をお願いいたします。

講座を通じて得られること

・htmlの構造を理解し、必要なデータを自在に抽出するスキル
・スクレイピングしたデータを整形する手法の習得
・JSON形式のデータの取り扱い方の習得
・APIを使って取得したデータの整形方法を習得
・Seleniumを使ったChromeの操作方法の理解

講座一覧のフローチャート

どの講座から受講したら良いのかわからないというような方は、下記のフローチャートを参考にしていただければと思います。

内容

・html,css,javascriptの役割の解説
・cssセレクタを使ったスクレイピング
・スクレイピングしたデータの整形
・csvファイルへの出力
・スクレイピングをする際の注意点
・APIを使用したJSON形式のスクレイピング
・SeleniumでのChromeの操作

※ 当日予告なく時間配分・内容が変更になる可能性がございます。

事前準備

Python3のインストールをお願いいたします。
また、以下のパッケージを当講座では利用します。当日までに動作確認をお願いいたします。

・beautifulsoup4
・requests
・pandas

Pythonのインストール、パッケージの導入方法についてご不明点あれば、可能な範囲で対応いたしますので、info@to-kei.netまでご連絡ください。

また、google chromeを使用してhtmlやcssについての説明を行います。インストールされていなくても受講にあたって支障はありませんが、あるとより深い理解ができるかと思います。

こんな人にオススメ

・Pythonのfor文,if文など基本的な文法を理解している方（文法に自信のない方はこちらの講座の受講後に当講座の受講をおすすめいたします。）
・自然言語処理の基礎を学びたい人
・WEBに関する知識は少ないが、スクレイピングに興味がある人
・スクレピングを使ってデータ処理をしたい人
・APIを使ってみたい人。

講師

励驍彦
早稲田大学大学院経済学部を修了。現在は、データ分析と機械学習のスキルを用いて、各業界のビジネス的な課題を洗い出し、解決するためのモデルの開発及び実装に携わっている。

持ち物

・Python3の実行環境をインストール済みのPC(windows Mac)
※インストールでお困りの方はinfo@to-kei.netまでご連絡いただければ、可能な範囲で対応致します。

※講座では「jupyter notebook」を使います。同じ実行環境で受講したい方は、インストールをお勧めします。

領収書について

【Stripeで事前決済の方】
・クレジットカード会社が発行する明細を領収書の代わりとしてご利用ください。当社より重複しての領収書発行は行なっておりません。

【当日払いの方】
講座後のアンケートにて、「領収書が必要」にチェックを入れるようにお願いいたします。領収書をメールにて送付させていただきます。

【Paypalの方】
決済処理後にPaypalから送付されるメール内容、またはPaypalの取引履歴から該当項目を確認の上、「詳細」をご覧ください。それらが領収書の代わりとなります。また、クレジットカード会社発行の利用明細書も領収書としてご利用いただけます。（当社より重複しての発行は行えません)

受付・入場時間

開始の15分前から

※なるべく5分前までにお入りください。
※途中参加も可能です。

お問い合わせ

イベントに関するお問い合わせはinfo@to-kei.netまでご連絡ください。

注意事項

・リクルーティング、勧誘、採用活動など、目的に沿わない行為につきまして、主催者が相応しくないと判断した場合は即刻退出処分とします。全員が気持ちよく過ごすことが出来るよう、ご協力をお願い致します。
・講座内で扱うコンテンツは全て「全人類がわかる統計学」に帰属しています。複製はご遠慮ください。
・個人ブログへの講義コンテンツの掲載はご遠慮ください。

全人類がわかる統計学とは

統計学の学習サイト、全人類がわかる統計学を運営、管理している団体です。統計学とその関連分野について、出来るだけわかりやすく多くの人々に届けるということを目指して活動しています。