【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】

イベント内容

資料

https://paper.dropbox.com/doc/Ruby--AQ~h5ZNwa9DU30HhSigphkDLAQ-JeNXGCAFkUkuKpT2J4Czt

重要なお知らせ

イベントの開催場所が変更になりました!
池袋東口のSTAGEさんのスペースをお借りして開催します!

お間違えのないようにお気をつけください

このイベントで出来るようになること

  • 少しのコードとちょっとした工夫で、Webサイトから自動でデータ収集ができるようになります
  • Rubyの基礎構文が理解できるようになります

タイムテーブル

13:00-16:30

時間 内容 補足
13:00-13:15 会場・受付 お釣りのないようにお願いします
13:15-13:20 会場案内・趣旨説明 諸注意・トイレ
13:20-13:30 自己紹介 お名前、プログラミング歴、お仕事に関して
13:30-14:30 ハンズオン開始 環境構築、Rubyの概略、スクレイピング/クローリングとは?
14:30-14:40 休憩
14:40-15:30 各自プログラミング 質問があれば随時
15:30-15:40 本日のまとめ アンケート、参考図書の紹介
15:45-16:30 懇親会 飲み物・軽食をご用意します
16:30 終了

スクレイピング、クローリングとは?

  • クローリングとは 複数のウェブサイトのリンクをなぞってウェブページを探すこと
    それを行うプログラムをクローラーと呼ぶ

  • スクレイピングとは ウェブサイトのHTMLから必要なデータを取得すること
    それを行うプログラムをスクレイパと呼ぶ。

やること

  • Rubyとは?
  • HTMLの文書構造の解説
  • Rubyの環境構築
  • スクレイピングに必要なライブラリのインストール
  • スクレイピングをしてみる
  • コードの解説
  • セレクタの解説

対象

  • プログラミング初心者向けです
  • 誰でもOKですが、PCを持参してください
  • 最低限のキーボード操作ができる方が対象です

参考資料など

Rubyでクローラー

参考図書

やらないこと

最低限の文法の解説はしますが、Rubyの文法の細かい話は一旦抜きにします
まずは、体験してもらって「なんとなく分かる」を目指します

設備

  • ノートパソコンは各自ご用意ください
  • 必要な方はパソコンの充電器もご持参ください
  • 電源タップ、wifiがご利用頂けます

下記のコードの意味を完全に理解できることを目指します

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end

注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。

類似しているイベント