【速習講座】Rubyでクローリング&スクレイピングをしよう懇親会アリ♪【初心者ok】

2018/11/04(日)13:00 〜 16:30 開催

ブックマーク

Ruby, プログラミング, 初心者

イベント内容

資料

https://paper.dropbox.com/doc/Ruby--AQ~h5ZNwa9DU30HhSigphkDLAQ-JeNXGCAFkUkuKpT2J4Czt

重要なお知らせ

イベントの開催場所が変更になりました！
池袋東口のSTAGEさんのスペースをお借りして開催します！

お間違えのないようにお気をつけください

このイベントで出来るようになること

少しのコードとちょっとした工夫で、Webサイトから自動でデータ収集ができるようになります
Rubyの基礎構文が理解できるようになります

タイムテーブル

13:00-16:30

時間	内容	補足
13:00-13:15	会場・受付	お釣りのないようにお願いします
13:15-13:20	会場案内・趣旨説明	諸注意・トイレ
13:20-13:30	自己紹介	お名前、プログラミング歴、お仕事に関して
13:30-14:30	ハンズオン開始	環境構築、Rubyの概略、スクレイピング/クローリングとは?
14:30-14:40	休憩
14:40-15:30	各自プログラミング	質問があれば随時
15:30-15:40	本日のまとめ	アンケート、参考図書の紹介
15:45-16:30	懇親会	飲み物・軽食をご用意します
16:30	終了

スクレイピング、クローリングとは？

クローリングとは複数のウェブサイトのリンクをなぞってウェブページを探すこと
それを行うプログラムをクローラーと呼ぶ
スクレイピングとはウェブサイトのHTMLから必要なデータを取得すること
それを行うプログラムをスクレイパと呼ぶ。

やること

Rubyとは？
HTMLの文書構造の解説
Rubyの環境構築
スクレイピングに必要なライブラリのインストール
スクレイピングをしてみる
コードの解説
セレクタの解説

対象

プログラミング初心者向けです
誰でもOKですが、PCを持参してください
最低限のキーボード操作ができる方が対象です

参考資料など

Rubyでクローラー

参考図書

やらないこと

最低限の文法の解説はしますが、Rubyの文法の細かい話は一旦抜きにします
まずは、体験してもらって「なんとなく分かる」を目指します

設備

ノートパソコンは各自ご用意ください
必要な方はパソコンの充電器もご持参ください
電源タップ、wifiがご利用頂けます

下記のコードの意味を完全に理解できることを目指します

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end