イベント内容

資料

https://paper.dropbox.com/doc/Ruby--AUCcc4WThepYZsrM3zrvk4~BAg-9187zpyyGMc8aTvaRBifX

重要なお知らせ

お間違えのないようにお気をつけください

このイベントで出来るようになること

• 少しのコードとちょっとした工夫で、Webサイトから自動でデータ収集ができるようになります
• Rubyの基礎構文が理解できるようになります

スクレイピング、クローリングとは？

• クローリングとは
  複数のウェブサイトのリンクをなぞってウェブページを探すこと
  それを行うプログラムをクローラーと呼ぶ

• スクレイピングとは ウェブサイトのHTMLから必要なデータを取得すること
  それを行うプログラムをスクレイパと呼ぶ

やること

• Rubyとは？
• HTMLの文書構造の解説
• Rubyの環境構築
• スクレイピングに必要なライブラリのインストール
• スクレイピングをしてみる
• コードの解説
• セレクタの解説

対象

• プログラミング初心者向けです
• 誰でもOKですが、PCを持参してください
• 最低限のキーボード操作ができる方が対象です

参考資料など

Rubyでクローラー

参考図書

やらないこと

最低限の文法の解説はしますが、Rubyの文法の細かい話は一旦抜きにします
まずは、体験してもらって「なんとなく分かる」を目指します

設備

• ノートパソコンは各自ご用意ください
• 必要な方はパソコンの充電器もご持参ください
• 電源タップ、wifiがご利用頂けます

下記のコードの意味を完全に理解できることを目指します

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end

注意事項