【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】

イベント内容

資料

https://paper.dropbox.com/doc/Ruby--AUCcc4WThepYZsrM3zrvk4~BAg-9187zpyyGMc8aTvaRBifX

重要なお知らせ

お間違えのないようにお気をつけください

このイベントで出来るようになること

  • 少しのコードとちょっとした工夫で、Webサイトから自動でデータ収集ができるようになります
  • Rubyの基礎構文が理解できるようになります

スクレイピング、クローリングとは?

  • クローリングとは 複数のウェブサイトのリンクをなぞってウェブページを探すこと
    それを行うプログラムをクローラーと呼ぶ

  • スクレイピングとは ウェブサイトのHTMLから必要なデータを取得すること
    それを行うプログラムをスクレイパと呼ぶ

やること

  • Rubyとは?
  • HTMLの文書構造の解説
  • Rubyの環境構築
  • スクレイピングに必要なライブラリのインストール
  • スクレイピングをしてみる
  • コードの解説
  • セレクタの解説

対象

  • プログラミング初心者向けです
  • 誰でもOKですが、PCを持参してください
  • 最低限のキーボード操作ができる方が対象です

参考資料など

Rubyでクローラー

参考図書

やらないこと

最低限の文法の解説はしますが、Rubyの文法の細かい話は一旦抜きにします
まずは、体験してもらって「なんとなく分かる」を目指します

設備

  • ノートパソコンは各自ご用意ください
  • 必要な方はパソコンの充電器もご持参ください
  • 電源タップ、wifiがご利用頂けます

下記のコードの意味を完全に理解できることを目指します

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end

注意事項

※ こちらのイベント情報は、外部サイトから取得した情報を掲載しています。
※ 掲載タイミングや更新頻度によっては、情報提供元ページの内容と差異が発生しますので予めご了承ください。
※ 最新情報の確認や参加申込手続き、イベントに関するお問い合わせ等は情報提供元ページにてお願いします。

類似しているイベント