「クローリング」と「スクレイピング」
書籍情報
発売日 : 2021年10月26日
著者／編集 : 李 天キ
出版社 : 工学社
発行形態 : 単行本
書籍説明
内容紹介
人間の代わりとなる「情報収集ロボット」や「分析プログラム」を作れれば、人間よりもはるかに「高速」かつ「効率良く」、情報の歪みを掴むことができ、多くの「裁定取引」が可能になる。
目次
■AIによる不動産投資の自動化
・AIに代替される不動産投資プロセス
・不動産投資の仕組み
・AIを用いた価格査定
■スクレイピング技術
・「スクレイピング技術」でできること
■「Python」+「Selenium」を用いたChromeスクレイピング
・環境構築
・ブラウザのテスト
・不動産サイトの「スクレイピング」
■IPアドレスによる自動BAN
・「Proxyサーバ」の仕組み
・Proxyによる自動BAN回避
・「Proxyサーバ」の構築と利用
■形態素解析を用いた不動産ビッグデータの名寄せ
・不動産データの名寄せ
・文字列処理
■不動産情報における「GISデータ」の扱い
・「GISデータ」とは
・MySQLで「GISデータ」を扱う
■「lightGBM」を使った不動産価格予測
・なぜ「AI」で「価格予測」をするのか
・「不動産価格予測AI」の仕組み
・「不動産価格予測AI」の実装
■「RESAS-API」を使った「地域人口データ」の扱い
・「将来価値予測」と「機械学習の限界」
・「RESAS」（リーサス）とは
・RESAS API/「RESAS API」の登録
・PythonからRESAS-APIを利用
・Anti-CAPTCHA
・AIに代替される不動産投資プロセス
・不動産投資の仕組み
・AIを用いた価格査定
■スクレイピング技術
・「スクレイピング技術」でできること
■「Python」+「Selenium」を用いたChromeスクレイピング
・環境構築
・ブラウザのテスト
・不動産サイトの「スクレイピング」
■IPアドレスによる自動BAN
・「Proxyサーバ」の仕組み
・Proxyによる自動BAN回避
・「Proxyサーバ」の構築と利用
■形態素解析を用いた不動産ビッグデータの名寄せ
・不動産データの名寄せ
・文字列処理
■不動産情報における「GISデータ」の扱い
・「GISデータ」とは
・MySQLで「GISデータ」を扱う
■「lightGBM」を使った不動産価格予測
・なぜ「AI」で「価格予測」をするのか
・「不動産価格予測AI」の仕組み
・「不動産価格予測AI」の実装
■「RESAS-API」を使った「地域人口データ」の扱い
・「将来価値予測」と「機械学習の限界」
・「RESAS」（リーサス）とは
・RESAS API/「RESAS API」の登録
・PythonからRESAS-APIを利用
・Anti-CAPTCHA
著者情報
李 天琦
1989年中国蘇州市生まれ。ピアニストの父に連れられ来日。東京工科大学を首席で卒業。
学生時代に不動産領域に興味をもち、AIを用いた独自の価格分析システムを開発。
Microsoft Japanインターンシップ、日本ベンチャーキャピタル 大学ハッカソン 2014 優勝。
Google Japanにて、深層強化学習を用いた自動運転技術について招待公演。
DeNA入社後、システム本部にてAI研究開発に従事。DeNAの支援を受けて独立。現在、（株）DEVEL 代表取締役CEO。
李, 天琦, 1989-
