初めまして、ネクストでデータマイニング・レコメンドを担当している古川と申します。本ブログでは、日々の業務でお世話になっている、アルゴリズムやソフトウェアなどを紹介していきたいと思います。 まず第 1 弾として、全文検索エンジン Solr の検索 plugin 作成方法について数回の連載に分けて紹介します。 導入 Solr は、 日本語の全文検索が可能である RDMBS 同様、フィールド値を使ったソート、複数フィールドを使った高速なソートが可能である 分散処理機能を備え、スケーラビリティに優れている キャッ

こんにちは。ネクストの吉次です。 日本 Hadoop ユーザー会の主催により、2011年9月26日に東京のベルサール汐留で開かれた「 Hadoop Conference Japan 2011 Fall 」カンファレンスの詳細です。 今回の数ある講演の中で、私にとって面白かった「 MapR 」「基幹バッチ処理から見た Hadoop 」と「 Hadoop 0.23 と MapReduce v2 」について報告します。 MapR 「MapR」 ( http://www.mapr.com/ ) は Hadoop

こんにちは。ネクストの吉次と申します。 ネクスト リッテル研究所では、大量データを解析してレコメンデーションなどユーザ体験の向上に役立てる研究を行っています。リッテル研究所で大量データの解析に用いるミドルウェアとして用いているのが Hadoop というソフトウェアです。 Hadoop を用いる事で大量データの解析を手軽に分散処理できるので、1台のコンピュータで解析するよりも高速に大容量のデータを扱えるようになりました。 私はリッテル研究所の前身である株式会社リッテルの頃 (2008年頃) から Hadoo