こんにちは、ネクスト　清田です。 前回の記事 では、情報検索システムの研究で評価に使われてきた「再現率」「精度」という指標について紹介するとともに、現実の情報検索システムでは、システムの「ユーザー」を巻き込まないと本当の姿は分からないことを示しました。今回は、ユーザーを巻き込んでシステムを評価するには、どんなことを考えておく必要があるのかについて紹介します。 システムとユーザー、どちらにフォーカスを当てるのか? 前回の記事では、情報検索

初めまして、ネクストでデータマイニング・レコメンドを担当している古川と申します。本ブログでは、日々の業務でお世話になっている、アルゴリズムやソフトウェアなどを紹介していきたいと思います。 まず第 1 弾として、全文検索エンジン Solr の検索 plugin 作成方法について数回の連載に分けて紹介します。 導入 Solr は、 日本語の全文検索が可能である RDMBS 同様、フィールド値を使ったソート、複数フィールドを使った高速なソートが可能である 分散処理機能を備え、スケーラビリティに優れている キャッ

こんにちは。ネクストの吉次です。 日本 Hadoop ユーザー会の主催により、2011年9月26日に東京のベルサール汐留で開かれた「 Hadoop Conference Japan 2011 Fall 」カンファレンスの詳細です。 今回の数ある講演の中で、私にとって面白かった「 MapR 」「基幹バッチ処理から見た Hadoop 」と「 Hadoop 0.23 と MapReduce v2 」について報告します。 MapR 「MapR」 ( http://www.mapr.com/ ) は Hadoop

こんにちは。ネクストの吉次と申します。 ネクスト リッテル研究所では、大量データを解析してレコメンデーションなどユーザ体験の向上に役立てる研究を行っています。リッテル研究所で大量データの解析に用いるミドルウェアとして用いているのが Hadoop というソフトウェアです。 Hadoop を用いる事で大量データの解析を手軽に分散処理できるので、1台のコンピュータで解析するよりも高速に大容量のデータを扱えるようになりました。 私はリッテル研究所の前身である株式会社リッテルの頃 (2008年頃) から Hadoo