ネクスト の大坪と申します。インタラクション + 情報推薦であれこれやっております。2011年12月1日～3日に行われました WISS2011 に参加しましたので、その内容について。 WISS の正式名称は「インタラクティブシステムとソフトウェアに関するワークショップ」だが、誰もこの名前で呼びはしない。ほとんどの場合「ういっす」と呼ぶ。では WISS とは何か？公式サイト ( http://www.wiss.org/WISS2011/ ) には以下のような文字が並んでいる。 「WISS は、2泊3日の泊り込み形式で、インタラクティブシステムにおける未来を切り拓くような新しいアイディア・技術を議論するワークショップです。この分野において国内でもっともアクティブな学術会議のひとつであり、例年170名以上の参加者が朝から深夜まで活発で意義深い情報交換をおこなっています。」 しかし WISS に参加することの意味は、これだけの文字で語り尽くせるものではない。私は今回「参加者」兼「登壇発表者」兼「プログラム委員」兼「スポンサー企業の担当者」という立場で参加した。その経験から "参加しなければわからない" WISS の姿について記述したい。 初日夜 WISS の夜は長い。なぜかといえば夕食後の「ナイトセッション」が延々と続くからだ。そのうちの一つは「プリキュアオールスターズ3の鑑賞会」。いや、ただ鑑賞したわけではない。今回論文賞 & 発表賞をダブル受賞した産総研栗原氏の「動画の極限的な高速鑑賞のためのシステムの開発と評価」を使った高速鑑賞だ。私はこの映画を通常速度で見たことがある。もちろんプリキュアなどに興味はないが娘にせがまれては仕方がない。高速バージョンを観ているうち、 「いやこれではこの映画の面白さが抜け落ちてしまう。そもそもこの映画の面白さは通常は一つのチームにまとまっている赤、青、黄色がそれぞれのチームに、」 と熱く語りそうになる。ふと我に返り、いい大人の行動としていかがなものか、と思い直しぐっとこらえる。 今年の WISS には6社が企業スポンサーとして名を連ねている。ビッグローブ、ソネット、電通、電通国際情報サービス、ミクシィという錚々たる企業に並ぶと弊社の知名度が一段劣るのは否めない。1日目の夕食時には各スポンサーが5分間のプレゼンをする。弊社のプレゼンターは リッテル研究所 所長の清田である。 「 ネクスト 社はそもそも知名度が低く、学生の皆さんの内定が決まり、住むところを探そう、という段になってようやく HOME'S というサービスを通じて存在を知ってもらえるわけです」 という「率直」な言葉で笑いがとれてほっとした。 二日目 長い夜が明けると朝がやってくる。 WISS の朝は 「皆さん。おはようございます！」 という凛とした声で始まる。 (最終日にはこの声を使った目覚ましアプリが発表された) 声の主はプログラム委員長であるところの産総研後藤氏。会場のどんよりした雰囲気が一瞬で吹っ飛ぶ。前方にはスクリーンが5枚並んでいる。登壇発表者用、登壇発表者用サブ、参加者が利用するチャット画面表示用、 WISS Gazer という「 WISS を見ている人はどこに注目しているのか」を表示する画面、それにニコニコ生放送である。 これらのスクリーンを使っての登壇発表が朝から夕方まで続く。普通プレゼンはこんな順序で進むと思う。まず問題定義を行い、次に提案する解決策の紹介、それが新規性、有効性をもっていることの説明を経て最後にデモ、そしてまとめ。しかし WISS で発表する際には注意が必要である。しゃべってばかりで中々デモを出さないとチャットが荒れるからだ。「説明はいいから、早くデモ!」といった文字が飛び交う。対象が「インタラクティブシステム」である以上理論付けも大切だが、そもそもどんなものを提案するのかが重要であるという共通認識があるように思われる。 そうした事情も考慮して、私はデモを最初に持ってきた。その効果はどうだったか。発表後、いろいろな人に感想を聞くと、 「何がなんだかわからん」 というものばかりだった。反省しております。最初にデモを持ってくれば良いというわけではない。この事実を胸に刻んで来年の WISS に備えたいと思います。 発表中参加者は会場内だけで使用できるチャットシステムで議論を交わす。会場外から視聴している人たちのコメントはニコニコ生放送の画面でみることができる。東大の五十嵐教授が質問した際 「ゆとり乙」 というコメントが流れたのには爆笑させてもらった。ある女性が登壇したときには 「お嬢さん、結婚してください」 というコメントが流れる。「既婚です」という上コメが表示されると「orz」が流れる。 発表が終わると、質問者がマイクの前に並ぶ。今回チャットで議論になった点の一つに 「学生さんがなかなか質問をしてくれない」 というものがあった。その理由は何か? 会場で使用されていたチャットシステムには、その場でアンケートをとる機能がある。「年配の人ばかりが質問するから」という答えは意外に少なく、「そもそも質問を思いつかない」という回答が多かったように記憶している。反省点の多い私の発表だったが、学生さんが質問に立ってくれたもののひとつであったことはうれしい点だった。 WISS らしい発表 一参加者としては、登壇発表の時間は最初から最後まで気が抜けない。それくらい興味深い発表が目白押しである。その中で私が「最も WISS らしい」と思った発表について記述したい。東大の五十嵐さんによる「文の構造を明示的に指定・表示することによる異言語間コミュニケーション」だ。 機械による自動翻訳ができたらどんなに便利だろう。誰もがそう考えているが、なかなか実用化されない。単語の置換はできたとしても、文章の構造をちゃんと理解することは、コンピュータには未だ荷が重い。その結果、翻訳後の文章は頓珍漢なものになりがちである。 であれば、元の文章の構造を GUI 上で人間が示してやり、それをコンピュータが翻訳すればより理解しやすい文章になるのではないか。このアイディアには驚いた。私たちが普通話す言葉は1次元で構成される。それは1次元が最適だからではなく、人間が用いることができる手段 (音声) が1次元に限定されているから。 コンピュータをインタフェースとして用いることで、文章が本来持っている構造を2次元上で示すことができるのではないか? というのが提案の肝である。本論文は異言語間コミュニケーションを対象としているが、同じ言語を話す者の間でも、この手法は有効なのではないだろうか。日本語でも何を言っているのかわからない文章は多い。 (私のプレゼンもその類と思う。しくしくしく) この論文はそうした新たな可能性に道を開くものだ。しかしまだ研究は始まったばかり。減点方式の査読を行えば「評価が不十分」あるいは「評価による有効性の証明が不十分」ということでリジェクトされるかもしれない。しかし欠けている点よりも、それが示している方向性が評価され、登壇発表として採択されたのは、実に WISS らしいと私は考える。 二日目晩 2日目の晩には2部屋合同で「全員参加型議論」が行われた。 「今年の会議内容を踏まえて、社会や他のコミュニティにどのようなメッセージを提言したいか」 について議論を行い、結果を翌日発表する。 WISS では「伝統的に」異なる所属、年齢層の人が同部屋に割り当てられる。それ故議論に集まったのは所属も年齢も性別も異なるメンバー。これだけいろいろな立場の人と1つのテーマについて意見を交わす機会というのはそうあるものではない。翌日の発表はバラエティに富んだものだった。その内容は一般に公開されているが、私の意見では参加者のみに公開された「議論の過程を書いたメモ」のほうが面白い。表にでなかった様々な意見を読んでいると各部屋でどんな議論が行われていたかが想像できる。 とはいっても延々議論しているわけにはいかない。プログラム委員長と、運営委員長が宴会場の入り口に座っており、両名に議論結果を渡さないと宴会場に入れないシステムになっているからだ。自分たちが早く飲みたい、両委員長に早く飲んでもらいたいと思えば時間通り議論をまとめる必要がある。無事提出して宴会場に入れば昨日と同じく様々な議論が朝まで続く。 この全員参加型議論は、去年から取り入れられた「改革」の一環である。 WISS の冒頭、プログラム委員長の後藤氏はこう述べた。 「WISS は伝統的に革新的である」 この言葉通り、去年今年と「三大改革」が掲げられた。「改革」という言葉に食傷気味の人は多いだろうが、ここで掲げられている「改革」は永田町のそれとは一味違う。ある参加者の Tweet を以下に引用する。 「ある人が「改革します!」と言って、ほんとうに改革を実感したのって人生初めてかもしれない。」 しかし「改革」には常に不安と危険がつきまとう。それらに対処するため、どれほど委員の方が努力し、配慮をしたか。プログラム委員として参加させてもらったことで、そうした隠れた努力を知ることができたのは貴重な経験であった。 最終日 デモ/ポスターセッション、全員参加型議論の1分プレゼンが終わると今年の総括、引き続いて WISS2012 のアナウンスがある。来年のプログラム委員長は東大の五十嵐さん。最初に「気楽に聞いてもらえればいいですから」と言われるのでやけに低姿勢と思ったが、その後に熱いメッセージが続く。 「WISS の参加者は180名だが、投稿された論文はたったの42件。少なすぎる。論文も出さないで、 WISS はマンネリだとか言うのはいかがなものか。最近発表していないベテランもキチンと投稿するように。」 (全て私のうろ覚えによるものなので間違っているかもしれません) 今年の委員長後藤さんの熱が「赤」だとすれば、五十嵐さんは「青い熱」を放っている。来年も楽しみだ。私は今年でプログラム委員を退任なので、せめて論文を投稿することで WISS の発展に貢献したいと思う。とはいえこのメッセージが浸透すると登壇発表の倍率が上がるのだよね。

こんにちは。ネクストの吉次です。 日本 Hadoop ユーザー会の主催により、2011年9月26日に東京のベルサール汐留で開かれた「 Hadoop Conference Japan 2011 Fall 」カンファレンスの詳細です。 今回の数ある講演の中で、私にとって面白かった「 MapR 」「基幹バッチ処理から見た Hadoop 」と「 Hadoop 0.23 と MapReduce v2 」について報告します。 MapR 「MapR」 ( http://www.mapr.com/ ) は Hadoop をベースとした新しいフレームワーク。 Hadoop との一番大きな違いは、新規に独自の分散ファイルシステムを用いたこと。これにより Hadoop の分散ファイルシステム (HDFS) の持つ欠点 (単一障害点がある、上書きができない、 File Descriptor の浪費など) の解消を狙っています。パフォーマンスは 2～5 倍程度向上したということです。 Hadoop 0.23 の新機能 最新の動向を知ることが私の参加の目的だったので、この講演を今回のメインコンテンツとして紹介したいと思います。 次期安定版であるとされる Hadoop 0.23 では、現行からいくつかの大きな変更点があります。今回の講演ではその中から特に HDFS Federation と MapReduce v2 を取り上げていました。 HDFS Federation は HDFS をいくつかの名前空間に分割することでスケーラビリティを確保するものです。名前空間ごとに存在する Name サーバがダウンしてもデータが失われることはないが、ダウン中はその名前空間内のデータにアクセスできなくなるそうです。 MapReduce v2 による構成変更 MapReduce v2 では、旧バージョンにおける JobTracker (リソース管理およびジョブ スケジューリングとジョブ監視) を、 Resource Manager 、 Application Master という2つのコンポーネントに分割します。 (表1) 表1 JobTracker と Resource Manager の比較   旧バージョン 新バージョン Jpb Tracker Resource Manager Application Master Node Manager リソース管理 〇 〇 - 〇 ジョブ スケジューリング 〇 - 〇 - ジョブ監視 〇 - 〇 - Resource Manager プロセスは、各マシンで起動する Node Manager というユーザープロセス管理用サーバプロセスと協調して動作します。 Application Master は、 Resource Manager に要求してリソースを調達し、 Node Manager と連携してアプリケーションの実行とタスクの監視を行います。 Resource Manager は、どのノードにどのリソースを割り当てるかという仕事だけに注力すればよいので、旧 JobTracker と比較すると実装がシンプルになったそうです。 MapReduce v2 の耐障害性 MapReduce v2 では、 Hadoop を ZooKeeper *1 と連携させることで耐障害性を確保しています。つまり、 ZooKeeper での監視により、 Resource Manager がダウンしても、すぐに Secondary Resource Manager を起動させます。そして、 ZooKeeper に記録してあるクラスタの状態に復帰します。その時点でキューイングされたすべてのアプリケーションが再起動されます *2 。 MapReduce v2 の優位性 MapReduce v2 では、 MapReduce アルゴリズム以外のアルゴリズムを導入可能とするため、ユーザーの選択の余地が広がります。データや MapReduce アプリケーションの互換性といった理由から、アーキテクチャを変えてしまうことには不安がつきまといますが、そこは Wire compatibility *3 を持たせることで過去との互換性を保持させるとのことでした。 Wire compatibility の MapReduce v2 への実装及び統合については、 Owen O'Malley 氏がその必要性をかなり強調していました。データやアプリケーションの互換性が保たれるのであれば、 Hadoop 0.23 にバージョンアップして、可用性とアルゴリズムの柔軟性の向上を見込めるというのはかなり魅力的だと思われます。 なお、現行バージョンの Hadoop はマイナーバージョンアップであってもバージョンアップするとデータの互換性はありません。※アップグレードは可能 基幹バッチ処理から見た Hadoop そもそも基幹処理と Hadoop の相性はあまりよくないと私は思っていたので、ノーチラス・テクノロジーズ社の OSS (オープンソース) フレームワーク「Asakusa」に関するプレゼンテーション「基幹バッチ処理から見た Hadoop 」は、かなり興味深い内容でした。基幹業務処理に用いる上での、 Hadoop のイケてないところには、 HDFS 上のファイルの追記や更新ができない トランザクション処理ができない MapReduce のアルゴリズムしか実行できない Namenode の単一故障点問題 などがあります。そこを独自のフレームワーク「 Thunder Gate 」を組み込む事で補い、顧客毎に異なる基幹業務に Hadoop を適用可能とするフレームワークを作り出しています。 私は不可能を可能にしようとするその技術屋魂に感銘を受け、また「これからの SIer かくあるべし」とも思いました。しかし、 OSS 化されているとはいえ、設計技法として DFD-DAG *4 ベースのDSL *5 を用いるなど、一般の企業が導入するには多少の壁 (主に学習コスト) を感じるだろうことも事実です。 しばらく基幹系 Hadoop はノーチラス・テクノロジーズさんの一人勝ちになるのでしょうか? Hadoop の今後あれこれ 日本における Hadoop は、成熟期に入りつつあるか、その直前だと思います。ノーチラス・テクノロジーズ社やエヌ・ティ・ティ・データ社など一部の先進企業が導入に成功し、それに倣って他の企業が導入を検討し始めた、もしくは導入し始めている時期だと考えられます。 私が想像する日本での Hadoop のこれからは、次のようなシナリオです－－多数の企業が Hadoop にチャレンジし、そして様々な難点 (基幹バッチ処理から見た Hadoop 内でいくつか挙げました) のために、導入し損なって失敗事例が増えていく。バブルがはじけ、結局生き残るのは一部の先進企業のみとなる。もしくは Hadoop を補完もしくは代替するような他の分散処理フレームワークが登場し、多くの企業はそちらへと流れていく－－。 このように私は Hadoop の未来に対してあまり楽観的ではありません。 Hadoop はまだまだ発展途上の技術であり、そのまま発展途上で消えていく可能性も十分にありうると思うのです。一方でノーチラス・テクノロジーズ社や MapR Technologies 社のように、 Hadoop を補完するフレームワークを作り出す組織も徐々に登場しつつあります。今は「補完」ですが、そのうち「代替」する技術になっていくと私は予想しています。今回のカンファレンスへの参加から、私はむしろこれらの技術に可能性を感じました。 *1 : Apache ZooKeeper：クラスタの保守管理サービスを提供する集中型サービスソフトウェア。 *2 : 実行中だったアプリケーションははじめからやり直しとなる。 *3 : 新旧アプリケーションの API 互換性と新旧サーバ・クライアント間の通信プロトコル互換性を総称した機能名。 *4 : DFD (Data Flow Diagram) : データフロー図。DAG (Directed Acyclic Graph) : 有向非循環グラフ。 *5 : DSL (Domain Specific Language) : 特定のタスク向けの仕様記述言語。

こんにちは。ネクストの吉次と申します。 ネクスト リッテル研究所では、大量データを解析してレコメンデーションなどユーザ体験の向上に役立てる研究を行っています。リッテル研究所で大量データの解析に用いるミドルウェアとして用いているのが Hadoop というソフトウェアです。 Hadoop を用いる事で大量データの解析を手軽に分散処理できるので、1台のコンピュータで解析するよりも高速に大容量のデータを扱えるようになりました。 私はリッテル研究所の前身である株式会社リッテルの頃 (2008年頃) から Hadoop を利用しはじめましたが、日本のIT業界でも同様に2008年頃から Hadoop を使う企業が現われはじめ、2009年の日本 Hadoop ユーザー会発足や書籍の刊行などにより、IT業界の関心が高まりました。 この日本 Hadoop ユーザー会の主催により、2011年9月26日に東京のベルサール汐留で「Hadoop Conference Japan 2011 Fall」という催しが開かれました。今回はこのカンファレンスの参加報告をいたします。 通算で3回目の開催となる今回、参加者は1100人となりました。私が Hadoop カンファレンスに参加するのは2009年に開かれた第1回に続いて2回目です。第1回は350人程度の規模だったので、参加者ベースで規模が3倍強に膨れあがったことにまず驚きました。カンファレンスは Keynotes を除いて Technical Track 、 Community Track の 2Track で構成されていました。私は最新動向を知りたかったため、 Technical Track に参加することにしました。 カンファレンスの概要 Keynotes 動画 (USTREAM) The role of the Distribution in the Apache Hadoop Ecosystem About Hortonworks How Hadoop needs to evolve and integrate into the enterprise Cloudera, Inc. *1 の Todd Lipcon 氏、Hortonworks Inc. *2 の Owen O'Malley 氏、 MapR Technologies, Inc. *3 の Ted Dunning 氏。 おおざっぱに言うと、それぞれの会社の事業と Hadoop との関係に関する話題であった。 Technical Track Apache HBase 紹介 (Claudera, Inc. Todd Lipcon 氏) HBase の特徴について MapR テクノロジのアーキテクチャ詳細と実装 (MapR Technologies, Inc. Ted Dunning 氏) MapR は Hadoop をベースとしたフレームワーク。 HDFS の代わりに独自のファイルシステムを採用して効率アップを図った点が特筆される。 基幹バッチ処理からみた Hadoop ( (株) ノーチラス・テクノロジーズ 神林飛志氏) 基幹バッチで Hadoop を動かすフレームワーク Asakusa について。 小売り (スーパー) 、パン屋、中部地方の流通業者の事例、 Asakusa におけるシステム開発の概要、今後のAsakusa について。 インフラ構築・運用の勘所 ( (株) エヌ・ティ・ティ・データ 猿田浩輔氏) エヌ・ティ・ティ・データ社での Hadoop のインフラ構築ノウハウ。キーワードは「全体最適」。 スライドはこちら ( http://slidesha.re/mQanVL ) Hadoop 0.23 と MapReduce v2 (Hortonworks Inc. Owen O'Malley氏) Apache でリリースとなる Hadoop の新バージョンの話。 HDFS Federation 、 Wire Compatibility 、その他の Feature について。 詳細は http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapreduce-nextgen/ に記述してあるとのこと。 MapReduce による大規模データ処理 (ヤフー株式会社 角田直行氏, 吉田一星氏) Yahoo! Japan 社における Hadoop 利用の事例と MapReduce のアルゴリズムについて。 スライドはこちら ( http://slidesha.re/owkedH ) *1 : Cloudera 社 (米国本社： http://www.cloudera.com/ 日本法人： http://www.cloudera.co.jp/) は Hadoop の開発者達によって2008年に設立された、 Hadoop の Distribution パッケージをオープンソースで提供してきた企業。Hadoop の生みの親、Doug Cutting 氏がアーキテクトとして参画している。 *2 : Hortonworks 社 ( http://hortonworks.com/ )は、今年、 Apache Hadoop に関わってきた米国 Yahoo! 社の技術者達が Yahoo! からスピンアウトして作った企業。 Apache コミュニティと協力して Hadoop をより堅牢で使いやすくすることをミッションとして掲げている。 *3 : MapR Technologies 社 ( http://www.mapr.com/ ) は、 MapR という Hadoop を利用したフレームワークを開発販売している企業。独自のフレームワークを組み込んだ Distribution パッケージを EMC 社に供給して販売している。