Fluentdによるログ可視化が話題になってからだいぶ経ちますが、 エニグモ でも(念願の)ログの可視化を本番投入しましたのでその内容を紹介したいと思います。(完全系ではないですが、実用段階です！) 主な使用技術 Fluentd Elasticsearch Kibana AWS 構成図 構成の説明 各WEBサーバーが出力したログをFluentdが拾ってログ集約サーバーに転送、ログ集約サーバーが AWS にたてたElasticsearchサーバーにデータをPOSTするオーソドックスな構成となっています。 K

こんにちは、リッテルラボラトリーの清田です。 現在、巨大なWebログデータを活用して、ユーザーの潜在的なニーズを解析するという取り組みが盛んにおこなわれています。ネクストでも、HOME'Sのログデータを主な対象として、住まい探しのユーザーのニーズをとらえてサイト改善や情報レコメンデーションに活用するための取り組みが進められています。 「Webログデータ活用の最前線にはいないけれども、巨大なWebログデータがどういうものかを知りたい」「巨大なWebログデータを実際に触って分析してみたい」と思っている方もおそ

はじめまして、株式会社ネクスト　リッテルラボラトリーの清田です。 もともと、私は大学の研究者だったころに創業メンバーとして関わった大学発ベンチャー「リッテル」にて、図書館などの膨大な情報をさがしやすくするシステムなどの研究開発にたずさわっていました。 2011年にネクストにジョイン してからは、 HOME'S の膨大なログデータの裏にかくれた潜在的なニーズの発見など、情報レコメンデーション技術の研究開発に日々取り組んでいます。 今回、これまでの研究成果のひとつとして、 スマートフォンアプリ「ホームズくんの

ちかごろ職種不明の新坂です。 AWSの負荷分散装置、ELBのアクセスログを取得できるようになりましたね。 see: 【AWS発表】Elastic Load Balancerのアクセスログ 冗長化・負荷分散している場合、Webサーバーのアクセスログは分散してしまうので、ELBのログが取得できるというのは有用なのではないでしょうか。 早速試してみたところ、ログは5分間隔または、60分間隔でS3に出力されるようです。S3内では下記のようにディレクトリに仕切られてファイルが配置されます。（厳密にはディレクトリでは

エンジニアのにのみやです。 トレジャーデータが新サービスを発表するというので行ってきました。 内容については以下のようなメディアで記事化されている他、 トレジャーデータ，新サービスを発表 ─高速クエリエンジンとデータ可視化エンジン トレジャーデータ、POSデータ300億件が30秒で処理できるビッグデータ分析 米トレジャーデータ、DWHのクラウドにアドホッククエリーなどを追加 以下ではパネルディスカッションの様子も詳しく書かれています。 『トレジャーデータ、新サービス発表！〜進化したクラウドデータサービス〜

テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。