こんにちは、サーバーサイドエンジニアの菅原です。 今回はElasticStack6について学んでみたのでその知見を共有したいと思い記事にしました。 はじめに 検索エンジンElasticsearchの検証をしている中でELKと呼ばれるElasticStackの製品について学んでみましたのでそのELKの実行までの流れを記載していきます。 環境 Mac OS Elasticsearch 6.2.4 Kibana　6.2.3 Logstash 6.2.3 入門内容 ゴール：ELKの使い方、及び導入からビジュアライ

こんにちは、AmazonESでElasticsearch2.3を使っての環境構築が終わった直後にElasticsearch5.1が利用可能になってショックを受けてる技術基盤部の磯野です。 ちょっとだけ時間ができたのでzipkinのバックエンドをAmazon Elasticsearch Serviceに差し替えてみました。 CassandraとElasticsearchどっちにしようかなぁと悩んでいたのですが、zipkinがいつの間にかElasticsearch Serviceに対応していたのでサーバー構築

こんにちは、インフラストラクチャー部の沼沢です。 複数の AWS アカウントを運用していると、それぞれのアカウントの S3 バケットに CloudTrail のログが溜まっていきますが、そのログ、1箇所に集約して監視や可視化をしたくはありませんか？ そこで今回は、複数の AWS アカウント上にそれぞれ保存されている CloudTrail ログを集約・可視化する仕組みについてです。 構成図 ① CloudTrail が S3 にログを Put したのをトリガーに、集約先に用意している Lambda を起動

iPad Air 3(かな?)が楽しみな竹永です。洗濯機はまだ無い。 このところElasticsearchとかKibanaとかばっかり触っていましたが たまには別のツールを触るのも良いと思うのです。 と、いうことで可視化ツールの Grafana を触ってみます。 Grafanaってなに？ 可視化ツールです。ダッシュボードを作ってヒャッハーできます。 プラグインの追加でいろいろなところからデータを持ってこれるので簡単にいろいろなデータを可視化することができます。 今のところプラグイン無しで対応しているのは下

こんにちは。技術1課の高橋です。 先日ジョン・ブルックフィールドの「握力王」という本を買いました。握力を高めるには地道なトレーニングが不可欠のようです。 さて今回、CloudWatch Logs,Amazon Elaticsearch ServiceおよびKibanaで、 Windowsのイベントログを可視化する方法をご紹介します。 このシステムを利用することで、文字だけでは分かりにくいWindowsのイベントログを、特定のイベントがいつ何時、どれだけ発生したかを簡単にグラフに出力して確認することができま

こんにちは！メディアシステム開発部の杉本です。 今回は、11月末にトライアルリリースをしたauスマートパスアプリ向け検索連動広告で利用しているElasticsearchのCluster機能の設定について紹介をさせてもらいます。 Cluster機能を利用することで、可用性の確保、レイテンシの低減が期待できます。 Elasticsearchでは標準でmulticastの設定となっており、Cluster機能を使うのはさほど難しいことではありません。 ただし、AWSはmulticastに対応していないため、AWS

Fluentdによるログ可視化が話題になってからだいぶ経ちますが、 エニグモ でも(念願の)ログの可視化を本番投入しましたのでその内容を紹介したいと思います。(完全系ではないですが、実用段階です！) 主な使用技術 Fluentd Elasticsearch Kibana AWS 構成図 構成の説明 各WEBサーバーが出力したログをFluentdが拾ってログ集約サーバーに転送、ログ集約サーバーが AWS にたてたElasticsearchサーバーにデータをPOSTするオーソドックスな構成となっています。 K