「Fluentd」に関連する技術ブログ(16件)

企業やコミュニティが発信する技術ブログから「Fluentd」に関連するものを表示しています。

Fluent Bitを利用したログルーティング - 入門編

こんにちは、 電通国際情報サービス デジタル イノベーション 1部の加世です。 今回は「FluentBitを利用したログルーティング」を進める際に、「FluentBitについて理解する」ことを目的とした記事となっております。 具体的なFluentBitの使い所や設計を考える前段階として、本記事を参考にしていただければと思います。 Fluent Bitについて Fluent Bitの特徴 検証環境と処理フロ

#Fluentd #GitHub #AWS #Azure #Google Cloud Platform #Docker #Lua #Apache #Tomcat #テスト 

BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み

こんにちは、データ基盤の開発・運用をしている谷口です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と利便性の両

#Google BigQuery #Git #Terraform #Google Cloud Platform #データベース #SQLServer #Embulk #Fluentd #AWS #Ruby 

転職サービスにおけるデータ分析基盤の構築事例 - AWS Innovate - Data Edition

2021 年 8 月 19 日(木)に開催された、AWS Innovate – Data Editionにて、 CTOの大谷が「転職サービスにおけるデータ分析基盤の構築事例」というテーマで、ミイダス インフラチームのチャレンジについて発表しました。セッション概要

#SQL #MySQL #AWS #Fluentd #PostgreSQL #データ分析 #インフラ #データベース 

巨大データベースの運用とデータレイク - パーソルグループ AWS合同勉強会

こんにちは。ミイダスVPoEの大谷です。この度、パーソルグループ 横断のAWS合同勉強会を開催しました。グループ内でAWSを使っているチームやクラウド活用を推進しているチームが増えたので、情報共有の目的と、グループでテクノロジーをもっと盛り上げていきたという思いで今回企画をしました。ミイダスでは「巨大データベースの運用とデータレイク」というテーマ

#Elasticsearch #MySQL #CDN #データベース #SQL #Fluentd #AWS 

OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話

こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSである fluent-plugin-gcloud-pubsub-custom にコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例を、ログ収集基盤開発の経緯と実装要件を踏まえて紹介します。

#Google BigQuery #Google Analytics #Fluentd #SRE #OSS #AWS #Google Cloud Platform #オンプレミス #Dataflow #Ruby 

ZOZOTOWNを支えるリアルタイムデータ連携基盤

こんにちは、SRE部MA基盤チームの谷口です。私達のチームでは、データ連携基盤の開発・運用を行っています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 な

#SQLServer #Google BigQuery #Embulk #SRE #OSS #Fluentd #Google Cloud Platform #Dataflow #Java #Terraform 

Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる

今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろあるかと思いますが、その中でも重要になるのが 個人情報などの見せられないデータ(機密情報) の扱いかな思っています

#Go #Java #Python #Google BigQuery #Embulk #Google Cloud Platform #Fluentd #API 

Embulkを利用したデータ転送基盤の構築

こんにちは。バックエンドエンジニアインターンの田島です。 VASILYでは分析にBigQueryを使用しており、MySQLのデータを毎日BigQueryに同期しています。この同期処理を行うシステムは、約2年前にRubyで書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。そのため、同期処理を行うシステムを一から作り直しましたので、そ

#Embulk #Ruby #MySQL #Fluentd #Google BigQuery #Google Cloud Platform #Go #SQL #BASIC #データベース 

Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築

わーい!コンテナたのしー!🐾 こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイト IQON では、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速

#Docker #PHP #PaaS #AWS #AWS Lambda #Apache Mesos #Kubernetes #CircleCI #Fluentd #HTML 

horensoで作るモダンなcronスクリプト監視環境

こんにちは。 モルトとシガーで生きてます。インフラエンジニアの光野(@kotatsu360)です。 先日、crontabで管理しているバッチ処理の監視にhorensoというツールを導入したのですが、 監視の品質が向上 毎分届く大量の実行結果メールから開放されQoL向上 という効果がありました。本日はその取り組みについてご紹介いたします。 ジレンマ:動作監視と大量のメール 冒頭の

#Go #GitHub #Google BigQuery #Ruby #AWS #Fluentd #インフラ #テスト 

alpine linuxベースのdocker imageに移行したはなし

こんにちは、神崎( @tknzk )です。ElasticBeanstalk w/ multi-container Docker で構成しているad-serverのdocker image を alpine linuxベースのimageに置き換えました。 alpine linuxは、非常に軽量なdistributionで、DockerHubに登録されているmiddlewareなどの公式のdocker imageでも採用が進んでいるOSです。 http://www.alpinelinux.org/ 以前の ブログ にも書いたとおり、ad-serverは ElasticBeanstalkで管理された

#Ubuntu #Nginx #Debian #MySQL #Ruby #Fluentd #Mackerel #Docker #Elasticsearch #CentOS 

データ分析基盤としての BigQuery 運用のベストプラクティス

  あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知

#Google BigQuery #SQL #Nginx #Tableau #AWS #Fluentd #データベース #データ分析 #設計 #管理ツール 

Fashion Tech meetup #1開催しました!

こんにちはVASILYエンジニアの松本です。先日 MERY を運営する株式会社ペロリと合同で Fashion Tech meetup #1 と題した勉強会を開催しました。   当日は約100名のエンジニアの方々に集まっていただき、Fashion × Technologyを題材として各社のエンジニアが、お互いのサービスを支える技術について発表しました。今回はFashion Tech meetup #1でのVASILYの発表資料をご紹介します。 iQONを支

#Android #Android Studio #OpenCV #Fluentd #Mackerel #テスト #自然言語処理 #機械学習 

クローラーの並列処理でresqueを捨ててsidekiqに移行した話

こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クロ

#Redis #Ruby #Google BigQuery #Fluentd #データベース #プログラミング 

多腕バンディットを活用したプッシュ配信の最適化施策

こんにちは。VASILYに入社して、オシャレぶるようになったと周りにイジられているデータサイエンティストの金田です。 VASILYでは、プッシュ通知の開封数を上げるために様々な施策を行っていますが、その一つとして、多腕バンディット問題を応用し、複数の異なるタイトル文の配信比率を動的に最適化することで、開封数を高めるといった取り組みを行っています。今

#Google BigQuery #API #Fluentd #Ruby #Tableau #GitHub #コンテスト #A/Bテスト #テスト #機械学習 

12