「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全445件中 316 - 330件目
データ分析基盤における個人情報の扱いについて
2021/05/31
ブックマーク
こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
新卒エンジニアが1ヶ月かけてマーケティングを学んだ話
2021/05/27
ブックマーク
はじめに こんにちは。21卒エンジニアの田中、五十嵐、益子です。 エンジニアの新入社員向け研修といえば、開発に関わる研修を中心に受けるのが一般的だと思います。レバレジーズでは、エンジニアもマーケティング職と同じプログラムでマーケティング研修を受けます。約1ヶ月間、マーケティングの基礎の学習から始まり、最終的には顧客理解に基づいた「重視
ショッピングアプリ「BASE」の検索基盤を移行しました！【基盤編】
2021/05/26
ブックマーク
こんにちは、BASE株式会社Data Strategyチームの杉です。 ショッピングアプリ「BASE」では、検索にAmazon Cloudsearchを使用していました。今回、検索基盤をAmazon Elasticsearch Service(以下、ES)に移行し、Data Strategyチームで管理をする方針にしました。 この記事では商品が更新された際などにどのように検知し、データをESにいれるようにしたかなど、基盤の部分をメインにご紹介をし
データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い
2021/05/19
ブックマーク
こんにちは佐々木です。 前回、データレイクとDWHを分離せよという趣旨の記事を書いていました。今回は、その続きとして、データレイクをRAWデータレイク・中間データレイク・構造化データレイクの３層構造がお勧めですよというお話をします。何の事でしょう？ RAWデータレイク・中間データレイク・構造化データレイクの役割 データレイクに、RAWデータレイク・中
Core Web Vitalsの計測環境を整える
2021/05/11
ブックマーク
Core Web Vitalsの計測環境を整える はじめに 現在、MAMADAYSのWebチームでは昨年発表されたCore Web Vitalsを中心としたパフォーマンス改善に注力しています。 今回はパフォーマンス改善でも重要な計測部分について、MAMADAYSではどのようにCore Web Vitalsのデータを定点観測する環境を整えているのかをご紹介したいと思います。 Core Web Vitalsとは Core Web Vitalsとは、全てのサイトにお
データ分析基盤構築の肝は、データレイクとDWHの分離
2021/05/10
ブックマーク
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それな
すぐにできる！ au 無料ゲームにおけるフロントエンドパフォーマンス改善事例
2021/04/19
ブックマーク
はじめに こんにちは、フロントエンドエンジニアの中畑 ( @yn2011 ) です。 au Webポータル 無料ゲーム では様々なフロントエンドのパフォーマンス最適化に取り組んでいます。今回は、既に実施した最適化の中から 対応コストが小さく、効果が分かりやすかったもの を中心に、対応事例のご紹介をします。 なお、 au Webポータル 無料ゲーム は Jamstack 構成となっており、Next.
試合、トレーニング、観戦まで。進むスポーツ業界のAI活用
2021/04/15
ブックマーク
試合、トレーニング、観戦まで。進むスポーツ業界のAI活用 2021.4.15 概 要 選手のパフォーマンスを上げる、試合の正確性を高める、観客の楽しみ方を拡張する、スポーツ業界でのAI活用は非常に多岐に渡って行われています。このコラムでは、スポーツにおけるAIの実際の活用事例をご紹介していきます。 目 次 ・ スポーツとAIの親和性 ・ スポーツ×AI 実際の活用例
OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話
2021/04/12
ブックマーク
こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSである fluent-plugin-gcloud-pubsub-custom にコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例を、ログ収集基盤開発の経緯と実装要件を踏まえて紹介します。
データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について
2021/04/07
ブックマーク
データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract（抽出）・Transform（変換・加工）・Load（保管）の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が一番時間が掛かるといっても過言ではありません。また、一度作ったらお終いではなく、分析する対象・方法が変わ
データ分析する前に知っておきたい因果関係と相関関係
2021/04/06
ブックマーク
データ分析する前に知っておきたい因果関係と相関関係 はじめに エブリーでデータアナリストをしている近藤と申します。 元々サーバーエンジニアでGoを書いていましたが、昨年７月からデータアナリストとして働いています。 普段はデータガバナンスの整備やredashによるデータ提供、データによる営業支援といった業務を行っています。 因果関係と相関関係の理解 デ
EC2 Image Builderを用いたRedashの運用改善
2021/04/06
ブックマーク
こんにちは、SRE部の谷口（ case-k ）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozo
コマンド1発でKubernetes上にProduction Readyな環境を手に入れる
2021/03/30
ブックマーク
KEELチーム の相原です。 最近開発している コマンド1発でKubernetes上にProduction Readyな環境を手に入れる コードジェネレータの話です。 Kubernetesの利用を広める上での課題 Kubernetes Manifestの難しさ 既存の解決策 設定量の増大 コードジェネレータで解決する 捨てやすさ 抽象度 変更への追従しやすさ Open Application ModelとKubeVela keelctl を開発してきてみて Kubernetesの利用を広める
FBZにおけるサーバーレス監視で実施したアラート通知の最適化
2021/03/03
ブックマーク
はじめに こんにちは。BtoB開発チームの中島です。 Fulfillment by ZOZO （以下、FBZ）で提供しているAPIシステムの開発・運用を担当しています。 FBZの運用では、エラーログ発生時にアラートを通知させ、エラー内容をチェックして対応要否を判断しています。しかし、アラート通知が多すぎると運用負荷が高くなったり、重要なアラートを見落とすリスクもあるため、適切な
チームブレストから8言語検索のコスト削減とUX最適化を両立させた話
2021/02/26
ブックマーク
はじめに レバレジーズ株式会社エンジニアのカラバージョ(Caraballo)です。今回は、８言語(*1)で求人情報を提供しているメディアである WeXpats Jobs で実装した多言語検索のコスト最適化についてご紹介します。 (*1) 2021年2月現在。 なぜコストの最適化が必要だったのか？ チームの目標として、ユーザーエクスペリエンス（UX）を向上させるために日本語で書いてある求人情