「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全445件中 346 - 360件目
ZOZOTOWNを支えるリアルタイムデータ連携基盤
2020/08/27
ブックマーク
こんにちは、SRE部MA基盤チームの谷口（ case-k ）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の
Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた
2020/08/18
ブックマーク
CI 部の宮本です。今回は Snowflake に S3 からデータをロードする でインポートしたデータを使って、Redash 上で新型コロナウイルス感染動向を可視化してみます。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 クエリ、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の
施策の効果測定のためにRedashを導入しました。
2020/08/06
ブックマーク
こんにちは、M&Aクラウドのかずへいです。 弊社では5月頃から、開発の施策立案と効果測定のためにRedashの導入を進めているので、その活用方法を紹介します。 Redash導入前の課題 そもそも、開発チームとして以下のような課題がありました。 開発チームの成果が事業貢献ではなく、リリースした機能の数で評価されがち。 リリースした機能の貢献が分からない。 リリー
ビジネスパーソンが読んでおきたい、AI関連オススメ本７冊
2020/08/05
ブックマーク
ビジネスパーソンが読んでおきたい、AI関連オススメ本７冊 2020.8.4 シニアソリューションデザイナ 寺田 響 概 要 これからAIの導入や開発を検討されるビジネス担当者の中には「まずは最低限の知識を持っておきたい」「AIや機械学習で何ができるのか知りたい」という方も多いのではないでしょうか？今回は、AI開発を始めるにあたって参考になりそうな書籍を、ソリ
AWS CDK で Redash の環境を構築してみた
2020/07/21
ブックマーク
CI部の宮本です。在宅勤務で毎朝のコーヒーを淹れるのが面倒くさくなってきました。全自動のコーヒーメーカーが欲しいのですが、中々のお値段なのでためらっています。 さて、今回は AWS CDK を使って Redash の環境を構築してみました。 AWS CDK とは AWS クラウド開発キット (AWS CDK) は、使い慣れたプログラミング言語を使用してクラウドアプリケーションリソースをモデ
企業がAI導入を迷ってしまう障壁とは。 AI活用の現場から。
2020/07/20
ブックマーク
企業がAI導入を迷ってしまう障壁とは。 AI活用の現場から。 2020.7.21 シニアソリューションデザイナ 上田知広 概 要 AI導入に対する企業の期待が高まる一方、“AI導入の壁”とも言える現実とのギャップが、その実現を難しいものにしていることが多くの調査で明らかになってきました。AI導入を検討する企業が実際にどのような点に課題を感じているのか、そしてそ
Splunkで難航していた障害調査を解決した話
2020/07/15
ブックマーク
こんにちは。技術開発本部SRE部の渡邉です。 リモートワークによる運動不足を解消するために毎朝ロードバイクで走る事を始めたところ、今では印旛沼 1 のまわりを走るのが生きがいになりました。 そんな私ですが2019年に入社して以降、現在に至るまで、ZOZOTOWNやWEARのインフラを担当しております。 前職からずっとインフラ周りの仕事をしておりますが常に頭を悩ませ
ローカル環境でGrafana Lokiをためしてみた
2020/07/10
ブックマーク
はじめまして。新規サービスの開発チームに所属しているkarabishです。 前から気になっていた Grafana Loki をローカルで試してみました。 Grafana Lokiはログ集約システムで、似たものとしては Elasticsearch や Splunk になるのかと思います。 公式ドキュメントでも Elasticsearch との 比較 が記載されています。 環境構築 1. ロギングプラグインのインストール 2. docker-compose.ymlにLokiを
ユニークなおもちゃ評価データを相関分析してみた
2020/07/01
ブックマーク
こんにちは、トラーナのしだのり( @sdx_ )です。 今日はデータ分析に関して書いていこうと思います～ ﾜｲﾜｲ！ TL;DR おもちゃの評価データとは？ おもちゃの評価データのユニークさとは なぜ分析するのか なぜ相関分析なのか なぜPythonを使ってみたか 求めるアウトプット プロセス データクレンジング なんと数行のコードでできる おわりに TL;DR 大量のデータを見て
ZOZOTOWNの検索基盤におけるElasticsearch移行で得た知見
2020/06/22
ブックマーク
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOに
ファッション領域における検索ログの特徴分析とカテゴリ分類器作成の可能性
2020/06/19
ブックマーク
はじめに こんにちは、ZOZO研究所福岡の下所です。 検索チームでWEARの検索ログの解析を行なっているのですが、その中でファッション業界に限らず、多くの言語学者・データ解析者がインターネット上での文字解析、特に新語の理解に苦労していることを知りました。特に日本語のように表現が曖昧で流動的な言語を理解することに多くの労力を要しているように感じま
ZOZOSUITからZOZOMATへ - CQRSによる解決アプローチ
2020/06/05
ブックマーク
はじめに こんにちは、計測プラットフォーム部バックエンドチーム、テックリードの児島（ @cozima0210 ）です。この記事では、ZOZOSUITとZOZOMATの違いにより生じたバックエンド開発における課題と、その解決のためにCQRSアーキテクチャを採用した経緯、そしてその実践について紹介します。 ZOZOSUITとは ZOZOSUIT は、2017年に発表した全身の計測を目的としたツールです。現在も
大規模プロジェクトでもつまずかないための管理要点3か条
2020/05/20
ブックマーク
はじめに BtoB開発部の増田です。 2020年4月1日より、株式会社アラタナからZOZOグループへの吸収統合を経て、ZOZOテクノロジーズ／BtoB開発部として新たなキャリアをスタートすることになりました。これまで同様、九州・宮崎にオフィスを構えており、現在約30名のエンジニアで開発を行っています。ZOZOグループの成長に貢献できるような拠点拡大を目指していきますので
RedashをFargate, Datadog, Terraformで構築/運用する
2020/04/20
ブックマーク
こんにちは、タイミーSREチームの宮城です。 今回は弊社が Redash をFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まって
Python版CausalImpactを用いたTVCMの効果検証
2020/04/20
ブックマーク
こんにちは。LIFULLでデータアナリストをしている宮野です。 普段はサービス周りのデータ分析を行っているのですが、TVCMの効果検証を行う機会があり、その際CausalImpactという時系列因果推論フレームワークを使用したのでご紹介いたします。 【目次】 はじめに Pythonを用いたCausalImpact データの準備 効果検証 共変量の確認と選定 / 周期性(シーズナリティ)の付与 ①共変量