「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全683件中 526 - 540件目
Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた
2021/07/07
ブックマーク
こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野( @glassmonkey )です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトである YELL BANK の分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータ
Chrome 92以降のSharedArrayBuffer警告に対するZOZOTOWNが実施した調査と解決策
2021/07/05
ブックマーク
こんにちは、ZOZOTOWN部フロントエンドチームの高橋（ @anaheim0894 ）です。 Chrome 92から 「SharedArrayBuffer」の仕様が変更 されます。それに伴い、 ZOZOTOWN の対応方針と解決策をご紹介いたします。そもそも「SharedArrayBuffer」が何のことなのか分からず困っている方も多いかと思います。本記事で紹介するZOZOTOWNの取り組みが対応時に皆様の参考になれば幸いです。 取り組みのき
使い勝手の良いSplunkダッシュボードの作り方
2021/06/15
ブックマーク
こんにちは。EC基盤本部 SRE部の渡邉です。去年の今頃はリモートワークによる運動不足を解消するために毎朝ロードバイクで走っていたのですが、3か月目に突入したころ急に飽きてしまいました。継続することの大切さを痛感しています。 さて、以前公開した記事でも Splunkを導入した話 について書きました。今回はSplunkをもっと活用していくために、効率的なサーチ方
巨大データベースの運用とデータレイク - パーソルグループ AWS合同勉強会
2021/06/09
ブックマーク
こんにちは。ミイダスVPoEの大谷です。この度、パーソルグループ 横断のAWS合同勉強会を開催しました。グループ内でAWSを使っているチームやクラウド活用を推進しているチームが増えたので、情報共有の目的と、グループでテクノロジーをもっと盛り上げていきたという思いで今回企画をしました。ミイダスでは「巨大データベースの運用とデータレイク」というテーマ
GUIによるデータの加工処理（データプレパレーション）とデータの連携について
2021/06/07
ブックマーク
こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第六弾です。前回に引き続き、データ加工をテーマにします。今回は、GUIによるデータ加工処理についてです。将来的には、GUIが活躍する領域がもっと広がってくると予想していますが、その選定についての個人的な課題感についてです。なお、論理的にどういうパターンがあるかを整理しているだ
データの民主化とELT（Extract/Load/Transform）
2021/06/03
ブックマーク
こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第四弾です。と思っていたのですが、その前に1個書いていたので、第五弾でした。今回は、データの民主化の概念と、ELTです。ELTと書くと、ETL（Extract/Transform/Load）の誤字でしょと言われることが多いのですが、ELT（Extract/Load/Transform）です。 データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実
データ分析基盤における個人情報の扱いについて
2021/05/31
ブックマーク
こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
新卒エンジニアが1ヶ月かけてマーケティングを学んだ話
2021/05/27
ブックマーク
はじめに こんにちは。21卒エンジニアの田中、五十嵐、益子です。 エンジニアの新入社員向け研修といえば、開発に関わる研修を中心に受けるのが一般的だと思います。レバレジーズでは、エンジニアもマーケティング職と同じプログラムでマーケティング研修を受けます。約1ヶ月間、マーケティングの基礎の学習から始まり、最終的には顧客理解に基づいた「重視
ショッピングアプリ「BASE」の検索基盤を移行しました！【基盤編】
2021/05/26
ブックマーク
こんにちは、BASE株式会社Data Strategyチームの杉です。 ショッピングアプリ「BASE」では、検索にAmazon Cloudsearchを使用していました。今回、検索基盤をAmazon Elasticsearch Service(以下、ES)に移行し、Data Strategyチームで管理をする方針にしました。 この記事では商品が更新された際などにどのように検知し、データをESにいれるようにしたかなど、基盤の部分をメインにご紹介をし
データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い
2021/05/19
ブックマーク
こんにちは佐々木です。 前回、データレイクとDWHを分離せよという趣旨の記事を書いていました。今回は、その続きとして、データレイクをRAWデータレイク・中間データレイク・構造化データレイクの３層構造がお勧めですよというお話をします。何の事でしょう？ RAWデータレイク・中間データレイク・構造化データレイクの役割 データレイクに、RAWデータレイク・中
Core Web Vitalsの計測環境を整える
2021/05/11
ブックマーク
Core Web Vitalsの計測環境を整える はじめに 現在、MAMADAYSのWebチームでは昨年発表されたCore Web Vitalsを中心としたパフォーマンス改善に注力しています。 今回はパフォーマンス改善でも重要な計測部分について、MAMADAYSではどのようにCore Web Vitalsのデータを定点観測する環境を整えているのかをご紹介したいと思います。 Core Web Vitalsとは Core Web Vitalsとは、全てのサイトにお
データ分析基盤構築の肝は、データレイクとDWHの分離
2021/05/10
ブックマーク
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それな
すぐにできる！ au 無料ゲームにおけるフロントエンドパフォーマンス改善事例
2021/04/19
ブックマーク
はじめに こんにちは、フロントエンドエンジニアの中畑 ( @yn2011 ) です。 au Webポータル 無料ゲーム では様々なフロントエンドのパフォーマンス最適化に取り組んでいます。今回は、既に実施した最適化の中から 対応コストが小さく、効果が分かりやすかったもの を中心に、対応事例のご紹介をします。 なお、 au Webポータル 無料ゲーム は Jamstack 構成となっており、Next.
試合、トレーニング、観戦まで。進むスポーツ業界のAI活用
2021/04/15
ブックマーク
試合、トレーニング、観戦まで。進むスポーツ業界のAI活用 2021.4.15 概 要 選手のパフォーマンスを上げる、試合の正確性を高める、観客の楽しみ方を拡張する、スポーツ業界でのAI活用は非常に多岐に渡って行われています。このコラムでは、スポーツにおけるAIの実際の活用事例をご紹介していきます。 目 次 ・ スポーツとAIの親和性 ・ スポーツ×AI 実際の活用例
OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話
2021/04/12
ブックマーク
こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSである fluent-plugin-gcloud-pubsub-custom にコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例を、ログ収集基盤開発の経緯と実装要件を踏まえて紹介します。