本記事は マネージャーWeek 1日目の記事です。 ⚖ イベント告知 ▶▶ 本記事 ▶▶ 2日目 ⚜ こんにちは、喜早です。 脈絡全然ないですが、最近本出しました。 データ分析BIツール Looker導入ガイド作者:齋藤 圭祐,大沢 大樹,喜早 彬,皆葉 京子マイナビ出版Amazon GoogleのBIツール、Lookerの日本唯一(現時点)の入門書となります。 気になった方はぜひ。 さて、宣伝はこのくらいで。 今回はマネージャーウィークでのエントリーです。 ビッとした内容はこの後の皆さんが書いてくれると

はじめに こんにちは、新卒2年目の高橋です。 今回は、2022年8月下旬に終了したkaggleのAmerican Express - Default Pre

こんにちは。Data Engineeringチームの河野(@matako1124) です！ この記事では、Google Cloud Composer(Airflow)の中でGoogle Driveに定期的にデータを送るための実装方法をご紹介したいと思います。実装当初、Google Driveにデータを定期的に送るような事例は多いのかなと思っていたのですが、意外と世に記事がでていなかったので執筆してみました。 なお、Luupのデータ基盤については以下の記事をご参照ください。 冪等性を担保したGoogle C

こんにちは。Data Engineeringチームの河野(@matako1124) です！ この記事では、Google Cloud Composer(Airflow)の中でGoogle Driveに定期的にデータを送るための実装方法をご紹介したいと思います。実装当初、Google Driveにデータを定期的に送るような事例は多いのかなと思っていたのですが、意外と世に記事がでていなかったので執筆してみました。 なお、Luupのデータ基盤については以下の記事をご参照ください。 冪等性を担保したGoogle C

医療・介護・ヘルスケア・シニアライフの4つの領域で高齢社会に適した情報インフラを構築している株式会社エス・エム・エスのAnalytics&Innovation推進部（ 以下、A&I推進部）でデータ分析基盤開発を担当している長谷川です。 A&I推進部はエス・エム・エス社内のデータを横断的に収集し、データの分析や加工から、データに基づく施策までを行う部門で、現在は介護事業者向け経営支援サービスである「カイポケ」や、介護職向け求人情報サービスである「カイゴジョブ」のデータ分析やレコメンド

こんにちは、データテクノロジーユニット D3M 部の @beniyama こと山邉と申します。 D3M とは Data Driven Decision Making の略で、下記の組織概要にありますように『

こんにちは！バックエンドチームマネージャーの @tsuwatch です！ 2022/9/8〜10に三重県にて開催されたRubyKaigi 2022でプラチナスポンサーとして協賛し、スポンサーブースを出展しました。 technote.zozo.com technote.zozo.com 弊社からは WEAR を開発するバックエンドエンジニア、SRE、PdMなど合計10名ほどが現地で参加しました。 我々が運営しているファッションコーディネートアプリ「WEAR」のバックエンドはRuby on Railsで開発し

こんにちは。StanbyのDataPlatformグループでデータエンジニアをやっている陳です。 今回は、スタンバイ社が独自に開発しているリアルタイム分析プラットフォームのStanby Analyticsを紹介します。 Stanby Analyticsとは 何故Stanby Analyticsを作る事になったのか GAの廃止 Stanbyはサービス開始時からGoogle Analytics（ユニバーサル アナリティクス、以下UA）を使っており、UAをベースとした分析結果で事業判断を行なってきました。 しか

コーヒーが好きな木谷映見です。 2022 年 7 月 12 日、Amazon Redshift Serverless の一般提供が開始 されています。Redshift Serverless の概要についてはサーバーワークスエンジニアブログ - Redshift Serverless の概要 をご参照ください。 「試してみたいけど、データ分析なんてやったことないな」と思っていた私は、「30 分で試せる！Amazon Redshift Serverless データ分析ハンズオン」が AWS から提供されている

初めまして、カケハシのデータ基盤チームでデータエンジニアしている大木と申します。 この度カケハシでは、全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用し、2022/07より本格導入することとなりました。 当記事では、カケハシがDatabricksを採用するに至った技術選定の背景について紹介させていただきます。 ※カケハシのデータ基盤の組成のお話はこちらの記事で詳しく紹介されておりますので良ければご覧ください。 カケハシのデータ基盤アーキテクチャと課題 まずカケハシのデータ基盤のアー

こんにちは。フロントエンドエンジニアの根本です。 LIFULL HOME'S事業本部でtoB領域のプロダクト開発と、スポーツ関連の新規事業立ち上げに携わっています。 早速ですが、皆さんはUXエンジニアという職種をご存知でしょうか？ この記事では、UXエンジニアのスキルを身につけるため、新規事業開発の中でどのような取り組みをしているか紹介したいと思います。 目次 UXエンジニアとは？ そもそもなぜUXエンジニア？ 実際の取り組み データ分析しユーザー行動を可視化する GA(UA) / GA4を用いた定量分析

こんにちは。エンジニアの鈴木（@yamotuki）です。 データの活用とデータ基盤の構築に関する考えを整理したいと思い、この記事を書いています。 M&Aマッチングプラットフォームとしての「M&Aクラウド」が立ち上がった4年ほど前から、現在に至るまでデータをどう活用してきたのかというのをざっくりまとめた後に、今のデータ基盤構想とその背景にある考えを書こうと思います。 弊社におけるこれまでのデータ活用に関わる意識の変化 2018年~ M&Aクラウドリリースからしばらく M&Aクラウドプラットフォームのリリース

はじめに はじめまして！株式会社ロジクラでエンジニアをしている甲斐と申します。 今回は弊社でエンジニアを取り巻く開発環境や施策の中で、今でも続けているチーム全体の取り組みを一部紹介しようと思います。 早いもので、ヒヨッコのつもりでいてもスタートアップで2年在籍すると相対的に古株になってしまうわけですから月日の経過というのは恐ろしいものですね。在籍している間にもどんどんと仕組みが変わっていって今振り返ると懐かしさを感じます。 1. パフォーマンス改善モブプロ 弊社ではプロジェクトの進行に関しては スクラム

齋藤です。 前回のブログはアドベントカレンダーのときだったので、約8ヶ月ぶりのブログです。 今回はGA4ではなく、本日発売したLookerの導入本『データ分析BIツール Looker導入ガイド』に関してお話します。 （GA4の導入が済んでいないよ！という方はぜひこちらの記事もよろしくお願いいたします！GA4のコンバージョン設定の仕方） データ分析BIツール Looker導入ガイド作者:齋藤 圭祐,大沢 大樹,喜早 彬,皆葉 京子マイナビ出版Amazon このブログでLookerを取り上げるのは初なので、L

はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Function AWS Glue Job AWS Lambda 成果 転送時間 コスト 汎用性 まとめ はじめに こんにちは！スマートキャンプエンジニアの中田です。 直近で、BOXIL SaaSのDBのデータをBig Queryへロードするために利用していたETL基盤をリプレイスし、運用コスト・転送時間を改善しました。 旧基盤 新基盤 運用コスト(料金) 約 $750/月 約 $70/月 転送