初めまして、カケハシのデータ基盤チームでデータエンジニアしている大木と申します。 この度カケハシでは、全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用し、2022/07より本格導入することとなりました。 当記事では、カケハシがDatabricksを採用するに至った技術選定の背景について紹介させていただきます。 ※カケハシのデータ基盤の組成のお話はこちらの記事で詳しく紹介されておりますので良ければご覧ください。 カケハシのデータ基盤アーキテクチャと課題 まずカケハシのデータ基盤のアー

こんにちは。フロントエンドエンジニアの根本です。 LIFULL HOME'S事業本部でtoB領域のプロダクト開発と、スポーツ関連の新規事業立ち上げに携わっています。 早速ですが、皆さんはUXエンジニアという職種をご存知でしょうか？ この記事では、UXエンジニアのスキルを身につけるため、新規事業開発の中でどのような取り組みをしているか紹介したいと思います。 目次 UXエンジニアとは？ そもそもなぜUXエンジニア？ 実際の取り組み データ分析しユーザー行動を可視化する GA(UA) / GA4を用いた定量分析

こんにちは。エンジニアの鈴木（@yamotuki）です。 データの活用とデータ基盤の構築に関する考えを整理したいと思い、この記事を書いています。 M&Aマッチングプラットフォームとしての「M&Aクラウド」が立ち上がった4年ほど前から、現在に至るまでデータをどう活用してきたのかというのをざっくりまとめた後に、今のデータ基盤構想とその背景にある考えを書こうと思います。 弊社におけるこれまでのデータ活用に関わる意識の変化 2018年~ M&Aクラウドリリースからしばらく M&Aクラウドプラットフォームのリリース

はじめに はじめまして！株式会社ロジクラでエンジニアをしている甲斐と申します。 今回は弊社でエンジニアを取り巻く開発環境や施策の中で、今でも続けているチーム全体の取り組みを一部紹介しようと思います。 早いもので、ヒヨッコのつもりでいてもスタートアップで2年在籍すると相対的に古株になってしまうわけですから月日の経過というのは恐ろしいものですね。在籍している間にもどんどんと仕組みが変わっていって今振り返ると懐かしさを感じます。 1. パフォーマンス改善モブプロ 弊社ではプロジェクトの進行に関しては スクラム

齋藤です。 前回のブログはアドベントカレンダーのときだったので、約8ヶ月ぶりのブログです。 今回はGA4ではなく、本日発売したLookerの導入本『データ分析BIツール Looker導入ガイド』に関してお話します。 （GA4の導入が済んでいないよ！という方はぜひこちらの記事もよろしくお願いいたします！GA4のコンバージョン設定の仕方） データ分析BIツール Looker導入ガイド作者:齋藤 圭祐,大沢 大樹,喜早 彬,皆葉 京子マイナビ出版Amazon このブログでLookerを取り上げるのは初なので、L

はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Function AWS Glue Job AWS Lambda 成果 転送時間 コスト 汎用性 まとめ はじめに こんにちは！スマートキャンプエンジニアの中田です。 直近で、BOXIL SaaSのDBのデータをBig Queryへロードするために利用していたETL基盤をリプレイスし、運用コスト・転送時間を改善しました。 旧基盤 新基盤 運用コスト(料金) 約 $750/月 約 $70/月 転送

こんにちは。株式会社ペライチの執行役員開発部長の佐藤です。 ペライチではスクラムで開発しています。 ペライチのスクラム開発は、かれこれ 3、4 年前に 1 つのスクラムチームから始めました。 幸いなことに、チームも機能ごと 4 つに拡大しそれなりに長い期間、スクラム開発を続けられています。 今回はスクラムを始めた導入機から拡大期までの変遷と振り返りを記事にしてみようと思います。 ※この記事はペライチの通ってきたスクラムの歴史を振り返る n=1 のストーリーを記載します。スクラムはこうすべき！というわけでな

こんにちは。分析グループ(分析G)でMLOps/データエンジニアしてます伊ヶ崎( @_ikki02 )です。 こちらは「KINTOテクノロジーズ株式会社にてどのようにMLOpsを適用していくのか」というテーマでの連載1本目です。後続の記事では、SageMaker Pipelinesを用いたバッチ推論、SageMaker Experimentsを用いた実験管理、そして、他部署も巻き込んで開催した勉強会のお話などをしていければと考えています。 背景(Situation) KINTOテクノロジーズでは機械学習を

こんにちは。 XI 本部 AI トランスフォーメンションセンター 所属の山田です。 今回は、 Python の Web アプリケーション開発環境において Poetry を利用し始めたことについて紹介します。 背景 私たちのチームではデータ分析、 システム開発 ともに Python を使用しています。 これまで、 Python を業務で使う際にはパッケージ管理ツールに pip を利用してきました。 しかしながら、継続的に開発・更新を繰り返すことを見越した システム開発 ではたびたび問題を引き起こすことがあり

はじめに こんにちは！新卒入社4年目の小松です。主にお客様が初めて@niftyをご利用になる際の無料ID会員登録システム、いろいろなサービスをご利用になる際のログインシステムの開発・運用を担当しています。 先日「マルチクラウド管理ノウハウ公開（AWS、ニフクラ）」に登壇しましたので、その様子を紹介していきます！ イベント概要 NIFTY Tech Talk は、ニフティ株式会社の社員が主催するトークイベントです。 本イベントではニフティ社員が業務を通じて学んだことを発信しています。 第三回目となる今回は、

挨拶 こんにちは。 BALES CLOUD エンジニアの井上（エース）です。 BALES CLOUDは最近アナリティクス機能をリリースしました。この機能は、ユーザーのこれまでのコールやメールのデータをユーザーの好きな形で分析できるものです。 トップページの機能一覧の右上に表示されています。 この機能は Sisense の埋め込み機能を利用しています。SisenseはLookerやTableauのようなBIツールの一つですが、アプリケーションへ埋め込みが特に想定されているようで、非常に簡単にアナリティクス機

はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。普段はクラウドサービスをオンプレ環境でも同様のUI/UXで使用を可能とするハイブリッドクラウド製品の技術検証をしています。 NTT Comでは以下の過去の記事のように、AWSのハイブリッドクラウドソリューションAWS Outposts ラックの導入や技術検証を進めています。 engineers.ntt.com engineers.ntt.com engineers.ntt.com 本記事では、AWS Outpostsで実現するオンプレ環境におけるデ

この記事は、ニフティのエンジニア組織を知っていただくための一環としての、チーム紹介記事です。 はじめに はじめまして、三国と申します。 私はニフティに入社して二十数年、様々なシステム部門を巡り巡ってきましたが、今回は、現在マネージャーとして担当している会員システムグループの第三開発チームを紹介します。 まず、当チームは以下2つのサブチームから構成されています。 メールチーム データ基盤チーム 「第三開発」だけでは何を担当しているチームか全く分からなかったと思いますが、これで多少のイメージはつきましたでしょ

こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています。 Data Engineeringチームとしては前回の記事執筆者@t-kurim

こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています。 Data Engineeringチームとしては前回の記事執筆者@t-kurim