はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Function AWS Glue Job AWS Lambda 成果 転送時間 コスト 汎用性 まとめ はじめに こんにちは！スマートキャンプエンジニアの中田です。 直近で、BOXIL SaaSのDBのデータをBig Queryへロードするために利用していたETL基盤をリプレイスし、運用コスト・転送時間を改善しました。 旧基盤 新基盤 運用コスト(料金) 約 $750/月 約 $70/月 転送

こんにちは。株式会社ペライチの執行役員開発部長の佐藤です。 ペライチではスクラムで開発しています。 ペライチのスクラム開発は、かれこれ 3、4 年前に 1 つのスクラムチームから始めました。 幸いなことに、チームも機能ごと 4 つに拡大しそれなりに長い期間、スクラム開発を続けられています。 今回はスクラムを始めた導入機から拡大期までの変遷と振り返りを記事にしてみようと思います。 ※この記事はペライチの通ってきたスクラムの歴史を振り返る n=1 のストーリーを記載します。スクラムはこうすべき！というわけでな

こんにちは。分析グループ(分析G)でMLOps/データエンジニアしてます伊ヶ崎( @_ikki02 )です。 こちらは「KINTOテクノロジーズ株式会社にてどのようにMLOpsを適用していくのか」というテーマでの連載1本目です。後続の記事では、SageMaker Pipelinesを用いたバッチ推論、SageMaker Experimentsを用いた実験管理、そして、他部署も巻き込んで開催した勉強会のお話などをしていければと考えています。 背景(Situation) KINTOテクノロジーズでは機械学習を

こんにちは。 XI 本部 AI トランスフォーメンションセンター 所属の山田です。 今回は、 Python の Web アプリケーション開発環境において Poetry を利用し始めたことについて紹介します。 背景 私たちのチームではデータ分析、 システム開発 ともに Python を使用しています。 これまで、 Python を業務で使う際にはパッケージ管理ツールに pip を利用してきました。 しかしながら、継続的に開発・更新を繰り返すことを見越した システム開発 ではたびたび問題を引き起こすことがあり

はじめに こんにちは！新卒入社4年目の小松です。主にお客様が初めて@niftyをご利用になる際の無料ID会員登録システム、いろいろなサービスをご利用になる際のログインシステムの開発・運用を担当しています。 先日「マルチクラウド管理ノウハウ公開（AWS、ニフクラ）」に登壇しましたので、その様子を紹介していきます！ イベント概要 NIFTY Tech Talk は、ニフティ株式会社の社員が主催するトークイベントです。 本イベントではニフティ社員が業務を通じて学んだことを発信しています。 第三回目となる今回は、

挨拶 こんにちは。 BALES CLOUD エンジニアの井上（エース）です。 BALES CLOUDは最近アナリティクス機能をリリースしました。この機能は、ユーザーのこれまでのコールやメールのデータをユーザーの好きな形で分析できるものです。 トップページの機能一覧の右上に表示されています。 この機能は Sisense の埋め込み機能を利用しています。SisenseはLookerやTableauのようなBIツールの一つですが、アプリケーションへ埋め込みが特に想定されているようで、非常に簡単にアナリティクス機

はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。普段はクラウドサービスをオンプレ環境でも同様のUI/UXで使用を可能とするハイブリッドクラウド製品の技術検証をしています。 NTT Comでは以下の過去の記事のように、AWSのハイブリッドクラウドソリューションAWS Outposts ラックの導入や技術検証を進めています。 engineers.ntt.com engineers.ntt.com engineers.ntt.com 本記事では、AWS Outpostsで実現するオンプレ環境におけるデ

この記事は、ニフティのエンジニア組織を知っていただくための一環としての、チーム紹介記事です。 はじめに はじめまして、三国と申します。 私はニフティに入社して二十数年、様々なシステム部門を巡り巡ってきましたが、今回は、現在マネージャーとして担当している会員システムグループの第三開発チームを紹介します。 まず、当チームは以下2つのサブチームから構成されています。 メールチーム データ基盤チーム 「第三開発」だけでは何を担当しているチームか全く分からなかったと思いますが、これで多少のイメージはつきましたでしょ

こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています。 Data Engineeringチームとしては前回の記事執筆者@t-kurim

こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています。 Data Engineeringチームとしては前回の記事執筆者@t-kurim

X（クロス） イノベーション 本部 クラウド イノベーション センターの田村です。 普段の業務では、 Microsoft Azure のアップデートや新サービスの調査検証をしており、その一環として Azure Managed Grafana の調査を実施しました。 本記事では、Azure Managed Grafana の概要と機能について、調査結果を絡めてご紹介します。 Azure Managed Grafana とは 可視化機能の検証 Azure Managed Grafana のリソース作成 データ

こんにちは。2022年7月からサーバーワークスにジョインしましたIE課の小菅です。 IE課はInternal Education課の略称で2022年3月に新設され、中途採用で入社した方向けの養成所になっていて私がその課の第一号らしいです。 当社は全国どこに住んでいても仕事ができるということから、せっかくなので入社のタイミングで東京から地元宮城に移住しました。 前職ではデータ分析基盤をAWSのマネージドサービスを使って開発してました。 当時はCloudFormationをフルに活用して構築しており、今回のテ

はじめに こんにちは！初めまして、イノベーションセンターテクノロジー部門、Smart World 向けAI開発PJの藤原です。 我々は日々 Smart World の実現に向け、主に製造業向けのデータ分析、AIの研究開発を行なっております。 弊チームでは学会/論文投稿など積極的な学術活動も行なっており、IJCAI、KDD、CVPRなどのワークショップ採択されたり、最近ではAISTATSの本会議にも採択され ニュースリリース を出しました。 そうした学術活動の一環として、先日弊チームは技術調査 &

2022/7/21(木曜日)にオンラインで開催された「 Looker User Meetup Online #8 」に BASE BANK Dev Groupの永野(@glssmonekey)が登壇しました。 looker-japan-user-group.connpass.com イベントについて 今回のテーマは「Lookerまでのデータデリバリー、みんなどうしてる？」でした。 各社のLookerまでのデータパイプラインの構成やチーム構成など、Lookerを中心にしたデータに関する話題でわいわいしました

こんにちは、@t-kurimura です！ 2年ほど前にLuupにジョインし、今はDataEngineeringやServerサイドチームのリードなどをメインに担当しています。 今回はかつてのDataチームで、ダッシュボードをData Studioで運用してきたが色々辛くなってきたので、「Redashを入れよう」と提案し構築した話を書いています。 Luup Developers Blog開設以前にしたためたため、LUUPテックブログとして内容は自身のMediumで公開しました。 目次 Redashをローカ