この記事は、Luup Advent Calendarの9日目の記事です。 こんにちは。Data Engineeringチームの河野(@matako1124) です！ 最近データカタログを導入したのですが、ツールの選定方法と実装方法についてご紹介したいと思います。結論から言うと、Luupでは社内ドキュメントとしてNotionをどの部署も使用しているため、Notionをデータカタログとして使おうという選択にしました。 注意 執筆に当たり細心の注意を払っておりますが、不十分な説明や誤りがある可能性もございます。

はじめに はじめまして、KINTOテクノロジーズで分析グループのマネージャをしています西口です。Tech企業の中に分析グループということで不思議に思われる方もいらっしゃることでしょう。今回はそのあたりのお話をさせてもらいたいと思っています。 分析グループの役割 KINTOテクノロジーズの事業内容は、「デジタル分野における情報システムの設計、開発、運用管理および販売等の情報処理サービス」「企業経営戦略、マーケティング戦略の企画、立案およびコンサルティングに関する業務」となっています。私たち分析グループは後半

こんにちは。 株式会社ココナラのR&Dグループ/検索・推薦グロースチーム所属のエンジニア、Unseoと申します。 本記事では、BigQuery上でのデータ分析にARRAYを活用した分析手法をご紹介いたします。 検索システムのログ分析をテーマに進めていきますが、広告やレコメンドエンジンなど、その他ログの分析にも応用できるテクニックかと思いますので、 普段の分析をもう少し精緻にしたい BigQueryでできることを増やしたい ユーザの行動ログ分析に挑戦したい といった方々の参考になれば幸いです。 !

はじめに この記事は BASE Advent Calendar 2022 と Looker Advent Calender 2022 2日目の記事です。 こんにちは。BASE 株式会社 New Division BASE BANK Section にて、Engineering Program Manager (以下EPM) 1 をしている永野( @glassmonekey ) です。 私達のBASE BANK Section チーム (以下 BANK チーム) はBASEの中でも、新規事業の金融系のプロダ

この記事は 2022 BASEアドベントカレンダー 1日目の記事です。 こんにちは！開発担当役員のえふしんです。絶賛、来季の組織構造の設計中なので、何を考えながら組織図を検討しているか？ということを書いてみたいと思います！ 組織検討の基本としては、サービスの拡大、組織の拡大に対して仕事のやりやすさ、スピード感を如何に実現しながら事業を伸ばしていくか？というテーマで組織を考えていきます。 組織構造は各社各様のものがあると思いますが、多くの会社さんではビジネスのトップラインを伸ばすチームを主体に、今ある課題を

セーフィーCTOの森本です。 この記事は Safie Engineers' Blog! Advent Calendar 1日目の記事です 2020年2月より開始したセーフィーのテックブログですが、一時期運営が危機的な状況に陥ったこともありました。 しかし、有志からなる運営チームのガンバリにより2021年9月以降着実に更新を継続して行ってくれており、様々な会社さんからテックブログ継続の難しさを伺っている中、非常に喜ばしく感じている今日此頃となっています。 そんな中、運営チームが2022年の年末に向けてアドベ

はじめに こんにちは。分析グループでデータエンジニアをしている小池です。新卒入社した前職では主にサービスグロースのための分析を行っていたのですが、現職ではデータ分析基盤の開発をしています。平たくいえば、データアナリストからデータエンジニアへキャリアチェンジしたというわけです。この記事では、私がデータアナリストからデータエンジニアになるまでのお話をしていければと思います。 データアナリストやデータエンジニアとは データアナリストとデータエンジニアの責務がわからないかたもいらっしゃると思いますので、まずはそこ

本記事は 執筆デビューWeek 12日目の記事です。 ✨ 11日目 ▶▶ 本記事 ▶▶ 13日目 🔰 自己紹介 はじめまして！ クラウド事業推進部の小野内と申します。今年5月にキャリア入社してから早半年以上が経ちました。 入社以降、AWS、Google Cloud メインのデータ分析基盤の開発・運用に関わっております。 前職では、AWSメインのインフラエンジニアとして、基幹システムのインフラ運用保守をメイン(AzureやGoogle Cloudも少々)で担当しておりました。 本記事では、Google Cl

みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ（WITH RECURSIVE句とUNION ALL）について紹介します。 再帰 クエリを使うと、表形式しか扱えない RDB において 木構造 のデータを扱えます。 木構

こんにちは、イノベーションセンターの福田優真です。 NTT Comでは AWS Outposts を日本で初めて導入し、様々な検証を進めています。 プレスリリース 国内初、「AWS Outposts」に自社データ分析ツールを組み込んだソリューションを開発 Engineers' Blogでの紹介 【日本初導入】 AWS Outposts ラックを徹底解説 第1回 〜導入・利用方法の概要〜 第2回 〜AWS CDKによるInfrastructure as Code〜 第3回 〜TerraformによるPriv

こんにちは！セーフィーでサーバーサイドエンジニアをしている神田です。 今回は2022/10/14、10/15に行われたPyCon JP 2022に参加した時のお話をしようと思います！ 以下のアジェンダに沿って進めていきます！ PyConはどのようなイベントか 参加企業の特徴 どんな人がイベントに参加していたか ブース運営の様子と感想 セッションに参加してみた感想 まとめ PyConはどのようなイベントか ざっくり言うと、Pythonユーザーが集まり、交流できるイベントです！ さまざまな企業がブースを出して

こんにちは！ LuupのData Strategy部（Data Scienceチーム所属）の大島です。ここでは、LuupのData Scienceチームと、Luupのデータ分析の醍醐味である地理空間データを使ったポート密度に関する分析をご紹介します。 LuupのData Scienceチームの紹介 Luupの事業では、電動アシスト自転車や電動キックボードを停めるポートの獲得、アプリや車両などのプロダクトの設計・開発・運用、車両の充電・再配置といったオペレーション、社会への発信・広報活動など、様々な取り組み

こんにちはXI本部、AIトランスフォーメーションセンターの徳原光です 現在、私が所属しているAIトランスフォーメーションセンター（通称：AITC）では、新卒、中途問わず、データサイエンティストとして働いてくださる方を絶賛募集中です。 AITCwebサイト 採用情報ページ|AITCwebサイト 例年、AITCへの配属が内定する新卒向けデータサイエンティスト職採用を実施していますが、今年も実施します。詳しい情報が出ましたら、こちらのページでお知らせします。 といいつつ、「いきなりうちの部で働いてください！」と

KAKEHASHI でバックエンドエンジニアをしている横田です。 今回は、一般的にクローラーを使って作成するであろう、データカタログのテーブルを Spark だけで実現する方法について紹介できればと思います。 背景・目的 MusubiInsight のプロダクトでは、薬剤師さんや薬局のマネージャーさん向けに業務実績データの可視化を行っています 可視化するデータは、夜間にバッチ処理で計算しています データ量としては数十 ~ 数百 GB あるので、集計処理基盤として AWS Glue の Spark Job

はじめに こんにちは、データサイエンティストの大杉・今野です。 この記事では、リクルートが提供する従業員エンゲージメントサー