2022 Review & 2023 Outlook This is Kageyama from KINTO Technologies! I would like to write a review of 2022 and my outlook for 2023. We launched various services in 2022. In May, we launched the bZ4X online subscription sales site. After the launch, w

この記事は、 ニフティグループ Advent Calendar 2022 (カレンダー1) 25日目の記事です。 こんにちは、ニフティでAWS/GCPや開発寄りのSaaS管理などしている石川です。 年末ですね、大掃除のシーズンです。 オフィスやキャビネットの掃除はしてても社内情報の掃除はみなさんしているでしょうか。 本日は Notion様の事例紹介として載せさせていただいた内容 の詳細版として、ConfluenceをNotionに移行する前に行った大掃除とNotion上での情報の配置の話をしようと思います

こちらの記事は Databricks Advent Calendar 2022 の25日目の記事になります。 こんにちは、カケハシで Musubi Insight という薬局向けBIツールのバックエンドエンジニアをしている高田と申します。 BIツールを開発しているということもあり日常的にETL処理の実装を行っていますが、普段の開発では AWS Glue を採用しています。 しかし、カケハシでは 全社的なデータ活用基盤のプラットフォームとしてDatabricksが採用された こともあり、とあるプロジェクトで

こちらの記事は Databricks Advent Calendar 2022 の24日目の記事です。 はじめに 初めまして。カケハシでデータサイエンティストをしている赤池です。 弊社はフルリモートで業務できるため今年9月から地元の仙台市で業務していますが、本格的な冬の到来を前に戦々恐々しています。（寒い。雪。路面凍結。） さて、あなたは「Pandas API on Spark」を知っていますか？ これは「pandasと同じ書き方でSpark上で処理を実行できる」という代物で、 pandasでは処理に時間

こちらの記事は Databricks Advent Calendar 2022 の23日目の記事です。 はじめに 初めまして。カケハシにてデータサイエンティストをしている赤池です。 業種的に、自己紹介の際に統計学のビッグネームとの関係性を聞かれることがたまにありますが 全く関係ありません 。統計学もがんばります。 突然ですが、あなたの分析環境では「 DBから抽出したデータをPythonやRなどで利用する際にうまく連携できていない 」なんてことはありませんか？ そして「 この処理だけはRでやりたいが、そのた

こちらの記事は Databricks Advent Calendar 2022 の22日目の記事になります。 こんにちは、カケハシで Musubi Insight のバックエンドエンジニアをしている末松です。 カケハシでは 全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用 しておりますが、それまでは Redash を利用していました。 Redash は Databricks社にM&A された背景もあり、基本的には Redash を使っていた感覚のまま Databricks

こちらの記事は カケハシ Advent Calendar 2022 の21日目の記事になります。 はじめに こんにちは、カケハシのデータ基盤チームのデータエンジニアの大木です。今年も残すところ10日ほどになりましが、皆さんいかがお過ごしでしょうか。 私はカケハシに入社したのが2022年の1月ですので、もうすぐ1年が経とうとしています。本当に月日の流れは早いものです。 個人的に入社1年という節目を迎えるということもあり、この記事では私がデータ基盤チームにJOINしてからの1年間のチーム活動を振り返ってみよう

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの

※ この記事はLuup Advent Calendarの20日目の記事です。 こんにちは、Luupの小笠原です。 今日は、Luupのサービス運営を裏で支えているオペレーション用アプリ開発の紹介をします。インナーアプリは当然ユーザーの皆様の目に触れる機会はなく、インナーアプリ開発について公開されている情報も少ないと思いますので、ご参考になれば幸いです。 自己紹介 Product部とService Operation部の2つの部に兼務で所属して、以下のような業務を行なっています。 需給最適化 ユーザーがどこで

はじめに この記事では、AWSの資格であるSAAを取得したもののそこまでAWSを触っていなかったAWS初心者が、業務にそこまで影響がない範囲内でAWSでなんか作ってみようと思い立ち、学習目的半分で試行錯誤した結果触ってみて初めて知った苦労などを記載しています。 AWSを日常的に触っている人にとっては知ってる内容かもしれませんが（もしくは触ったことなくても別に躓かないかもしれない）、AWS初心者でかつ日常的にコードも書かない、データベースの扱いにも全く慣れていない人間としては苦労したポイントがいくつかありま

本記事はCyberAgent Advent Calendar 2022 18日目の記事です。 AI事 ...

はじめに BIツールで使い易いテーブルについて 設計ドキュメントからBIツールのモデルファイルを自動生成する LookMLのラベル機能 caseによるラベリング LookMLの継承機能 Viewファイル自動生成ツールの実装 ビルドスクリプト main関数の実装 Excelのパーズ処理 Viewファイルの書き出し処理 まとめ はじめに このエントリは、 Looker Advent Calendar 2022 における17日目の記事です。 本日は、基幹システムのような歴史的な蓄積がある既存のデータを後付けで可

こんにちは、データサイエンティストの堀部です。 この記事は Enigmo Advent Calendar 2022 の16日目の記事です。 普段の業務では情報検索(検索/レコメンド)、不正検知、ユーザー属性の推定などを BUYMA にプロダクトとして組み込むことを行っています。その中でも モデリング 以前のタスク設計や探索的データ分析( EDA : Explanatory Data Analysis)、データのクレンジング・前処理、特徴量エンジニアリングなどを主に SQL (BigQuery)で行う部分に

はじめに こんにちは。KINTOテクノロジーズでバックエンドを担当している森本です。 KINTO ONE開発グループに所属しています。Javaをメインに利用してKINTO ONEの開発をしています。今回は業務とは別に実施しているGraphQLの勉強会について紹介させていただきます。 GraphQLとは GraphQLとはクエリ言語の一つです。SQLのような他の言語とは異なり、特定のデータストアに限らず複数のデータソースとデータをやりとりすることができます。 バックエンド側でスキーマを定義しておけば、フロン

こんにちは、新卒エンジニアの川本です。 BUYMA のサーバーサイドを中心に開発しています。 この記事は Enigmo Advent Calendar 2022 の12日目の記事です。 データ モデリング について学習中で、DB設計の入門書を読んで論理設計について第1~5正規化といった内容を学習しましたが、いざ個人開発でデータ モデリング しようとしたらどうしたらいいのかよくわからず、手を動かすことはできませんでした。 そんな状況の時にイミュータ ブルデー タ モデリング という モデリング 手法について