こちらの記事はDatabricks Advent Calendar 2022の25日目の記事になります。 こんにちは、カケハシでMusubi Insightという薬局向けBIツールのバックエンドエンジニアをしている高田と申します。 BIツールを開発しているということもあり日常的にETL処理の実装を行っていますが、普段の開発ではAWS Glueを採用しています。 しかし、カケハシでは全社的なデータ活用基盤のプラットフォームとしてDatabricksが採用されたこともあり、とあるプロジェクトでDatabricksを活用してデータエンジニアやデータアナリストとうまく協業できたので、その時の事例を紹介…

こちらの記事はDatabricks Advent Calendar 2022の24日目の記事です。 はじめに 初めまして。カケハシでデータサイエンティストをしている赤池です。 弊社はフルリモートで業務できるため今年9月から地元の仙台市で業務していますが、本格的な冬の到来を前に戦々恐々しています。（寒い。雪。路面凍結。） さて、あなたは「Pandas API on Spark」を知っていますか？ これは「pandasと同じ書き方でSpark上で処理を実行できる」という代物で、pandasでは処理に時間がかかる or そもそも扱えないような大規模データを、ほとんどpandasと同じ感覚で処理できる…

この記事は、カケハシ Advent Calendar 2022 の 24 日目 の記事になります。 こんにちは、木村です。(@kimutyam) 医薬品発注管理最適化領域の新規事業のテックリード兼エリアPO、プラットフォームドメイン全体のアーキテクト、データ基盤チームのアーキテクトサポートの3つを兼務しているエンジニアです。直近はプラットフォームドメインの領域のテナント管理の立ち上げに集中をしています。 プラットフォームドメインとは カケハシはMusubiを始めとした5つのサービスを提供しています。これらは独立して価値を届けられる単位ではありますが、サービスを横断してしなやかなユーザー体験を提…

こちらの記事はDatabricks Advent Calendar 2022の23日目の記事です。 はじめに 初めまして。カケハシにてデータサイエンティストをしている赤池です。 業種的に、自己紹介の際に統計学のビッグネームとの関係性を聞かれることがたまにありますが全く関係ありません。統計学もがんばります。 突然ですが、あなたの分析環境では「DBから抽出したデータをPythonやRなどで利用する際にうまく連携できていない」なんてことはありませんか？ そして「この処理だけはRでやりたいが、そのためだけに別環境を開きたくない」なんて思うことはありませんか？ このブログでは、データサイエンティストの立…

こちらの記事はDatabricks Advent Calendar 2022の23日目の記事です。 カケハシのデータ基盤チームの松田です。カケハシでは今年の7月からDatabricksを利用しており、そろそろ半年ぐらい経とうとしています。Databricksを採用した背景については、以下の記事に詳細をまとめていますので、まだ拝見されていない方は見ていただければ幸いです。色々な人から「とても参考になった！」と反響を呼んでいるオススメの記事です！ 今回はDatabricks導入のタイミングで、データの閲覧権限とその管理者について見直したので、その検討過程と現時点での方針についての投稿になっています…

KAKEHASHI でテックリードをしている横田です。 KAKEHASHI に入社して早 5 年が経ちまして、色々な経緯から社内勉強会の運営をしてきました。 その中で感じた社内勉強会による共有知の有用性について、紹介させていただきたいと思います KAKEHASHI の勉強会について KAKEHASHI 社内では、エンジニア・非エンジニアに限らずさまざまな勉強会が立ち上がり、チームをまたがって学習する文化があります。 例えば、今まで私が参加した勉強会には以下のようなものがありました。 技術 Web API の設計 輪読会 ドメイン駆動設計 勉強会 実践的データ基盤への処方箋 輪読会 データ基盤勉…

こちらの記事は Databricks Advent Calendar 2022 の22日目の記事になります。 こんにちは、カケハシで Musubi Insight のバックエンドエンジニアをしている末松です。 カケハシでは 全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用 しておりますが、それまでは Redash を利用していました。 Redash は Databricks社にM&A された背景もあり、基本的には Redash を使っていた感覚のまま Databricks SQL を使用することができます。 とはいえ細かなところに違いがあるので、カケハシ内でも Reda…

こちらの記事は、カケハシ Advent Calendar 2022の22日目の記事になります。 こんにちは。KAKEHASHIでおくすり連絡帳 Pocket Musubi というサービスを開発している牧野です。 この記事では、アジャイルに開発をする中で、リリースまでに数ヶ月を要するプロジェクトを進める場合に意識していることについて書かせていただきます。 小さく完了していく アジャイル開発を経験したことがあれば アジャイルソフトウェアの12の原則 を読んだことがある人は多いかと思います。 その中で 顧客満足を最優先し、価値のあるソフトウェアを早く継続的に提供します。 動くソフトウェアを、2-3週…

こちらの記事はカケハシ Advent Calendar 2022 の21日目の記事になります。 はじめに こんにちは、カケハシのデータ基盤チームのデータエンジニアの大木です。今年も残すところ10日ほどになりましが、皆さんいかがお過ごしでしょうか。 私はカケハシに入社したのが2022年の1月ですので、もうすぐ1年が経とうとしています。本当に月日の流れは早いものです。 個人的に入社1年という節目を迎えるということもあり、この記事では私がデータ基盤チームにJOINしてからの1年間のチーム活動を振り返ってみようと思います。 2022/01~ 入社、チームのミッション・コアバリューの設定 まずは私が入社…

こちらの記事は、 カケハシ Advent Calendar 2022 の20日目の記事になります。 はじめまして！ プラットフォームチームの筋肉大好き五十嵐です💪 この記事では自作キットのキーボードに入門して約4か月の私が、入門するきっかけや入門してどうだったのかお話します。 入門のきっかけ 分割型の自作キットのキーボードを導入した、と知人エンジニアが語っているのを聞いたのがきっかけでした。 それまで私はMacBook ProのUSキーボードを使っていましたが、ちょうどキーボード操作時の肘の置き場所に困っていた頃で、知人の話を聞いていく中で 分割型のキーボード導入したら、今使っている椅子のアー…

こちらの記事は カケハシ Advent Calendar 2022 の19日目の記事になります。 あっという間に2022年も終わりますね⛄️ プラットフォームチームの石黒です。 今年は遅ればせながらFF9をプレイしまして、トロフィーをゲットするためにフィールド上でモーグリのモグオをたてぶえで呼びつけ、「なんでもない」を繰り返して怒られてしまったときに、ふとLambdaのことを思い出しました。 AWS Lambdaは拡張性に優れたコンピューティングサービスですが、モグオと同じく呼び出し回数の制約があります（モグオには怒られるだけですが…）。 今回はLambdaの呼び出し回数にフォーカスして、スロ…

この記事は、カケハシ Advent Calendar 2022 の 18 日目 の記事になります。 はじめまして、こんにちは。 おくすり連絡帳「Pocket Musubi」というプロダクトで、エンジニアリングマネージャーをしています @hisasann と申します。 人にフォーカスした開発組織作りに力を入れ、楽しい技術集団を作り上げることに日々奮闘しております。 ぼくは、 20 年近く Web の業界でいて、ソフトウェアエンジニアとして開発をしてきました。 今でも第一線ではないですが、なるべくコードは書いていて、それは好きというのがそもそもですが、日々テクノロジーの変化を楽しんでいます。 特に…

こちらの記事は カケハシ Advent Calendar 2022 の17日目の記事になります。 こんにちは、カケハシで Musubi Insight のバックエンドエンジニアをしている末松です。 Musubi Insight に表示するデータは夜間の日次バッチで集計しているのですが、テスト・品質担保・パフォーマンスなどなど悩みが絶えません... 以前もバッチ処理のテストに関するブログを掲載しましたが、今回はパフォーマンスに関する記事になります！ https://kakehashi-dev.hatenablog.com/entry/2022/08/12/094856 Musubi Insigh…

こちらの記事は カケハシ Advent Calendar 2022 の16日目の記事になります。 はじめに こんにちは、おくすり連絡帳 Pocket Musubi というサービスを開発している宮里です。 サービスの運用をしていると、開発当初とはサービスとして重要視すべきことや技術トレンドも変化していき、より適したライブラリやフレームワークへのリプレイスを行うことがある思います。 おくすり連絡帳でも、デザイン大幅刷新のタイミングに合わせて、フロントエンドのフレームワークを Angular から React(Next.js) へのリプレイスをしよう！という話が挙がりました。すべての機能を新しいデザ…

こんにちは。Musubi AI 在庫管理の開発チームで機械学習エンジニアをしている保坂です。 こちらの記事はカケハシ Advent Calendar 2022 の 15 日目の記事になります。 今日はMusubi AI在庫管理の需要予測や発注おすすめ作成といったデータサイエンスロジックの開発において活用している、 型ヒントの恩恵を受けやすくするための簡単なpandas拡張についてご紹介したいと思います。 Pythonはバージョン3.5より型ヒントがサポートされるようになり、静的型付け言語と同等とまでは行かないまでも、同様の恩恵が受けられるようになってきましたね。 Pythonにおける型ヒントの…

こちらの記事は、カケハシ Advent Calendar 2022 の14日目の記事になります。 はじめに こんにちは！KAKEHASHIでおくすり連絡帳 Pocket Musubi というサービスを開発している星川です。チーム内では主にFlutterを利用したスマートフォンアプリ開発を担当しています。 Flutter開発に関わるのは初めてなので、初心に帰って新鮮な気持ちで取り組んでいます。特にレイアウトやUIコンポーネントはFlutter独自の組み心地があり、改めてiOSやAndroidのデザインやUIに興味を持ちました。 ということで今回の記事では、iOS / Android 双方のデザイ…

こちらの記事はカケハシ Advent Calendar 2022 の 13 日目の記事になります。 https://adventar.org/calendars/7444 こんにちは。Musubi AI 在庫管理のフロントエンド開発を担当している鳥海です。 上記プロダクトのフロントエンドチームでは、私がチームにジョインした時（2022/9/1）と同時期から MSW が導入され、開発で用いるようになりました。 今回は、この MSW （とその周辺パッケージ）がすごく便利で感激したので、簡単にご紹介したいと思います。 この記事で紹介するもの この記事では、下記項目についての説明をしていきたいと思いま…

こちらの記事は カケハシ Advent Calendar 2022 の 12日目の記事になります。 https://adventar.org/calendars/7444 Poetry と Streamlit で Web アプリ開発 はじめに はじめまして。Musubi の開発チームでフロントエンドを主に担当しております、井上です。どうぞよろしくお願い致します。 Musubi の開発ではフロントエンドのフレームワークとして Angular を、バックエンドのフレームワークとして Pyramid を採用しております。 ( もちろん、これら以外にも採用しているライブラリはありますし、CI や Ia…

こちらの記事は カケハシ Advent Calendar 2022 の11日目の記事になります。 今年10月からAI在庫管理の機械学習エンジニアをやっております中野です。 今回は新型ウイルス感染者数予測を例に取ってProphetの性質について見ていきます。 そもそも新型ウイルス感染者数予測のようなタスクに時系列予測モデルで立ち向かうのは無理ゲーなのですが、我々エンジニアには何とか予測値を捻り出さないといけない状況もままあるでしょう。 環境の変化が激しい系列ではProphetはどの程度使い物になるのでしょうか。 この記事で扱う内容 Prophetの数理的な性質 この記事で扱わない内容 感染者数予…

本記事は カケハシ Advent Calendar 2022 10 日目の記事です。 Musubi 開発チームの加藤です。1 年ぶり ですね。 今回は「私の開発環境 2022 冬」をお送りしようと思ったのですが、今年はリポジトリをたくさんセットアップしたので、 「リポジトリを作成したら最初にすること」をお送りします1。 はじめに プロジェクトなり個人開発なりでリポジトリを作成する際、組織や開発者の中で共通して使用するツールやその設定ファイルがあると思います。 2022 年を通じて自分の中である程度型ができてきたので、それをご紹介しようと思います。 前提 Python で実装したコードを Ser…