株式会社カケハシ の技術ブログ
全271件
2022年版 AWS Glue の Spark Job で Aurora MySQL にデータを書き込む方法まとめ
2023/01/31
ブックマーク
KAKEHASHI でバックエンドエンジニアをしている横田です。 私が運用している Web サービスでは、AWS Glue で ETL 処理をしたデータを Aurora MySQL に投入することでユーザーが利用できるようにしています。 その中でも「データを Aurora MySQL に投入する」方法に関して、今まで色々なパターンを試してきました。 AWS Glue の Job で作成したデータを Aurora に投入するいくつかのパター
RxJS - mergeMap vs switchMap、適切に使い分けましょう！
2023/01/17
ブックマーク
はいさい！カケハシの新米メンバー、オースティンと申します。 沖縄から参上しております！ 概要 RxJS の mergeMap と switchMap の違いと使い方について解説します。 背景 Observable を使っていると、必ず直面する問題があります。それは、 複数の Observable をどうやって一緒に実行できるか 、という問題です。 とある Observable の処理が終わった後に、そのデータを元に、別の O
React + esbuildの開発環境にSASSを導入する
2023/01/11
ブックマーク
こんにちは！カケハシにて薬局と患者の関係性を向上させるためのツールである 患者リスト というWEB業務アプリケーションを開発している小室と申します。 本プロダクトのフロントエンドの開発環境としては、 React + esbuild を採用しており、採用の経緯や実践している環境構築方法などは以下の通り、 TechPlay や Qiita などに記事を投稿してきました。 TechPlay: 新規事業プ
一体いつから――――カケハシの開発組織がフラットだと錯覚していた?
2022/12/27
ブックマーク
こちらの記事は、 カケハシ Advent Calendar 2022 の25日目の記事になります。 こんにちは、四番隊隊長とは声が低いこと以外何一つ共通点がないCTOの海老原です。 すみません、タイトルは釣りタイトルです。何故こんな釣りをアドベントカレンダーのラストに持ってきたかですが…しばしばスタートアップの経営陣の最大のミッション・役割の一つとして採用が挙げられます
データアナリストと協業してデータ分析基盤を構築した際に感じたDatabricksの良さ
2022/12/25
ブックマーク
こちらの記事は Databricks Advent Calendar 2022 の25日目の記事になります。 こんにちは、カケハシで Musubi Insight という薬局向けBIツールのバックエンドエンジニアをしている高田と申します。 BIツールを開発しているということもあり日常的にETL処理の実装を行っていますが、普段の開発では AWS Glue を採用しています。 しかし、カケハシでは 全社的なデータ活用基盤のプラッ
pandasユーザーがPandas API on Sparkでつまづいたあれこれ
2022/12/24
ブックマーク
こちらの記事は Databricks Advent Calendar 2022 の24日目の記事です。 はじめに 初めまして。カケハシでデータサイエンティストをしている赤池です。 弊社はフルリモートで業務できるため今年9月から地元の仙台市で業務していますが、本格的な冬の到来を前に戦々恐々しています。（寒い。雪。路面凍結。） さて、あなたは「Pandas API on Spark」を知っていますか？ これは「panda
マイクロサービスを考慮した認可の設計
2022/12/24
ブックマーク
この記事は、カケハシ Advent Calendar 2022 の 24 日目 の記事になります。 こんにちは、木村です。( @kimutyam ) 医薬品発注管理最適化領域の新規事業のテックリード兼エリアPO、プラットフォームドメイン全体のアーキテクト、データ基盤チームのアーキテクトサポートの3つを兼務しているエンジニアです。直近はプラットフォームドメインの領域のテナント管理の立ち上げに
Databricks導入でデータ分析における苦しみや悩みが消え、夢も叶った話
2022/12/23
ブックマーク
こちらの記事は Databricks Advent Calendar 2022 の23日目の記事です。 はじめに 初めまして。カケハシにてデータサイエンティストをしている赤池です。 業種的に、自己紹介の際に統計学のビッグネームとの関係性を聞かれることがたまにありますが 全く関係ありません 。統計学もがんばります。 突然ですが、あなたの分析環境では「 DBから抽出したデータをPythonやRなどで利
Databricksでのデータ権限管理方針について
2022/12/23
ブックマーク
こちらの記事は Databricks Advent Calendar 2022 の23日目の記事です。 カケハシのデータ基盤チームの松田です。カケハシでは今年の7月からDatabricksを利用しており、そろそろ半年ぐらい経とうとしています。Databricksを採用した背景については、以下の記事に詳細をまとめていますので、まだ拝見されていない方は見ていただければ幸いです。色々な人から「とても参考になった
社内勉強会で「共有知」を作ろう！
2022/12/23
ブックマーク
KAKEHASHI でテックリードをしている横田です。 KAKEHASHI に入社して早 5 年が経ちまして、色々な経緯から社内勉強会の運営をしてきました。 その中で感じた社内勉強会による共有知の有用性について、紹介させていただきたいと思います KAKEHASHI の勉強会について KAKEHASHI 社内では、エンジニア・非エンジニアに限らずさまざまな勉強会が立ち上がり、チームをまたがって学
Redash から Databricks SQL へ移行すると何がどう変わる？？
2022/12/22
ブックマーク
こちらの記事は Databricks Advent Calendar 2022 の22日目の記事になります。 こんにちは、カケハシで Musubi Insight のバックエンドエンジニアをしている末松です。 カケハシでは 全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用 しておりますが、それまでは Redash を利用していました。 Redash は Databricks社にM&A された背景もあり、基本的には Redash を使っていた
長期のプロジェクトを小さく完了していく
2022/12/22
ブックマーク
こちらの記事は、 カケハシ Advent Calendar 2022 の22日目の記事になります。 こんにちは。KAKEHASHIでおくすり連絡帳 Pocket Musubi というサービスを開発している牧野です。 この記事では、アジャイルに開発をする中で、リリースまでに数ヶ月を要するプロジェクトを進める場合に意識していることについて書かせていただきます。 小さく完了していく アジャイル開発を経験した
カケハシデータ基盤チームの1年間の取り組みを振り返ろう
2022/12/21
ブックマーク
こちらの記事は カケハシ Advent Calendar 2022 の21日目の記事になります。 はじめに こんにちは、カケハシのデータ基盤チームのデータエンジニアの大木です。今年も残すところ10日ほどになりましが、皆さんいかがお過ごしでしょうか。 私はカケハシに入社したのが2022年の1月ですので、もうすぐ1年が経とうとしています。本当に月日の流れは早いものです。 個人的に入社1
MacBook Proのキーボード使いが、自作キーボードに入門してみた（自作キット編）
2022/12/20
ブックマーク
こちらの記事は、 カケハシ Advent Calendar 2022 の20日目の記事になります。 はじめまして！ プラットフォームチームの筋肉大好き五十嵐です💪 この記事では自作キットのキーボードに入門して約4か月の私が、入門するきっかけや入門してどうだったのかお話します。 入門のきっかけ 分割型の自作キットのキーボードを導入した、と知人エンジニアが語っているのを聞いた
Lambdaを助けるのに理由がいるかい？（スロットリングの話）
2022/12/19
ブックマーク
こちらの記事は カケハシ Advent Calendar 2022 の19日目の記事になります。 あっという間に2022年も終わりますね⛄️ プラットフォームチームの石黒です。 今年は遅ればせながらFF9をプレイしまして、トロフィーをゲットするためにフィールド上でモーグリのモグオをたてぶえで呼びつけ、「なんでもない」を繰り返して怒られてしまったときに、ふとLambdaのことを思い出しま