株式会社カケハシ の技術ブログ

dbxを使用してDatabricks Workflowをデプロイする

こんにちは、カケハシのデータ基盤チームでデータエンジニアをしている伊藤と申します。 カケハシでは 全社的なデータ活用基盤のプラットフォームとしてDatabricksを採用し 、運用して1年以上経過しました。 我々のチームではバッチ/ストリーム処理のDatabricks Workflowを50個以上作成し、分析用データとして社内提供をしております。 ワークフローのデプロイに関しては

リソースの大掃除にはChatGPT

はじめに カケハシで BI ツールを開発している横田です。 AWS のリソース、いつの間にか増えていませんか? 今回は、ChatGPT を使って AWS のリソースを簡単に可視化することができたので、紹介したいと思います。 今回の課題と工夫したこと 我々のチームでは、半期に一回大掃除会を開催しています。 今回は、我々が管理している AWS Glue の job のうち使っていないものを

PyCon APAC 2023 に参加します!

プラチナスポンサーとして参加します! 我々株式会社カケハシは、2023年10月26日(木)から10月29日(日)に TOC有明コンベンションホール で開催される PyCon APAC 2023 に、プラチナスポンサーとして参加することとなりました! 2023-apac.pycon.jp 当日はカケハシブースにて皆様のご来場をお待ちしております!皆さんと一緒にイベントを盛り上げていきたいと思います! PyCon APAC 2023 P

Engineering Managerという役割がなぜわかりづらいのか

カケハシでVP of Engineeringをやっています、 ゆのん ( id:yunon_phys )です。僕はEngineering Manager(EM)とは何かについて、かれこれ5年ぐらい EM.FM というPodcastや、ブログを通じていろんな発信をしてきました。そうすると色んな質問を各所から受けるわけなんですが、一番聞かれる質問第一位は、 「結局EMって何する人なんですか?」 です。一口にEMって言っても、なんか人によって

社内ドキュメントはなぜ更新されないのか?情報の鮮度を最小限の運用負荷で維持する「イミュータブルドキュメントモデル」のススメ

はじめに こんにちは。カケハシの各プロダクトを支えるプラットフォームシステムの開発チームでテックリードを担当しているkosui (@kosui_me) です。 プロダクト開発の世界では、明瞭な社内向けドキュメントを書くための方法が数多く提案されてきました。読者の中には、製品要求を明瞭にするためにPRD (Product Requirements Document、製品要求仕様書) を書き、プロジェクトの背

fukabori.fmでCTOがエンジニア組織づくりについて対談しました

2023年9月5日に fukabori.fm で iwashiさん と カケハシCTOの海老原 が、創業期からのエンジニア組織づくり、帰属意識の高め方、医療ドメインの難しさ・技術選定などについて語りました。 視聴された方からは… 『カケハシ社の回を聞いた、めっちゃ考えられてて良い話だった!開発チームごとにコードネーム的な物がある話はエモいけど好き。医療ドメインって聞くと複雑そ

t-wadaさん「質とスピード」カケハシ社内講演会

2023年9月25日、和田卓人さん(t-wadaさん)をお招きし社内講演会を開催しました。 和田 卓人さん / プログラマー、テスト駆動開発者 学生時代にソフトウェア工学を学び、オブジェクト指向分析/設計に傾倒。執筆活動や講演、ハンズオンイベントなどを通じてテスト駆動開発を広めようと努力している。 『プログラマが知るべき97のこと』(オライリージャパン、2010)監

Renovate の対応状況を確認し、開発者がライブラリアップデートを頑張っていることを可視化した

ライブラリのバージョンアップはセキュリティを担保する上で重要で、大変な作業です。 その作業を省力化してくれる Renovate をカケハシでは 2020 年から導入しています。 そんな Renovate の対応状況を可視化し、セキュアな状態を保てているかを確認しました。 Renovate とは Renovate は依存パッケージのアップデートを半自動化してくれる Github App です。 www.mend.io 以下の機能

ECS起動を高速化するSeekable OCI(SOCI)インデックスをGitHub Actionsでも作る

SOCIとは? SOCI(Seekable OCI)はAWSが開発しているコンテナイメージの遅延読み込みのための仕組みです。コンテナイメージには起動時には使わないデータも多く含まれています。遅延読み込みによって、起動時には最小限のデータのみ読み込んで起動時間を短縮することを目的としています。コンテナ起動時の遅延読み込み自体は以前から存在しており、有名なものに estargz が

Retrospective - 「Starfish」という振り返り手法

こんにちは。最近暑すぎて毎日息子とかき氷を食べまくっている(一週間でシロップ使い果たして妻にドン引きされてる)カケハシでスクラムマスターやっている窪内です。 みなさんRetrospective(振り返り)やってます? 私が所属するチームでは、頻繁に振り返りを行う文化があります。 スプリント終わり プロジェクトローンチ後 障害発生後 その他、必要に応じて都度実

ETL ワークフローに Aurora DB Cluster Export を導入してみた

はじめに こんにちは、カケハシの坂本です。 「AI 在庫管理」というプロダクトの ETL ワークフローに Amazon Aurora のマネージドサービスである Aurora DB Cluster Export という機能を導入したことについてお話しします。 AI 在庫管理では、医薬品などの需要予測を行うために深夜に日次バッチを実行しています。 日次バッチでは、バックエンドの Aurora MySQL に格納されているデー

Pocket Musubi開発チームのRetrospective

こんにちは、カケハシの三浦です。 今回はカケハシの Pocket Musubi チームのスクラムについて、中でも Retrospective について書いていきます。この記事の内容は1つのチームの例ですが、同様の問題や"気になり"を抱えるチームにとって何かの気づきとなれば嬉しいです。 Pocket Musubi チームの Sprint Retrospective 今回は Pocket Musubi チームが Retrospective において大切にしている点を紹

AWSのIoT CoreとIoT Device Shadowで管理する「レセハブ」の紹介

はじめに こんにちは。処方箋データ基盤チームの山田です。 私の所属するチームでは、レセハブというIoTデバイスを作っています。 今回は、レセハブの機能や特徴・および採用されている技術について紹介いたします。 これまで、処方箋データ基盤チームのプロダクトや使っている技術についてあまり発信していなかったので、今回の記事で初めて紹介させていただく

GitHub Actions料金 Datadogによる可視化と削減のヒント

開発コストのうちGitHub Actions料金が占める割合は小さい傾向にありますが、組織規模によっては削減の必要があるでしょう。 この記事では、主にDatadogを利用した可視化による特定方法と、一般的なコスト削減のヒントを述べます。 前提:パフォーマンスを改善する 従量課金のアプリケーションではパフォーマンス ≒ コストです。まずは実行時間から改善しましょう。

RDSの新証明書の有効期限を考える

RDSの50年, 100年有効な認証局証明書 2023年1月13日のリリース で、RDS向けの新しい認証局(CA)証明書が提供されました。 新しいCA証明書には以下の特徴があります 有効期限が50年あるいは100年と長い RSA 2048bitの証明書が50年で、RSA 4096bit, ECDSA 384bitのものが100年 これまでのCA証明書は有効期限が5年 ECDSA形式の証明書が提供されている RSAと比べて短い鍵長で高いビットセキュリ