私たちのデータ基盤はDatabricks on AWSで構築されており、従来、Databricksのコンピュートクラスタは自社のAWSアカウント内のEC2インスタンス上で稼働していました。昨年、DatabricksのサーバレスコンピュートがGA(一般提供)となり、その迅速な起動時間やインフラ管理の簡素化という魅力から、今年の春頃から全社的な利用を開始しました。 しかし、導入を進める中で想定外のコスト増加という課題に直面しました。本記事では、このコスト問題をどのように分析し、解決したのか、また、検証の過程で