はじめに 2025年5月、dbt Labs から新しい実行エンジン dbt Fusion のpublic beta がリリースされました。現在はGA（General Availability）に向けた動きも進んでいます。 dbt Fusion による実行速度の向上やSQLの理解力強化については、すでに多くの場で紹介されていますが、個人的にはデータ分析基盤の拡張において避けて通れない「ELTパイプラインの変更」への寄与に着目しています。 そこで本記事では、dbt Fusion が提供する変更関連の機能に絞り、修正時と実行時の観点からその便利さを紹介します。 ! 紹介する機能は、執筆時点

1. はじめに：なぜ「ただ並列化」しても速くならないのか？ Snowparkを用いてデータ分析や加工を行っていると、処理時間の長さがボトルネックになる場面に直面します。その際、「Pythonなのだから並列化すれば速くなるはずだ」と考えるのは自然な発想でしょう。 しかし実際に実装してみると、次のような問題に遭遇することがあります。 マルチプロセス（Joblib）で高速化を試みたところ、PicklingError が発生する マルチスレッド化しても、処理時間がほとんど変わらない（場合によっては遅くなる） その背景には、Python特有の GIL（Global Interpreter

はじめに 皆さんこんにちは！九州大学修士1年の羽田野武蔵です！ 2025年12月に、マッチングアプリ ...