「TECH PLAY 技術ブログまとめ」では様々な企業やコミュニティが発信する技術ブログの更新情報をまとめてお届けしています。 プログラミングやインフラ、アーキテクチャといった技術情報はもちろん、マネージメントや開発プロセスなどIT業界で働く皆様のヒントや刺激になる情報が日々蓄積されています。 知りたい分野がある場合はタグから選択して絞り込むこともできますし、気になる企業やグループはお気軽にフォローしてみてください。
Background I’m Todd, a data engineer at Nowcast primarily working on data onboarding. In this tech blog I’ll give a brief history of ETL pipeline design at Nowcast, illustrate an issue we encountered between Airflow and DBT’s “Incremental Models”, and int