Finatextホールディングス の技術ブログ
全31件
DBT Incremental Strategy and Idempotency
2024/05/21
ブックマーク
Background I’m Todd, a data engineer at Nowcast primarily working on data onboarding. In this tech blog I’ll give a brief history of ETL pipeline design at Nowcast, illustrate an issue we encountered between Airflow and DBT’s “Incremental Models”, and introduce the solution that we have developed. ETL in Python Historically at Nowcast, ETL pipelines were written using Python — the pipeline consisted of many Python scripts which applied transformations to data that was stored in
Rust関連のアウトプットの紹介
2024/05/16
ブックマーク
こんにちは、プラットフォームチームの Taiki です。 Finatextのプラットフォームチームでは、最近GoだけでなくRustも用いているので、Rust関連のブログ記事やZenn本を書きました。ぜひご覧ください！ https://medium.com/media/8e8e799d90c074249d5d00d189ca025d/href https://medium.com/media/d6cc252e92f63973065eed666aabde23/href https://medium.com/media/93da62a7168749b8109f5b7e865c72db/href 特に実用Rust本はたくさんの方に反
システムのエントロピーをコントロールすることの大切さ
2024/05/15
ブックマーク
Photo by Aron Visuals on Unsplash こんにちは、Finatextの @s_tajima です。 今回は、社内向けに書いた、「システムのエントロピーをコントロールすることの大切さ」という記事を、社外向けにも公開します。「Finatextは、こんな考えのもとにシステムのアーキテクチャを決めているのか」という参考にしていただけると嬉しいです！ この記事における「システムのエントロピー」と
ガバナンスが効くAzureの設定をゼロから構築した話
2024/04/23
ブックマーク
はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。会社の様々な開発基盤を作るチームに所属していて、データエンジニアとしてパイプラインを開発しつつ、様々なクラウドを便利に利用できる仕組みを作る（CCoE的な）仕事を担当しています。 ところで、皆さんはLLMを利用していますか？ 弊社でも生成AIが
データに付加価値を与える技術
2024/04/11
ブックマーク
はじめに 株式会社ナウキャスト でデータエンジニアをしている沼尻です。 この記事では、私が担当している「マッピング」という業務についてご紹介したいと思います。マッピングと言われてもピンと来ないと思いますが、あまり語られることのない（それがゆえに何と呼称したらよいかさえ定かではない）データエンジニアリングの重要な一領域だと思っていて、他
Finatextインターンを終えて〜心理的安全性の重要性〜
2024/03/11
ブックマーク
Photo by Annie Spratt via Unsplash 2023年7月までFinatextグループで長期インターンをしていた @88888888_kota が、体験記を書いてくれました。心理的安全性を保つために実施していたことなども紹介しています。 ぜひご覧ください！ Finatextインターンを終えて〜心理的安全性の重要性〜 Finatextインターンを終えて〜心理的安全性の重要性〜 was originally published in The Finatext Tech Blog on Medium
Inspireのダッシュボード機能実装について
2023/12/23
ブックマーク
この記事は Finatextグループ10周年記念アドベントカレンダー の23日目の記事です。 昨日は三浦さんが「 あなたに届けるため、僕たちは一瞬の刹那を駆け抜ける -生命体と夜空の星について- 」という記事を公開しています。 はじめに Finatext保険事業でデータ周りのエンジニアをしている高橋といいます。 今年の９月に、Finatextから以下のリリースを出しました。 組込型保
Streamlit Bootcamp #1
2023/12/19
ブックマーク
この記事は Finatextグループ10周年記念アドベントカレンダー の19日目の記事です。 昨日は @toshipon さんが「 レガシーなマクロ付きExcelファイルをAPI化する話 」という記事を公開しています。 はじめに こんにちは、Fiantextグループのナウキャストでデータエンジニアをしている瀬能です。 ナウキャストではDatahubという snowflakeを用いたデータ分析基盤 を活用しています。先
レガシーなマクロ付きExcel ファイルを API 化する話
2023/12/18
ブックマーク
こんにちは、Finatextの @ toshipon です。この記事は Finatextグループ10周年記念アドベントカレンダー の18日目の記事です。昨日は河本さんが「 メガベンチャーから来たエンジニアおじさんが振り返る、スタートアップ選びのポイント 」という記事を公開しています。 この記事の概要 多くの企業では、既存の業務プロセスにおいて Excel マクロや関数を活用した複雑な計算処
Improving Version Management of Data
2023/12/16
ブックマーク
Hello! I’m Todd, a Data Engineer at Nowcast. This article is the 16th day of the Finatext Group 10th Anniversary Advent Calendar. Yesterday, Sugawara-san published an article titled “ 『投資がわからない』の正体 ～投資を始めるベストタイミングとは～ ”. What is data versioning. Much like how software engineers version their software, data engineers need to version their data. Generally speaking if the contents of the data changes, we should introduce a new vers
Adapting Design Docs Practice for Mid-Sized Companies
2023/12/14
ブックマーク
こんにちは、Finatextの @taiki45 です。この記事は Finatextグループ10周年記念アドベントカレンダー の14日目の記事です。昨日は河端さんが 「保険業界の Vertical SaaS『Inspire』のビジネスモデル」 という記事を公開しています。 インターネットサービス業界でDesign Docsと呼ばれているプラクティスがあります。これは、それなりに規模のあるなにかを作ったりタスクを行う前に
Enabling Teamを立ち上げました
2023/12/11
ブックマーク
この記事はFinatextグループ10周年記念アドベントカレンダーの11日目の記事です。 昨日は狩野さんが「 1人目QAとして他業種から飛び込むときのマインドセット 」という記事を公開しています。 こんにちは、Finatextの @s_tajima です。 今回は、Finatextグループにおいて、「競争優位性を生み出す技術」をより増やしていくためにEnabling Teamを立ち上げた話です。弊社のEnabling Team
1人目QAとして他業種から飛び込むときのマインドセット
2023/12/10
ブックマーク
この記事は、 Finatextグループ10周年記念アドベントカレンダー の10日目の記事です。昨日は關さんが「 法人向けPCのスマートな買い方 」という記事を公開しています。 こんにちは！FinatextでQAエンジニアをしている狩野(かりの)です。 7年くらい前からQA(Quality Assurance 品質保証)エンジニアを名乗り、ゲーム → AI医療機器 → ヘルスケアDX → 金融と全然異なる業種を渡り歩い
GitHub ActionsのみでAtlantis likeなTerraform CICDの仕組みを構築する
2023/12/07
ブックマーク
この記事は Finatextグループ10周年記念アドベントカレンダー の7日目の記事です。 昨日は大木さんが「 AWS re:Invent 2023に参加してきました 」という記事を公開しています。 はじめに こんにちは、Finatextグループの ナウキャスト でデータエンジニアをしている六車( X: @mt_musyu )です。 Terraformを導入してIaC化をしたのちに、IaCのコードレビューの仕組み、安全なTerraform Applyの
AWS re:Invent 2023に参加してきました
2023/12/06
ブックマーク
この記事は、 Finatextグループ10周年記念アドベントカレンダー の6日目の記事です。昨日は翁長さんが「 Amazon AuroraとSnowflakeをDynamic Tableを用いてリアルタイム連携したお話 」という記事を公開しています。 こんにちは、エンジニアの大木です。 先日、ラスベガスで開催された AWS re:Invent 2023 に参加してきました。弊社からは合計3人での参加で、自分自身は初めての参加で