Finatextホールディングス の技術ブログ
全30件
Snowflake における権限管理とコスト管理
2024/08/27
ブックマーク
こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ) です。 先日「 みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！ 」というイベントに登壇し、 Snowflake でデータ基盤を作る際に大事になる権限管理とコスト管理の方法について、ナウキャストの事例を紹介させていただきました。 https://medium.com/med
InnoDB のロックアーキテクチャに関する記事を書きました
2024/08/26
ブックマーク
Photo by Rubaitul Azad on Unsplash Finatext でプロダクト開発を行っている土田です。 社内向けに「 InnoDB のロックアーキテクチャを理解してデッドロックを説明できるようにする 」という記事を書いたところ、いろいろと反応をいただいたので Zenn 記事として公開することにしました。 InnoDB のロックアーキテクチャを理解してデッドロックを説明できるようにする 開発中に起こ
Go with Generics: なぜ Interface Union が使えないのか
2024/07/26
ブックマーク
シカゴの象徴「Cloud Gate」、通称「豆」 / 筆者撮影 こんばんは。 Finatext のクレジット事業でエンジニアをしています、東郷です。 先日、シカゴの GopherCon 2024 に参加してきたのですが、「 Advanced Generics Patterns 」を発表した Axel Wagner さんに飲み会で「なんで generics で interface Union を使えないの？」と相談したところ興味深い回答をいただけたので、ここに紹介させていただ
Snowflake x dbt 環境で改善したデータ分析・指数開発体験を大公開！
2024/07/19
ブックマーク
はじめまして！ナウキャストでデータエンジニア / データサイエンティストをしている大森 (X: @yukimooori )です。普段はオルタナティブデータを活用した民間統計の作成や、データパイプラインの構築などを行なっています。 ナウキャストでは2023年から Snowflake x dbt の環境を導入し、全社の各プロジェクトで利活用を進めています。 今回の記事ではこの Snowflake x dbt 環境 を
Platform Engineering Kaigi 2024での発表
2024/07/17
ブックマーク
こんにちは。プラットフォームチームの taiki45 です。7月9日に行われたPlatform Engineering Kaigi 2024にて、「セキュリティとコンプライアンスを保ちつつ生産性の高い開発を実現するためのプラットフォーム」というタイトルで、Finatextのプラットフォームチームでの取り組みを発表したので紹介します。 https://medium.com/media/8b71885c7c807cd3eb80663c5879a10c/href Platform Engineering Kaigi 2024 Pla
社内AIアイデアソンにて「LLMを用いた損害査定の効率化」で優勝しました
2024/07/05
ブックマーク
はじめに こんにちは。Finatextグループ保険事業でデータサイエンティスト / データエンジニアを担当している高橋です。 先日、Finatextグループで行われたAIアイデアソンに出場した件について書きます。アイデアソンの概要については次の記事でまとめていますので、よろしければそちらをご覧ください。 生成AIを用いた業務改善アイデアソンを開催しました さっそくど
自動生成されたhttpエンドポイントごとにカスタムミドルウェアを挿入したい話 ~実装編~
2024/07/04
ブックマーク
はじめに この記事は、Go Conference 2024 で発表した「自動生成されたhttpエンドポイントごとにカスタムミドルウェアを挿入したい話」にて、スライドには収まらなかったサンプル実装について書きます。 概要をざっくり掴みたい方は、スライドも併せてご覧ください 👋 https://medium.com/media/966e637c49df57058f5e0bc7e42c0bb7/href 参加レポも書いたので、こちらもチェックよろしくです
Automating Python UDFs and Procedures Deployment in Snowflake via CLI
2024/07/03
ブックマーク
はじめに こんにちは！Finatextのソフトウェアエンジニアの和田と申します。Finatextグループ内のナウキャストで、データの開発基盤を作るチームに所属しています。 ナウキャストでは、データ基盤にSnowflakeを採用しています。 今回は2024年の2月にVersion2がリリースされ、Public PreviewとなったSnowflake CLIを使って構築した、Python UDFs・Stored Proceduresの自動デプロイの仕組みを紹
Optimizing Pipelines: Controlling Concurrency in Snowflake and dbt
2024/07/02
ブックマーク
Intro Hi, I’m Masa (Masa Fukui, LinkedIn ), and I work as a data engineer at Nowcast (a Finatext Group company), primarily working on data pipelines that process various types of data, including job advertisement data and credit card transaction data. Our data infrastructure is built on Snowflake, dbt, and Airflow. Here is a summary of this blog post: In Snowflake and dbt, while it is convenient to perform many operations in a single model/query using dbt macros, excessive use of macros migh
Snowflake x dbt: クエリの並行実行で直面した課題と並行数のコントロール
2024/07/02
ブックマーク
はじめに こんにちは！ Nowcast (株式会社ナウキャスト, Finatextグループ)でデータエンジニアをしているマサ(Masahiro Fukui, Linkedin )と申します。求人広告データやクレジットカードの決済データをはじめとする様々なデータを処理するパイプラインとデータプロダクトの開発に携わってきました。 HRog賃金Now : 求人広告から作成される募集賃金指数や求人数指数 JCB消費NOW : クレ
LocalStackとaws-ses-v2-localを使って非同期のメール送信をローカルで再現する
2024/07/01
ブックマーク
Unsplash の Kristina Tripkovic が撮影した写真 おはこんばんちは。 Finatextグループのクレジット事業でソフトウェアエンジニアをしている Hanake です。 ところで、皆様はローカルでのメール送信をどのようにテストされていますか？ SMTP サーバを立ててテストしていますか？もしくは開発環境用にマネージドなメール送信サービスを利用していますか？ いずれにせよ、本番との
orgu: New OSS to implement GitHub organization-wide workflows
2024/06/27
ブックマーク
こんにちは、プラットフォームチームの taiki45 です。この記事ではGitHubのorganization-wide workflowsを実現するソフトウェアである “orgu” を紹介します。 https://github.com/Finatext/orgu GitHub organizationの全リポジトリまたは特定の属性のリポジトリ群に特定のジョブを実行し続けたい GitHubが用意している “Ruleset workflows” は似たことを実現できるがEnterpriseプランが必要 “orgu” とい
dbt-snowflake で delete+insert の incremental model を実装する際には join の爆発に気をつけよう
2024/06/25
ブックマーク
Photo by Melanie Hughes on Unsplash はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。Snowflake と dbt そして Terraform を使ってデータ分析基盤の構築をするとともに、POSデータのパイプラインの開発・運用を行っています。 POSデータの弊社のパイプラインは Snowflake と dbt で実装されているのですが、POSのトランザクシ
生成AIを用いた業務改善アイデアソンを開催しました
2024/06/11
ブックマーク
こんにちは、ナウキャストのデータ＆AIソリューションチームの 藤井 です。今回は、先日開催した、業務改善を目的とした社内AIアイデアソンのレポートを書いていこうと思います！ 開催までの経緯 Finatextグループは、生成AIに関連したソリューションを提供するデータ&AIソリューション事業を立ち上げ、生成AIを次の競争力の源泉にしようとしています。社内でも生
DBT Incremental Strategy and Idempotency
2024/05/21
ブックマーク
Background I’m Todd, a data engineer at Nowcast primarily working on data onboarding. In this tech blog I’ll give a brief history of ETL pipeline design at Nowcast, illustrate an issue we encountered between Airflow and DBT’s “Incremental Models”, and introduce the solution that we have developed. ETL in Python Historically at Nowcast, ETL pipelines were written using Python — the pipeline consisted of many Python scripts which applied transformations to data that was stored in