「Snowflake」に関連する技術ブログ
企業やコミュニティが発信する「Snowflake」に関連する技術ブログの一覧です。
全60件中 16 - 30件目
Optimizing Pipelines: Controlling Concurrency in Snowflake and dbt
2024/07/02
ブックマーク
Intro Hi, I’m Masa (Masa Fukui, LinkedIn ), and I work as a data engineer at Nowcast (a Finatext Group company), primarily working on data pipelines that process various types of data, including job advertisement data and credit card transaction data. Our data infrastructure is built on Snowflake, dbt, and Airflow. Here is a summary of this blog post: In Snowflake and dbt, while it is convenient to perform many operations in a single model/query using dbt macros, excessive use of macros migh
Snowflake x dbt: クエリの並行実行で直面した課題と並行数のコントロール
2024/07/02
ブックマーク
はじめに こんにちは！ Nowcast (株式会社ナウキャスト, Finatextグループ)でデータエンジニアをしているマサ(Masahiro Fukui, Linkedin )と申します。求人広告データやクレジットカードの決済データをはじめとする様々なデータを処理するパイプラインとデータプロダクトの開発に携わってきました。 HRog賃金Now : 求人広告から作成される募集賃金指数や求人数指数 JCB消費NOW : クレ
dbt-snowflake で delete+insert の incremental model を実装する際には join の爆発に気をつけよう
2024/06/25
ブックマーク
Photo by Melanie Hughes on Unsplash はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。Snowflake と dbt そして Terraform を使ってデータ分析基盤の構築をするとともに、POSデータのパイプラインの開発・運用を行っています。 POSデータの弊社のパイプラインは Snowflake と dbt で実装されているのですが、POSのトランザクシ
【近日開催！】AWS Summit Japan 2024「AWS愛が、凄い。SCSK」ブースのご紹介！
2024/06/11
ブックマーク
こんにちは、SCSK株式会社の川原です。 いよいよ日本最大の “AWS を学ぶイベント” AWS Summit Japan 2024 が近づいてきました！ SCSKはプラチナスポンサー として、スポンサーセッションでの事例紹介とブースの出展を行います。 今回は、特にブースの詳細をご紹介します！ 概要とスポンサーセッションの情報については、以前発信した記事に掲載していますので、ご確認くだ
【現地速報②】Snowflake Data Cloud Summit 24 Platform Keynoteまとめ
2024/06/05
ブックマーク
みなさんこんにちは、SCSKの高本です。 前回、サンフランシスコで4日間に渡って開催される「Snowflake Data Cloud Summit 24」の初日6/3に開催されたOpening Keynoteに関する速報記事を書きました。（※まだ見てない方は是非ご一読下さい） 【現地速報①】Snowflake Data Cloud Summit 24 Opening Keynoteまとめ 4日間に渡りサンフランシスコで開催されるSnowflakeのフラグシップイベント：Snowflake Dat
【現地速報①】Snowflake Data Cloud Summit 24 Opening Keynoteまとめ
2024/06/05
ブックマーク
みなさんこんにちは（日本だとこんばんは？）、SCSKの高本です。 Snowflake の待望のフラグシップイベントであるSnowflake Data Cloud Summit 24が Moscone Center, San Francisco にて開幕しました！！ 現地時間6月3日（月）-6日（木） の4日間にわたり 基調講演や、先進事例セッション、テーマ別のブレイクアウトセッションなどなど、 注目のサービスアップデートや最新の技術動向、Genarat
広告プロダクトにおけるデータ基盤の民主化
2024/05/09
ブックマーク
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、広告プロダクトにおけるデー ...
【Snowflake】SSOを使用してPower BIから接続してみる
2024/05/07
ブックマーク
こんにちは、SCSK松岡です。 本記事では、Power BIからSnowflakeにSSO(シングルサインオン)を使用して接続するための一連の手順と注意点をご紹介します。 Snowflakeに蓄積したデータをBIツールで可視化することは、データの価値を最大限引き出すために重要なポイントの一つです。 Microsoftのサービスと高い親和性を持つPower BIでは、SSOによりMicrosoft Entra IDの認証を利用して、デ
【Snowflake】データ共有/複製機能を整理してみた
2024/04/30
ブックマーク
こんにちは、SCSK松岡です。 本記事では、クラウドデータプラットフォームであるSnowflakeが提供する数多くの機能のうち、データの共有/複製に焦点を当ててご紹介します。 データ分析・活用基盤の構築において、データの共有や複製は、システムの柔軟性や拡張性を高め、また管理を容易にするためのとても重要な機能です。 Snowflakeにおける代表的な共有/複製機能を特
ガバナンスが効くAzureの設定をゼロから構築した話
2024/04/23
ブックマーク
はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。会社の様々な開発基盤を作るチームに所属していて、データエンジニアとしてパイプラインを開発しつつ、様々なクラウドを便利に利用できる仕組みを作る（CCoE的な）仕事を担当しています。 ところで、皆さんはLLMを利用していますか？ 弊社でも生成AIが
Airflow x Cloud Batchによるデータ分析自動化の舞台裏
2024/04/18
ブックマーク
AI事業本部の協業リテールメディアdivでバックエンドエンジニアをしている yas7010 といいま ...
Google Cloud NEXT'24 「Break the Ice: BigQuery vs Snowflake」セッションレポート
2024/04/12
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部所属の伊藤です。 Google Cloud NEXT'24 in Las Vegas から、「Break the Ice: BigQuery vs Snowflake」というセッションを聞いてきたので、その内容のレポートをお届けします。 セッション概要 Onix 社の CTO である Kumar 氏と Google の Patel 氏による BigQuery と Snowflake の比較をしていこうというセッションになります。 Onix はアメリ
データに付加価値を与える技術
2024/04/11
ブックマーク
はじめに 株式会社ナウキャスト でデータエンジニアをしている沼尻です。 この記事では、私が担当している「マッピング」という業務についてご紹介したいと思います。マッピングと言われてもピンと来ないと思いますが、あまり語られることのない（それがゆえに何と呼称したらよいかさえ定かではない）データエンジニアリングの重要な一領域だと思っていて、他
ハノーバーメッセ 2024 でスマートな製造業の未来を体験
2024/03/11
ブックマーク
本記事は、AWSブログ Experience the Future of Smart Manufacturing at Hannover Messe 2024 を日本語に翻訳し、日本のお客様向けに 補足情報 を追加したものです。 ハノーバーメッセ2024は、今年最大の世界的な産業技術イベントになるでしょう。4月22日から26日までドイツのハノーバーで開催され、製造業や産業界をリードする企業、パートナー、さらに13万人以上の参加者が集い、製造業の
AWS Configの自動修復アクションにおいて実行ループが止まらないのですがどうですればいいでしょうか？
2024/02/28
ブックマーク
こんにちは、普段AWSやSnowflakeを中心としたデータ活用に関するサービス開発・案件を担当しているSCSKの高本です。 早速ですが、皆さんAWS Configはお使いでしょうか。そして、AWS Configはお好きでしょうか。 今回はAWS Configの自動修復アクションに関するお話です。本ブログ執筆前に（私が）そのままググってヒットして欲しかったタイトルをつけてみました。 AWS Configって何