「Snowflake」に関連する技術ブログ
企業やコミュニティが発信する「Snowflake」に関連する技術ブログの一覧です。
全83件中 31 - 45件目
【開催報告】AWS Summit Japan 2024 物流業界向けブース展示 「倉庫ｘ生成AIからの物流DX」
2024/09/13
ブックマーク
6 月 20 日と 21 日の 2 日間にわたり、幕張メッセにおいて 13 回目となる AWS Summit Japan が開催され、会場では 3 万人以上、オンラインも合わせると過去最高となる 5 万人超の方の参加者を記録しました。本イベントでは 150 以上のセッションと 250 以上のブース展示が行われ、AWS の最新情報が共有されました。 物流業担当チームでは「倉庫ｘ生成AIからの物流DX」と題しまし
TerraformでSnowflakeからGCSへのデータ連携を実現
2024/09/04
ブックマーク
はじめに ファイナンスデータソリューショングループの高橋です。今回は、Snowflakeに存在するデータを定期的にGCSに
Snowflakeを始めよう! 初心者向け構築最初にやること集
2024/08/30
ブックマーク
本記事は 夏休みクラウド自由研究 8/30付の記事です 。 こんにちは、SCSKの松岡です。 今回は、Snowflakeをこれから利用する方向けに、環境構築で最低限抑えておきたいポイントをぎゅっと絞ってご紹介します。Snowflakeのアカウントは作ったけど何から始めよう…とお悩みの方はぜひご参考ください! Snowflakeとは Snowflake (Snowflake Cloud Data Platform)は、Snowflake社が提供するSaaS型の
Snowflake における権限管理とコスト管理
2024/08/27
ブックマーク
こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ) です。 先日「 みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！ 」というイベントに登壇し、 Snowflake でデータ基盤を作る際に大事になる権限管理とコスト管理の方法について、ナウキャストの事例を紹介させていただきました。 https://medium.com/med
dbtのUnit testsをプロダクトに導入してクエリのロジックをテストする
2024/08/16
ブックマーク
AI事業本部 協業リテールメディアdivの林です。 私のチームでは広告配信システムを開発しており、配 ...
Informatica World Tour 2024 Tokyoへ出展のお知らせ
2024/08/13
ブックマーク
こんにちは。SCSＫ三上です。 今年も、インフォマティカ・ジャパンが主催するデータマネジメントカンファレンス「 Informatica World Tour 2024 」が開催されます！ このイベントは、AIを活用したクラウドデータ管理の最新テクノロジーとデモンストレーション、ユーザー導入事例、パートナーソリューションなど、多彩なプログラムが用意されています。高品質なデータに基
Snowflake x dbt 環境で改善したデータ分析・指数開発体験を大公開！
2024/07/19
ブックマーク
はじめまして！ナウキャストでデータエンジニア / データサイエンティストをしている大森 (X: @yukimooori )です。普段はオルタナティブデータを活用した民間統計の作成や、データパイプラインの構築などを行なっています。 ナウキャストでは2023年から Snowflake x dbt の環境を導入し、全社の各プロジェクトで利活用を進めています。 今回の記事ではこの Snowflake x dbt 環境 を
Automating Python UDFs and Procedures Deployment in Snowflake via CLI
2024/07/03
ブックマーク
はじめに こんにちは！Finatextのソフトウェアエンジニアの和田と申します。Finatextグループ内のナウキャストで、データの開発基盤を作るチームに所属しています。 ナウキャストでは、データ基盤にSnowflakeを採用しています。 今回は2024年の2月にVersion2がリリースされ、Public PreviewとなったSnowflake CLIを使って構築した、Python UDFs・Stored Proceduresの自動デプロイの仕組みを紹
Optimizing Pipelines: Controlling Concurrency in Snowflake and dbt
2024/07/02
ブックマーク
Intro Hi, I’m Masa (Masa Fukui, LinkedIn ), and I work as a data engineer at Nowcast (a Finatext Group company), primarily working on data pipelines that process various types of data, including job advertisement data and credit card transaction data. Our data infrastructure is built on Snowflake, dbt, and Airflow. Here is a summary of this blog post: In Snowflake and dbt, while it is convenient to perform many operations in a single model/query using dbt macros, excessive use of macros migh
Snowflake x dbt: クエリの並行実行で直面した課題と並行数のコントロール
2024/07/02
ブックマーク
はじめに こんにちは！ Nowcast (株式会社ナウキャスト, Finatextグループ)でデータエンジニアをしているマサ(Masahiro Fukui, Linkedin )と申します。求人広告データやクレジットカードの決済データをはじめとする様々なデータを処理するパイプラインとデータプロダクトの開発に携わってきました。 HRog賃金Now : 求人広告から作成される募集賃金指数や求人数指数 JCB消費NOW : クレ
dbt-snowflake で delete+insert の incremental model を実装する際には join の爆発に気をつけよう
2024/06/25
ブックマーク
Photo by Melanie Hughes on Unsplash はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。Snowflake と dbt そして Terraform を使ってデータ分析基盤の構築をするとともに、POSデータのパイプラインの開発・運用を行っています。 POSデータの弊社のパイプラインは Snowflake と dbt で実装されているのですが、POSのトランザクシ
【近日開催！】AWS Summit Japan 2024「AWS愛が、凄い。SCSK」ブースのご紹介！
2024/06/11
ブックマーク
こんにちは、SCSK株式会社の川原です。 いよいよ日本最大の “AWS を学ぶイベント” AWS Summit Japan 2024 が近づいてきました！ SCSKはプラチナスポンサー として、スポンサーセッションでの事例紹介とブースの出展を行います。 今回は、特にブースの詳細をご紹介します！ 概要とスポンサーセッションの情報については、以前発信した記事に掲載していますので、ご確認くだ
【現地速報②】Snowflake Data Cloud Summit 24 Platform Keynoteまとめ
2024/06/05
ブックマーク
みなさんこんにちは、SCSKの高本です。 前回、サンフランシスコで4日間に渡って開催される「Snowflake Data Cloud Summit 24」の初日6/3に開催されたOpening Keynoteに関する速報記事を書きました。（※まだ見てない方は是非ご一読下さい） 【現地速報①】Snowflake Data Cloud Summit 24 Opening Keynoteまとめ 4日間に渡りサンフランシスコで開催されるSnowflakeのフラグシップイベント：Snowflake Dat
【現地速報①】Snowflake Data Cloud Summit 24 Opening Keynoteまとめ
2024/06/05
ブックマーク
みなさんこんにちは（日本だとこんばんは？）、SCSKの高本です。 Snowflake の待望のフラグシップイベントであるSnowflake Data Cloud Summit 24が Moscone Center, San Francisco にて開幕しました！！ 現地時間6月3日（月）-6日（木） の4日間にわたり 基調講演や、先進事例セッション、テーマ別のブレイクアウトセッションなどなど、 注目のサービスアップデートや最新の技術動向、Genarat
広告プロダクトにおけるデータ基盤の民主化
2024/05/09
ブックマーク
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、広告プロダクトにおけるデー ...