「Snowflake」に関連する技術ブログ
企業やコミュニティが発信する「Snowflake」に関連する技術ブログの一覧です。
全56件中 1 - 15件目
Amazon SageMaker Canvas と Amazon DataZone を活用して、データガバナンスとノーコード機械学習の力を引き出す
2024/11/08
ブックマーク
Amazon DataZone は、AWS、オンプレミス、およびサードパーティのソースに保存されているデータを迅速かつ便利にカタログ化、発見、共有、管理できるデータ管理サービスです。Amazon DataZone では、データを保存して処理する仮想データレイクであるデータゾーンを作成および管理できます。詳細なコーディングやインフラストラクチャ管理は必要ありません。Amazon DataZone で
PyCon JP 2024参加レポート
2024/10/10
ブックマーク
みなさんこんにちは。タイミーのデータエンジニアリング部 データサイエンスグループ所属の菊地と小関です。 2024年9月27日（金）、28日（土）に開催された PyCon JP 2024 に参加してきました。今回はPyCon JP 2024の雰囲気と、特に興味深かった&勉強になったトークセッションをいくつかピックアップしてお届けしようと思います！ PyCon JPとは PyConJPは1年に1度開催されてい
dbt Coalesce 2024 のKeynote「Innovating with dbt」現地レポート
2024/10/08
ブックマーク
2024年10月7日から10日（現地時間）にかけて、dbt Coalesce 2024がラスベガスで開催されています。 私たち株式会社タイミーからは、4名が現地参加しました （※）。 今回は、カンファレンスの最初のKeynoteについてご紹介したいと思います。 このKeynoteでは、dbtのビジョンや今後の新機能リリースに関する熱いトピックが多く取り上げられ、非常に刺激的な内容となりました。
【開催報告】AWS Summit Japan 2024 物流業界向けブース展示 「倉庫ｘ生成AIからの物流DX」
2024/09/13
ブックマーク
6 月 20 日と 21 日の 2 日間にわたり、幕張メッセにおいて 13 回目となる AWS Summit Japan が開催され、会場では 3 万人以上、オンラインも合わせると過去最高となる 5 万人超の方の参加者を記録しました。本イベントでは 150 以上のセッションと 250 以上のブース展示が行われ、AWS の最新情報が共有されました。 物流業担当チームでは「倉庫ｘ生成AIからの物流DX」と題しまし
TerraformでSnowflakeからGCSへのデータ連携を実現
2024/09/04
ブックマーク
はじめに ファイナンスデータソリューショングループの高橋です。今回は、Snowflakeに存在するデータを定期的にGCSに
Snowflakeを始めよう! 初心者向け構築最初にやること集
2024/08/30
ブックマーク
本記事は 夏休みクラウド自由研究 8/30付の記事です 。 こんにちは、SCSKの松岡です。 今回は、Snowflakeをこれから利用する方向けに、環境構築で最低限抑えておきたいポイントをぎゅっと絞ってご紹介します。Snowflakeのアカウントは作ったけど何から始めよう…とお悩みの方はぜひご参考ください! Snowflakeとは Snowflake (Snowflake Cloud Data Platform)は、Snowflake社が提供するSaaS型の
Snowflake における権限管理とコスト管理
2024/08/27
ブックマーク
こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ) です。 先日「 みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！ 」というイベントに登壇し、 Snowflake でデータ基盤を作る際に大事になる権限管理とコスト管理の方法について、ナウキャストの事例を紹介させていただきました。 https://medium.com/med
dbtのUnit testsをプロダクトに導入してクエリのロジックをテストする
2024/08/16
ブックマーク
AI事業本部 協業リテールメディアdivの林です。 私のチームでは広告配信システムを開発しており、配 ...
Informatica World Tour 2024 Tokyoへ出展のお知らせ
2024/08/13
ブックマーク
こんにちは。SCSＫ三上です。 今年も、インフォマティカ・ジャパンが主催するデータマネジメントカンファレンス「 Informatica World Tour 2024 」が開催されます！ このイベントは、AIを活用したクラウドデータ管理の最新テクノロジーとデモンストレーション、ユーザー導入事例、パートナーソリューションなど、多彩なプログラムが用意されています。高品質なデータに基
Snowflake x dbt 環境で改善したデータ分析・指数開発体験を大公開！
2024/07/19
ブックマーク
はじめまして！ナウキャストでデータエンジニア / データサイエンティストをしている大森 (X: @yukimooori )です。普段はオルタナティブデータを活用した民間統計の作成や、データパイプラインの構築などを行なっています。 ナウキャストでは2023年から Snowflake x dbt の環境を導入し、全社の各プロジェクトで利活用を進めています。 今回の記事ではこの Snowflake x dbt 環境 を
Automating Python UDFs and Procedures Deployment in Snowflake via CLI
2024/07/03
ブックマーク
はじめに こんにちは！Finatextのソフトウェアエンジニアの和田と申します。Finatextグループ内のナウキャストで、データの開発基盤を作るチームに所属しています。 ナウキャストでは、データ基盤にSnowflakeを採用しています。 今回は2024年の2月にVersion2がリリースされ、Public PreviewとなったSnowflake CLIを使って構築した、Python UDFs・Stored Proceduresの自動デプロイの仕組みを紹
Optimizing Pipelines: Controlling Concurrency in Snowflake and dbt
2024/07/02
ブックマーク
Intro Hi, I’m Masa (Masa Fukui, LinkedIn ), and I work as a data engineer at Nowcast (a Finatext Group company), primarily working on data pipelines that process various types of data, including job advertisement data and credit card transaction data. Our data infrastructure is built on Snowflake, dbt, and Airflow. Here is a summary of this blog post: In Snowflake and dbt, while it is convenient to perform many operations in a single model/query using dbt macros, excessive use of macros migh
Snowflake x dbt: クエリの並行実行で直面した課題と並行数のコントロール
2024/07/02
ブックマーク
はじめに こんにちは！ Nowcast (株式会社ナウキャスト, Finatextグループ)でデータエンジニアをしているマサ(Masahiro Fukui, Linkedin )と申します。求人広告データやクレジットカードの決済データをはじめとする様々なデータを処理するパイプラインとデータプロダクトの開発に携わってきました。 HRog賃金Now : 求人広告から作成される募集賃金指数や求人数指数 JCB消費NOW : クレ
dbt-snowflake で delete+insert の incremental model を実装する際には join の爆発に気をつけよう
2024/06/25
ブックマーク
Photo by Melanie Hughes on Unsplash はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。Snowflake と dbt そして Terraform を使ってデータ分析基盤の構築をするとともに、POSデータのパイプラインの開発・運用を行っています。 POSデータの弊社のパイプラインは Snowflake と dbt で実装されているのですが、POSのトランザクシ
【近日開催！】AWS Summit Japan 2024「AWS愛が、凄い。SCSK」ブースのご紹介！
2024/06/11
ブックマーク
こんにちは、SCSK株式会社の川原です。 いよいよ日本最大の “AWS を学ぶイベント” AWS Summit Japan 2024 が近づいてきました！ SCSKはプラチナスポンサー として、スポンサーセッションでの事例紹介とブースの出展を行います。 今回は、特にブースの詳細をご紹介します！ 概要とスポンサーセッションの情報については、以前発信した記事に掲載していますので、ご確認くだ