「Snowflake」に関連する技術ブログ
企業やコミュニティが発信する「Snowflake」に関連する技術ブログの一覧です。
全60件中 31 - 45件目
Streamlit Bootcamp #1
2023/12/19
ブックマーク
この記事は Finatextグループ10周年記念アドベントカレンダー の19日目の記事です。 昨日は @toshipon さんが「 レガシーなマクロ付きExcelファイルをAPI化する話 」という記事を公開しています。 はじめに こんにちは、Fiantextグループのナウキャストでデータエンジニアをしている瀬能です。 ナウキャストではDatahubという snowflakeを用いたデータ分析基盤 を活用しています。先
Improving Version Management of Data
2023/12/16
ブックマーク
Hello! I’m Todd, a Data Engineer at Nowcast. This article is the 16th day of the Finatext Group 10th Anniversary Advent Calendar. Yesterday, Sugawara-san published an article titled “ 『投資がわからない』の正体 ～投資を始めるベストタイミングとは～ ”. What is data versioning. Much like how software engineers version their software, data engineers need to version their data. Generally speaking if the contents of the data changes, we should introduce a new vers
AWS re:Invent 2023に参加してきました
2023/12/06
ブックマーク
この記事は、 Finatextグループ10周年記念アドベントカレンダー の6日目の記事です。昨日は翁長さんが「 Amazon AuroraとSnowflakeをDynamic Tableを用いてリアルタイム連携したお話 」という記事を公開しています。 こんにちは、エンジニアの大木です。 先日、ラスベガスで開催された AWS re:Invent 2023 に参加してきました。弊社からは合計3人での参加で、自分自身は初めての参加で
Amazon AuroraとSnowflakeをDynamic Tableを用いてリアルタイム連携したお話
2023/12/05
ブックマーク
この記事は Finatextグループ10周年記念アドベントカレンダー 5日目の記事です。 昨日は齊藤さんが「 愛される会社であり続けるために。人気漫画から見えるヒント 」という記事を公開しています。 はじめに ナウキャストでデータエンジニアをしている翁長と申します。 現在、クレジットカードの売上データに対し店舗・ブランド・企業名・業種名など様々なセグメント
おい、誰も騒いでないから騒ぐけどExternal Network AccessっていうSnowflakeから外部へアクセスできる機能、データサイロ完全にぶっ壊せるぞ。
2023/10/25
ブックマーク
NHK関連の話ではないです こんにちは harry( @gappy50 )です〜。 これまでクラシルでデータエンジニアをしておりましたが、最近クラシルリワードという別プロダクトでデータエンジニアをしております。 クラシルリワードのデータ基盤は以下に詳細がありますので、ご興味あればどうぞ！ tech.dely.jp 本記事のタイトルは私がTwitter改めXにポストした投稿から抜粋しました（恥
Amazon SageMaker Canvas および AutoML API で時系列予測が50%高速に
2023/10/18
ブックマーク
Amazon SageMaker Canvas でより高速でより直感的に、時系列予測の機械学習モデルを作成できるようになりました。SageMaker Canvas は、ビジネスアナリストが機械学習の経験やコードを記述することなくマウス操作だけで、高精度な機械学習 (ML) モデルを生成できるサービスです。 SageMaker Canvasは、小売業における在庫管理のための時系列予測、製造業における需要計画、旅行やホ
dbtvault改めautomate_dvで実装するDataVaultモデリング
2023/08/28
ブックマーク
データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事は こちら です) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに？どんな特徴がある
クラシルリワードのデータ基盤
2023/08/22
ブックマーク
はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしてい
dbtとSnowflakeを使ってるなら迷わずにdbt-snowflake-monitoringを入れたほうがよさそう🉐
2023/07/21
ブックマーク
はじめに こんにちは〜。 クラシルでデータエンジニアをしておりますharry( @gappy50 )です。 これまで、クラシルではデータ基盤からのデータをアプリケーションや推薦システムへ活用するためにDWHにSnowflakeを導入し、様々な活用をしてきました。 tech.dely.jp その一方で、データ「分析」基盤としての利用を推し進めていくために現在はdbtでのデータモデリングを中心として
dbtプロジェクトにSQLFluffを導入する
2023/07/14
ブックマーク
はじめに SQLFluffとは？ 導入の背景 SQLFluffの導入 SQLFluffをインストールする SQLFluffを試してみる .sqlfluffを作成する dbt templaterをインストールする SQLFluffの使用 CLIでの使用 dbt Cloud IDEでの使用 さいごに はじめに こんにちは、データエンジニアの加藤です。 クラシルのデータ基盤ではdbt(data build tool)を使ってデータを変換しデータウエアハウス・データマートを構築していま
redashの引っ越しについて
2023/07/03
ブックマーク
SREチームのクラシマです。...基、でした。 SREチームはチームメンバーの退職に伴い発展的解消、各プロダクトの開発チームにSREerが溶けてSREingしていこう、という体制になりました。 ということで、SREのクラシマです。 さて。redashの話です。 公式AMIから起動したEC2でredash v8を2年ほど運用してきました。 Fargateにしよう、って話は以前から出ていたのですが、2年前に起動
推薦システムにおけるSnowparkの活用
2023/03/24
ブックマーク
こんにちは！クラシルバックエンドエンジニアの高松 @takarotoooooo です。 今回はクラシルの推薦システムにおけるSnowparkの活用事例を経緯とともに紹介しようと思います。 Snowparkとは DataFrame式のプログラミングを可能にする開発者向けツールで、現在はJava, Python, Scalaで利用することができます。 Snowparkを利用することで、SQLでは対応できなかったタスクがSnowflakeからデー
Snowflakeを活用してパーソナライズされたフィードを実現した話
2023/01/13
ブックマーク
はじめに あけましておめでとうございます！ クラシルバックエンドエンジニアの加藤です。 クラシルでは2022年4月から一部ユーザーに向けてパーソナライズされたフィードをリリースしました。 （以降、パーソナライズフィード） パーソナライズフィードではSnowflakeを活用してレコメンドをReverse ETLを行い実現しました。 今回はアーキテクチャの説明と課題・今後の展
2022 Snowflake Data Superherosに選出されました！
2022/04/01
ブックマーク
はじめに こんにちは！クラシル開発部でデータエンジニアをしておりますharry( @gappy50 )です。 先日、Snowflakeの「the 2022 Data Superheroes」に選出いただきました！ www.snowflake.com 世界で48名、日本で7名のSuperherosが選出されており、そのうちの1人に選ばれたことは嬉しい反面、とても恐れ多い気持ちもいっぱいではあります！ 今回は、Data Superheroについてのご紹介や、今後の活動
Modern Data Stack への一歩としての Data Discovery Platform
2022/03/31
ブックマーク
テクノロジー本部のyoshikawaです。 最近のLIFULLでは、自社が所有するデータの活用を目的に数多くの取り組みが実施されています。 今回はデータの発見可能性(Data Discovery)を向上させるための基盤構築を目指して実施したPoC(Proof of Concept)とそのOSSの選定について紹介します。 当初は「自社データの再利用性を高めたい」という広い意味を持った要件で開始したプロジェクト