​データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事は こちら です) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに？どんな特徴があるの？ 第2回: automate_dvを使ってDataVaultモデリングの中心となるテー

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。

はじめに こんにちは〜。 クラシルでデータエンジニアをしておりますharry( @gappy50 )です。 これまで、クラシルではデータ基盤からのデータをアプリケーションや推薦システムへ活用するためにDWHにSnowflakeを導入し、様々な活用をしてきました。 tech.dely.jp その一方で、データ「分析」基盤としての利用を推し進めていくために現在はdbtでのデータモデリングを中心として、一貫性のあるデータ分析が行えるような土台作りに注力しています。 今回は、Snowflakeのコスト監視やdbt

はじめに SQLFluffとは？ 導入の背景 SQLFluffの導入 SQLFluffをインストールする SQLFluffを試してみる .sqlfluffを作成する dbt templaterをインストールする SQLFluffの使用 CLIでの使用 dbt Cloud IDEでの使用 さいごに はじめに こんにちは、データエンジニアの加藤です。 クラシルのデータ基盤ではdbt(data build tool)を使ってデータを変換しデータウエアハウス・データマートを構築しています。 今回はdbtプロジェク

こんにちは！クラシルバックエンドエンジニアの高松 @takarotoooooo です。 今回はクラシルの推薦システムにおけるSnowparkの活用事例を経緯とともに紹介しようと思います。 Snowparkとは DataFrame式のプログラミングを可能にする開発者向けツールで、現在はJava, Python, Scalaで利用することができます。 Snowparkを利用することで、SQLでは対応できなかったタスクがSnowflakeからデータの移動なしで実現できるようにデザインされています。 www.sn

はじめに あけましておめでとうございます！ クラシルバックエンドエンジニアの加藤です。 クラシルでは2022年4月から一部ユーザーに向けてパーソナライズされたフィードをリリースしました。 （以降、パーソナライズフィード） パーソナライズフィードではSnowflakeを活用してレコメンドをReverse ETLを行い実現しました。 今回はアーキテクチャの説明と課題・今後の展望について紹介します。 パーソナライズフィードについて ホーム画面に表示される一連のコンテンツのことを指します。 クラシルではこれまで複

はじめに こんにちは！クラシル開発部でデータエンジニアをしておりますharry( @gappy50 )です。 先日、Snowflakeの「the 2022 Data Superheroes」に選出いただきました！ www.snowflake.com 世界で48名、日本で7名のSuperherosが選出されており、そのうちの1人に選ばれたことは嬉しい反面、とても恐れ多い気持ちもいっぱいではあります！ 今回は、Data Superheroについてのご紹介や、今後の活動について簡単に書かせていただければと思いま

テクノロジー本部のyoshikawaです。 最近のLIFULLでは、自社が所有するデータの活用を目的に数多くの取り組みが実施されています。 今回はデータの発見可能性(Data Discovery)を向上させるための基盤構築を目指して実施したPoC(Proof of Concept)とそのOSSの選定について紹介します。 当初は「自社データの再利用性を高めたい」という広い意味を持った要件で開始したプロジェクトでしたが、 Data Discoveryがボトルネックになっていると判明し、解決策としての基盤構築に

本記事は、 電通国際情報サービス Advent Calendar 2021 の23日目の記事です。 担当は、 エンタープライズ IT事業部 データマネジメント コンサルティング 部 宮城です。 データはDX推進における要であり、データを司る「環境」の重要性というのは昨今ますます高まってきています。 先日、ISIDは、 データクラウド"Snowflake"の販売代理店契約を締結しました。 本日は、この” Snowflake ”について特に私が感銘を受けている特徴を2つ紹介します。 特徴その①：独自の アーキ

本記事は、 電通国際情報サービス Advent Calendar 2021 の23日目の記事です。 担当は、 エンタープライズ IT事業部 データマネジメント コンサルティング 部 宮城です。 データはDX推進における要であり、データを司る「環境」の重要性というのは昨今ますます高まってきています。 先日、ISIDは、 データクラウド"Snowflake"の販売代理店契約を締結しました。 本日は、この” Snowflake ”について特に私が感銘を受けている特徴を2つ紹介します。 特徴その①：独自の アーキ

こんにちは！2022年卒予定でクラシル開発部にて内定者インターンを行っている @takeshi_o4 です。 この記事はdelyアドベントカレンダー13日目の記事となっています。 (1人だけプロフィールがデフォルト文字になっていて恥ずかしい) 12日目である昨日はサーバーサイドエンジニア高松さんの SnowflakeのSQL APIをRubyで試してみた という記事でした。普段から開発をバンバン引っ張って頂いている高松さんの記事ですので、興味ある方はぜひ見てみてください！！ はじめに 今回僕が伝えていきた

こんにちは。クラシル開発部でバックエンドエンジニアの高松です（ @takarotoooooo ） この記事は dely Advent Calendar 2021 12日目の記事です。 昨日はknchstさんの「 クラシルiOSのパッケージマネジメントについて 」というお話でしたiOSの開発にも興味がある方はぜひ見てみてください！ 今回は先日データエンジニアのharryさんが「 クラシルでのSnowflakeデータパイプラインのお話＆活用Tips 」で紹介していたSnowflakeをアプリケーション側から利

はじめに はじめまして。 クラシル開発部でデータエンジニアをしておりますharry( @gappy50 )です。 この記事は dely Advent Calendar 2021 および Snowflake Advent Calendar 2021 の9日目の記事です。 昨日はうっくんさんからのNotionでJiraを作ろう！というとても興味津々話でした！！ やっぱりNotionは色々できるのでいいですね◎ それと私のお話で恐縮ですが、昨日はSnowflakeのイベント Snowday にてクラシルでのSn

はじめに アップデート内容 ①Amazon FSx for Windows File Serverでファイルアクセス監査ログが取得できるように ②Amazon SageMaker Data WranglerのデータソースとしてSnowflakeをサポート はじめに こんにちは！サーバーワークスの小林です。 今回は、 6/9のアップデートについて紹介していきます。 こちらの内容については、YoutubeやPodcastでもアップロードしているので、気になる方はぜひチェックしてください。 ■ Youtube

クラウドインテグレーション部の宮本です。 今回は Snowflake へのアクセス元 IP アドレス制限を試してみます。Snowflake のアカウント作成後はデフォルトでインターネット経由でどこからでもアクセス出来る（パスワード認証のみ）状態ですが、アクセス元 IP アドレスを制限することで、手軽にセキュリティ向上をすることが出来ます。 概要 今回の概要は以下図の通りです。社内VPNサーバー経由のアクセスを許可、クライアントからの直接アクセスを拒否するよう設定します。 イメージ図 Snowflake の