「Snowflake」に関連する技術ブログ
企業やコミュニティが発信する「Snowflake」に関連する技術ブログの一覧です。
全83件中 61 - 75件目
クラシルリワードのデータ基盤
2023/08/22
ブックマーク
はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしてい
dbtとSnowflakeを使ってるなら迷わずにdbt-snowflake-monitoringを入れたほうがよさそう🉐
2023/07/21
ブックマーク
はじめに こんにちは〜。 クラシルでデータエンジニアをしておりますharry( @gappy50 )です。 これまで、クラシルではデータ基盤からのデータをアプリケーションや推薦システムへ活用するためにDWHにSnowflakeを導入し、様々な活用をしてきました。 tech.dely.jp その一方で、データ「分析」基盤としての利用を推し進めていくために現在はdbtでのデータモデリングを中心として
dbtプロジェクトにSQLFluffを導入する
2023/07/14
ブックマーク
はじめに SQLFluffとは？ 導入の背景 SQLFluffの導入 SQLFluffをインストールする SQLFluffを試してみる .sqlfluffを作成する dbt templaterをインストールする SQLFluffの使用 CLIでの使用 dbt Cloud IDEでの使用 さいごに はじめに こんにちは、データエンジニアの加藤です。 クラシルのデータ基盤ではdbt(data build tool)を使ってデータを変換しデータウエアハウス・データマートを構築していま
redashの引っ越しについて
2023/07/03
ブックマーク
SREチームのクラシマです。...基、でした。 SREチームはチームメンバーの退職に伴い発展的解消、各プロダクトの開発チームにSREerが溶けてSREingしていこう、という体制になりました。 ということで、SREのクラシマです。 さて。redashの話です。 公式AMIから起動したEC2でredash v8を2年ほど運用してきました。 Fargateにしよう、って話は以前から出ていたのですが、2年前に起動
推薦システムにおけるSnowparkの活用
2023/03/24
ブックマーク
こんにちは！クラシルバックエンドエンジニアの高松 @takarotoooooo です。 今回はクラシルの推薦システムにおけるSnowparkの活用事例を経緯とともに紹介しようと思います。 Snowparkとは DataFrame式のプログラミングを可能にする開発者向けツールで、現在はJava, Python, Scalaで利用することができます。 Snowparkを利用することで、SQLでは対応できなかったタスクがSnowflakeからデー
Snowflakeを活用してパーソナライズされたフィードを実現した話
2023/01/13
ブックマーク
はじめに あけましておめでとうございます！ クラシルバックエンドエンジニアの加藤です。 クラシルでは2022年4月から一部ユーザーに向けてパーソナライズされたフィードをリリースしました。 （以降、パーソナライズフィード） パーソナライズフィードではSnowflakeを活用してレコメンドをReverse ETLを行い実現しました。 今回はアーキテクチャの説明と課題・今後の展
2022 Snowflake Data Superherosに選出されました！
2022/04/01
ブックマーク
はじめに こんにちは！クラシル開発部でデータエンジニアをしておりますharry( @gappy50 )です。 先日、Snowflakeの「the 2022 Data Superheroes」に選出いただきました！ www.snowflake.com 世界で48名、日本で7名のSuperherosが選出されており、そのうちの1人に選ばれたことは嬉しい反面、とても恐れ多い気持ちもいっぱいではあります！ 今回は、Data Superheroについてのご紹介や、今後の活動
Modern Data Stack への一歩としての Data Discovery Platform
2022/03/31
ブックマーク
テクノロジー本部のyoshikawaです。 最近のLIFULLでは、自社が所有するデータの活用を目的に数多くの取り組みが実施されています。 今回はデータの発見可能性(Data Discovery)を向上させるための基盤構築を目指して実施したPoC(Proof of Concept)とそのOSSの選定について紹介します。 当初は「自社データの再利用性を高めたい」という広い意味を持った要件で開始したプロジェクト
データクラウド”Snowflake” のおはなし
2021/12/23
ブックマーク
本記事は、 電通国際情報サービス Advent Calendar 2021 の23日目の記事です。 担当は、 エンタープライズ IT事業部 データマネジメント コンサルティング 部 宮城です。 データはDX推進における要であり、データを司る「環境」の重要性というのは昨今ますます高まってきています。 先日、ISIDは、 データクラウド"Snowflake"の販売代理店契約を締結しました。 本日は、この” Sno
データクラウド”Snowflake” のおはなし
2021/12/23
ブックマーク
本記事は、 電通国際情報サービス Advent Calendar 2021 の23日目の記事です。 担当は、 エンタープライズ IT事業部 データマネジメント コンサルティング 部 宮城です。 データはDX推進における要であり、データを司る「環境」の重要性というのは昨今ますます高まってきています。 先日、ISIDは、 データクラウド"Snowflake"の販売代理店契約を締結しました。 本日は、この” Sno
千里の道も一歩から。なクラシル開発
2021/12/13
ブックマーク
こんにちは！2022年卒予定でクラシル開発部にて内定者インターンを行っている @takeshi_o4 です。 この記事はdelyアドベントカレンダー13日目の記事となっています。 (1人だけプロフィールがデフォルト文字になっていて恥ずかしい) 12日目である昨日はサーバーサイドエンジニア高松さんの SnowflakeのSQL APIをRubyで試してみた という記事でした。普段から開発をバンバン引っ張
SnowflakeのSQL APIをRubyで試してみた
2021/12/12
ブックマーク
こんにちは。クラシル開発部でバックエンドエンジニアの高松です（ @takarotoooooo ） この記事は dely Advent Calendar 2021 12日目の記事です。 昨日はknchstさんの「 クラシルiOSのパッケージマネジメントについて 」というお話でしたiOSの開発にも興味がある方はぜひ見てみてください！ 今回は先日データエンジニアのharryさんが「 クラシルでのSnowflakeデータパイプラインのお話＆
クラシルでのSnowflakeデータパイプラインのお話＆活用Tips
2021/12/09
ブックマーク
はじめに はじめまして。 クラシル開発部でデータエンジニアをしておりますharry( @gappy50 )です。 この記事は dely Advent Calendar 2021 および Snowflake Advent Calendar 2021 の9日目の記事です。 昨日はうっくんさんからのNotionでJiraを作ろう！というとても興味津々話でした！！ やっぱりNotionは色々できるのでいいですね◎ それと私のお話で恐縮ですが、昨日はSnowflakeのイベント Snowday
【AWSアプデ 6/9】Amazon FSx for Windows File Serverでファイルアクセス監査ログが取得できるように 他1件 #サバワ【毎日AWS #214】
2021/06/10
ブックマーク
はじめに アップデート内容 ①Amazon FSx for Windows File Serverでファイルアクセス監査ログが取得できるように ②Amazon SageMaker Data WranglerのデータソースとしてSnowflakeをサポート はじめに こんにちは！サーバーワークスの小林です。 今回は、 6/9のアップデートについて紹介していきます。 こちらの内容については、YoutubeやPodcastでもアップロードしているので、気になる方はぜ
Snowflake へのアクセス元 IP アドレスをネットワークポリシーで制限する
2020/09/04
ブックマーク
クラウドインテグレーション部の宮本です。 今回は Snowflake へのアクセス元 IP アドレス制限を試してみます。Snowflake のアカウント作成後はデフォルトでインターネット経由でどこからでもアクセス出来る（パスワード認証のみ）状態ですが、アクセス元 IP アドレスを制限することで、手軽にセキュリティ向上をすることが出来ます。 概要 今回の概要は以下図の通りです