「Snowflake」に関連する技術ブログ

企業やコミュニティが発信する「Snowflake」に関連する技術ブログの一覧です。

Amazon AuroraとSnowflakeをDynamic Tableを用いてリアルタイム連携したお話

この記事は Finatextグループ10周年記念アドベントカレンダー 5日目の記事です。 昨日は齊藤さんが「 愛される会社であり続けるために。人気漫画から見えるヒント 」という記事を公開しています。 はじめに ナウキャストでデータエンジニアをしている翁長と申します。 現在、クレジットカードの売上データに対し店舗・ブランド・企業名・業種名など様々なセグメント

Amazon SageMaker Canvas および AutoML API で時系列予測が50%高速に

Amazon SageMaker Canvas でより高速でより直感的に、時系列予測の機械学習モデルを作成できるようになりました。SageMaker Canvas は、ビジネスアナリストが機械学習の経験やコードを記述することなくマウス操作だけで、高精度な機械学習 (ML) モデルを生成できるサービスです。 SageMaker Canvasは、小売業における在庫管理のための時系列予測、製造業における需要計画、旅行やホ

dbtvault改めautomate_dvで実装するDataVaultモデリング

​データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事は こちら です) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに?どんな特徴がある

redashの引っ越しについて

SREチームのクラシマです。...基、でした。 SREチームはチームメンバーの退職に伴い発展的解消、各プロダクトの開発チームにSREerが溶けてSREingしていこう、という体制になりました。 ということで、SREのクラシマです。 さて。redashの話です。 公式AMIから起動したEC2でredash v8を2年ほど運用してきました。 Fargateにしよう、って話は以前から出ていたのですが、2年前に起動

Modern Data Stack への一歩としての Data Discovery Platform

テクノロジー本部のyoshikawaです。 最近のLIFULLでは、自社が所有するデータの活用を目的に数多くの取り組みが実施されています。 今回はデータの発見可能性(Data Discovery)を向上させるための基盤構築を目指して実施したPoC(Proof of Concept)とそのOSSの選定について紹介します。 当初は「自社データの再利用性を高めたい」という広い意味を持った要件で開始したプロジェクト

データクラウド”Snowflake” のおはなし

本記事は、 電通国際情報サービス Advent Calendar 2021 の23日目の記事です。 担当は、 エンタープライズ IT事業部 データマネジメント コンサルティング 部 宮城です。 データはDX推進における要であり、データを司る「環境」の重要性というのは昨今ますます高まってきています。 先日、ISIDは、 データクラウド"Snowflake"の販売代理店契約を締結しました。 本日は、この” Sno

データクラウド”Snowflake” のおはなし

本記事は、 電通国際情報サービス Advent Calendar 2021 の23日目の記事です。 担当は、 エンタープライズ IT事業部 データマネジメント コンサルティング 部 宮城です。 データはDX推進における要であり、データを司る「環境」の重要性というのは昨今ますます高まってきています。 先日、ISIDは、 データクラウド"Snowflake"の販売代理店契約を締結しました。 本日は、この” Sno

【AWSアプデ 6/9】Amazon FSx for Windows File Serverでファイルアクセス監査ログが取得できるように 他1件 #サバワ【毎日AWS #214】

はじめに アップデート内容 ①Amazon FSx for Windows File Serverでファイルアクセス監査ログが取得できるように ②Amazon SageMaker Data WranglerのデータソースとしてSnowflakeをサポート はじめに こんにちは!サーバーワークスの小林です。 今回は、 6/9のアップデートについて紹介していきます。 こちらの内容については、YoutubeやPodcastでもアップロードしているので、気になる方はぜ

Snowflake へのアクセス元 IP アドレスをネットワークポリシーで制限する

クラウドインテグレーション部の宮本です。 今回は Snowflake へのアクセス元 IP アドレス制限を試してみます。Snowflake のアカウント作成後はデフォルトでインターネット経由でどこからでもアクセス出来る(パスワード認証のみ)状態ですが、アクセス元 IP アドレスを制限することで、手軽にセキュリティ向上をすることが出来ます。 概要 今回の概要は以下図の通りです

QuickSight から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた

クラウドインテグレーション部の宮本です。 今回は Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた の QuickSight 版です。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 データセット、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の推移

Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた

CI 部の宮本です。今回は Snowflake に S3 からデータをロードする でインポートしたデータを使って、Redash 上で新型コロナウイルス感染動向を可視化してみます。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 クエリ、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の

Snowflake に S3 からデータをロードする

CI 部の宮本です。8月に入ってすっかり夏らしい天気ですね〜。少し散歩するだけでも汗だくになってしまいます。 さて、今回は Snowflake に S3 からデータをロードしてみたいと思います。 はじめに 概要 使用するツール ロード対象のデータ ロード先データベース、テーブルの作成 データベースの作成 テーブルの作成 S3 バケットの作成、ロードするファイルの配置 Snowflake

Snowflake のセキュリティについて調べてみた

某YouTuberがオススメしていた「あずきのチカラ 目もと用」を最近愛用しているCI部の宮本です。夜眠りにつくときに使用しているのですが、最初は「あったか〜い。。。」と気持ち良さを感じ、温度が徐々に下がると同時に眠りにつくことが出来ます。 また、こんな副次的な効果があります。目の上にあずきが乗っていてスマホが見られない為、寝床で覚醒してしまって

Snowflake にローカルからデータをロードしてみる

CI 部の宮本です。今回はローカルの CSV ファイルを Snowflake にロードしてみたいと思います。 やり方を調べていたところ、公式ドキュメントにぴったりのチュートリアルがあったので、以下を参考に進めてみます。 Snowflake を 20 分で紹介 SnowSQL で Snowflake にログインする 今回のチュートリアルは CLI ツールである SnowSQL を使用します。インストール方法は以下の記事を参考

Pythonコネクタを使ってSnowflake に接続してみる

CI部の宮本です。最近、天気が悪い日はもれなく頭痛に悩まされています。鎮痛剤で対応していますが、何か良い方法はないものでしょうかねえ。。 さて、今回は先日のブログ SnowSQL コマンドで Snowflake に接続する の続編です。Webインターフェース、CLIツールと続いて、プログラミング言語からのアクセスを試してみたいと思います。 Snowflake で対応しているコネクタとド
123
技術ブログを絞り込む

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?