はじめに こんにちは、クラウドエース データソリューション部所属の伊藤です。 Google Cloud NEXT'24 in Las Vegas から、「Break the Ice: BigQuery vs Snowflake」というセッションを聞いてきたので、その内容のレポートをお届けします。 セッション概要 Onix 社の CTO である Kumar 氏と Google の Patel 氏による BigQuery と Snowflake の比較をしていこうというセッションになります。 Onix はアメ

はじめに こんにちは、クラウドエース データソリューション部所属の伊藤です。 Google Cloud NEXT'24 in Las Vegas から、「Break the Ice: BigQuery vs Snowflake」というセッションを聞いてきたので、その内容のレポートをお届けします。 セッション概要 Onix 社の CTO である Kumar 氏と Google の Patel 氏による BigQuery と Snowflake の比較をしていこうというセッションになります。 Onix はアメ

はじめに 株式会社ナウキャスト でデータエンジニアをしている沼尻です。 この記事では、私が担当している「マッピング」という業務についてご紹介したいと思います。マッピングと言われてもピンと来ないと思いますが、あまり語られることのない（それがゆえに何と呼称したらよいかさえ定かではない）データエンジニアリングの重要な一領域だと思っていて、他社さんにも類似する業務が存在するのではないかと思っています。この記事をきっかけにして、他社さんと情報交換や技術交流などができたら嬉しいですし、ひいては、将来的なマッピング（な

本記事は、AWSブログ Experience the Future of Smart Manufacturing at Hannover Messe 2024 を日本語に翻訳し、日本のお客様向けに 補足情報 を追加したものです。 ハノーバーメッセ2024は、今年最大の世界的な産業技術イベントになるでしょう。4月22日から26日までドイツのハノーバーで開催され、製造業や産業界をリードする企業、パートナー、さらに13万人以上の参加者が集い、製造業の未来を形作る新しいソリューションが披露されます。 Amazon

こんにちは、普段AWSやSnowflakeを中心としたデータ活用に関するサービス開発・案件を担当しているSCSKの高本です。 早速ですが、皆さんAWS Configはお使いでしょうか。そして、AWS Configはお好きでしょうか。 今回はAWS Configの自動修復アクションに関するお話です。本ブログ執筆前に（私が）そのままググってヒットして欲しかったタイトルをつけてみました。 AWS Configって何でしたっけ？ 今回は少し内容が長くなりそうなので、AWS Configとは？の概要については割愛さ

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の宮崎です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています

この記事は Finatextグループ10周年記念アドベントカレンダー の19日目の記事です。 昨日は @toshipon さんが「 レガシーなマクロ付きExcelファイルをAPI化する話 」という記事を公開しています。 はじめに こんにちは、Fiantextグループのナウキャストでデータエンジニアをしている瀬能です。 ナウキャストではDatahubという snowflakeを用いたデータ分析基盤 を活用しています。先日、Snowflakeのsnowsight上でStreamlitが実行できるようになりまし

Hello! I’m Todd, a Data Engineer at Nowcast. This article is the 16th day of the Finatext Group 10th Anniversary Advent Calendar. Yesterday, Sugawara-san published an article titled “ 『投資がわからない』の正体 ～投資を始めるベストタイミングとは～ ”. What is data versioning. Much like

この記事は、 Finatextグループ10周年記念アドベントカレンダー の6日目の記事です。昨日は翁長さんが「 Amazon AuroraとSnowflakeをDynamic Tableを用いてリアルタイム連携したお話 」という記事を公開しています。 こんにちは、エンジニアの大木です。 先日、ラスベガスで開催された AWS re:Invent 2023 に参加してきました。弊社からは合計3人での参加で、自分自身は初めての参加でした。 弊社CTOをはじめ、既に多くの方が参加レポートを書いていますが、初参加の

この記事は Finatextグループ10周年記念アドベントカレンダー 5日目の記事です。 昨日は齊藤さんが「 愛される会社であり続けるために。人気漫画から見えるヒント 」という記事を公開しています。 はじめに ナウキャストでデータエンジニアをしている翁長と申します。 現在、クレジットカードの売上データに対し店舗・ブランド・企業名・業種名など様々なセグメントで分析するためのマッピングを実現するチームにてお仕事をしてます。 マッピングとは 少しばかりナウキャストのマッピングチームの業務について紹介させてくださ

NHK関連の話ではないです こんにちは harry( @gappy50 )です〜。 これまでクラシルでデータエンジニアをしておりましたが、最近クラシルリワードという別プロダクトでデータエンジニアをしております。 クラシルリワードのデータ基盤は以下に詳細がありますので、ご興味あればどうぞ！ tech.dely.jp 本記事のタイトルは私がTwitter改めXにポストした投稿から抜粋しました（恥 おい、誰も騒いでないから騒ぐけどExternal Network AccessっていうSnowflakeから外部へ

Amazon SageMaker Canvas でより高速でより直感的に、時系列予測の機械学習モデルを作成できるようになりました。SageMaker Canvas は、ビジネスアナリストが機械学習の経験やコードを記述することなくマウス操作だけで、高精度な機械学習 (ML) モデルを生成できるサービスです。 SageMaker Canvasは、小売業における在庫管理のための時系列予測、製造業における需要計画、旅行やホスピタリティにおける人員計画および顧客計画、財務における収益予測、その他、正確な予測が必要と

​データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事は こちら です) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに？どんな特徴があるの？ 第2回: automate_dvを使ってDataVaultモデリングの中心となるテー

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。

はじめに こんにちは〜。 クラシルでデータエンジニアをしておりますharry( @gappy50 )です。 これまで、クラシルではデータ基盤からのデータをアプリケーションや推薦システムへ活用するためにDWHにSnowflakeを導入し、様々な活用をしてきました。 tech.dely.jp その一方で、データ「分析」基盤としての利用を推し進めていくために現在はdbtでのデータモデリングを中心として、一貫性のあるデータ分析が行えるような土台作りに注力しています。 今回は、Snowflakeのコスト監視やdbt