こんにちは。Drawer Growth グループの江良です。 キャディが「製造業 AI データプラットフォーム」の構想を打ち出してから半年ほどが経ちました。 caddi.com このコンセプトの実現にあたっては、「AI」の部分だけでなく、「データ」の部分を支える仕組みづくりも重要になってきます。今回は、私が携わっているプロジェクトで導入した Apache Iceberg とその使いどころについて紹介したいと思います。 製造業におけるデータ活用の難しさ 本題に入る前に、まずは背景について少し補足します。 （

本記事は 新人ブログマラソン2024 の記事です 。 皆さんこんにちは！入社して間もない新米エンジニアの佐々木です。 最近、Snowflakeの比較的新しい機能である「 コンピュートプール 」について調査する機会がありました。 そこで本記事では、コンピュートプールについて調べたことを皆さんと共有したいと思います！ 特に、公式ドキュメントに記載されている細かい内容というよりも、 コンピュートプールの概要について初学者でも分かりやすいようにお話できればと思います。 まだ触れたことのない方も、既に利用している方

この記事は 「 Introducing the new AWS Marketplace Consumer Goods Solutions Hub 」（記事公開日： 2024 年 1 0月 28 日）の翻訳記事です。 今日、消費財業界は、市場の成長の鈍化、デジタルネイティブブランドとの競争の激化、消費者行動の変化、パンデミックによる商品不足などの課題に直面しています。 そこでさらに成長するためにも、多くの消費財企業が自ら環境に順応し、小売業者、卸売業者、消費者との関係を見直しています。 AWS と業界に特化

ハノーバーメッセ 2025 で産業 AI の未来を体験 本記事は、AWS ブログ Experience the future of Industrial AI at Hannover Messe 2025 を日本語に翻訳し、 日本のお客様向けの補足情報 を追加したものです。 いよいよその時期が近づいてきました。ハノーバーメッセ 2025 が間もなく開催されます。 ハノーバーメッセ は、世界最大の産業技術見本市で、グローバルな産業課題を解決するための最新技術や革新的ソリューションに焦点を当てた展示会です。

はじめに 概要 実装 1. FRESHNESSの定期実行を対象テーブルに定義 2. CREATE ALERT で監視設定 お片付け おわりに 参考 はじめに アプリケーションサービス部の鎌田(義)です。 今回は、SnowflakeのFRESHNESSを触ってみます。 概要 データ活用基盤では日々データソースからDWHへデータを収集、蓄積していきますが、 様々なイレギュラーが起こり得るかと思います。 最新のデータが反映されているか、というのもデータ品質を担保する上で重要な要素となります。 例えば、Snowp

はじめに 概要 実装 Snowpipe作成 StreamとTaskを使用したCDCの実装 Stream作成 Task作成 動作確認 おわりに はじめに アプリケーションサービス部の鎌田(義)です。 今回はSnowflakeでStreamとTaskを使用してCDCを実装してみました。 概要 以下のような構成を想定しています。 構成イメージ DMS(Database Migration Service)を使用してDBからCDCファイルをS3に出力 SnowpipeでCDCファイルをニアリアルタイムでrawデー

本記事は 新人ブログマラソン2024 の記事です 。 皆さんこんにちは！入社して間もない新米エンジニアの佐々木です。 前回、前々回と2回に渡って、Snowflake CortexAIを使ってドキュメント検索アシスタントを構築するチュートリアルに挑戦し、その様子を記事にまとめさせていただきました。多くの方々に読んでいただき、大変嬉しく思っています。 まだ読めていないという方は、以下の記事をまずは読んでいただけると幸いです！！ 新米エンジニアが挑む！Snowflake CortexAIでドキュメント検索アシス

はじめに お話の内容 抱えていた課題 コスト index作成処理の問題 どうやって解決していくか 実装後のよかった点 まとめ はじめに ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。このブログは、NewsPicksの NewsPicks Advent Calendar 2024の24日目の記事となります。 今回は、AWSサービスである「OpenSearch」「ECS」とデータウェアハウスである「Snowflake」を用いて、弊社で使用している開発環境にコスパよく効率的

はじめに Iceberg とは？ Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない！！！ 次へ はじめに 当記事を開いていただきありがとうございます。 電通 総研 エンジニアリングオフィスの徳山です。 この記事は、テーブルフォーマットの Iceberg についての初歩的な内容を説明します。 BigQuery で Iceberg 形式のデータを作成し、実体

本記事は 新人ブログマラソン2024 の記事です 。 皆さんこんにちは！入社して間もない新米エンジニアの佐々木です。 前回は、Snowflake CortexAIを使ってドキュメント検索アシスタントを構築するチュートリアルに挑戦し、その様子を記事にまとめさせていただきました。多くの方々に読んでいただき、大変嬉しく思っています。 まだ読めていないという方は、以下の記事をまずは読んでいただけると幸いです！！ 新米エンジニアが挑む！Snowflake CortexAIでドキュメント検索アシスタントを構築してみる

データ準備はあらゆる機械学習 (ML) ワークフローにおいて重要なステップですが、多くの場合、面倒で時間のかかるタスクを伴います。 Amazon SageMaker Canvas は、 Amazon SageMaker Data Wrangler を利用した包括的なデータ準備機能をサポートするようになりました。この統合により、SageMaker Canvas はエンドツーエンドのコード不要のワークスペースをお客様に提供し、データを準備し、ML や基礎モデルを構築して使用することで、データからビジネスインサ

こんばんは。データ分析基盤グループ所属の大室です。 この記事は Safie Engineers' Blog! Advent Calendar 18日目の記事です！ はじめに 登壇内容 セッション概要 当社のご紹介 プロジェクト背景 プロジェクト始動 CData Syncの採用ポイント 今後の展望 余談 会場風景 We are hiring! はじめに 2024年9月12日、 Snowflake World Tour Tokyo 2024 にて「SnowflakeとCData Syncを採用したSafieの

12 月 1 日、 AWS Clean Rooms のデータコラボレーションの新しいソースとして Snowflake と Amazon Athena のサポートを発表しました。AWS Clean Rooms を使用すると、お客様とパートナーが互いの基礎データを共有したりコピーしたりすることなく、集合データセットをよりシームレスかつ安全に分析できます。この機能強化により、ソースデータを移動したり公開したりすることなく、Snowflake に保存されているデータセット、または AWS Lake Formati

みなさん、こんにちは。ソリューションアーキテクトの西村です。 今週も 週刊AWS をお届けします。 先週は AWS re:Invent 2024 が開催されました。週刊AWSは、毎週の新発表を発表日ごとに纏めるというのがコンセプトなのですが、今週は re:Invent 2024 特別号として、サービスのカテゴリごとにまとめる形にしました。非常に多くのアップデートがあったので、できる限りお届けしたく今回は Part 1 （本稿）と、 Part 2 の二本立てになります。 re:Invent のアップデートに

この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めています。まだ移行作業の途上ではありますが、完了の目処が立ったので、なぜデータ基盤の移行を行なっているのか、どのように移行計画を立てたか、