はじめまして！ナウキャストでデータエンジニア / データサイエンティストをしている大森 (X: @yukimooori )です。普段はオルタナティブデータを活用した民間統計の作成や、データパイプラインの構築などを行なっています。 ナウキャストでは2023年から Snowflake x dbt の環境を導入し、全社の各プロジェクトで利活用を進めています。 今回の記事ではこの Snowflake x dbt 環境 を利用し、「 HRog賃金Now 」という民間統計プロダクトをゼロから開発した中で感じた 分析・

G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策

はじめに こんにちは、クラウドエース データソリューション部の伊藤です。 普段は、データ基盤や機械学習基盤の構築だったり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています

Agents for Amazon Bedrock を使用すると、 生成人工知能 (AI) アプリケーションはさまざまなシステムやデータソースにわたって多段階のタスクを実行できます。数か月前、エージェントの 作成と設定を簡素化しました 。7月10日、フルマネージド型の 2 つの新機能をプレビューで紹介します。 複数のインタラクションにわたってメモリを保持 – エージェントは各ユーザーとの会話の概要を保持できるようになり、特にユーザーとのやり取りや、フライトの予約や保険金請求の処理などのエンタープライズオー

こんにちは。ソリューションアーキテクトの齋藤です。丸紅株式会社(以下、丸紅) デジタル・イノベーション部 では、デジタルを活用して丸紅グループの変革を推進し、デジタル人財を育成して各部門の事業を大きくしていくことをミッションに掲げています。当部では、デジタル技術に精通するメンバーが、丸紅の各組織へ、課題整理→実証実験→実用化まで一気通貫で支援を実施しており、AI・データ分析 を中心に、内製で開発しています。本ブログでは、どのように丸紅がAWS上で社内生成AIプラットフォームアプリ(以降 Marubeni

本記事は 2019年9月9日に公開された ”How to Create a Data-Driven Culture” を翻訳したものです。 「もしデータがあるなら、データを見ましょう。もし皆さんに意見しかないのなら、私の意見に従ってください。」 ― ジム・バークスデール データドリブンな企業について語られるとき、多くの場合、ツールやビッグデータ、データの蓄積/加工/分析をより迅速かつ安価にした技術の進歩に重点が置かれています。これらは全て重要ではありますが、データドリブンカルチャーを企業全体で構築すること

導入 データ分析を前提としたデータ管理のアーキテクチャは、メダリオンアーキテクチャのような革新的なフレームワークへ進化しています。このアプローチは、データパイプラインの管理とデータガバナンスの強化に対する体系的な方法を提供します。このブログでは、メダリオンアーキテクチャのコンポーネントとして、特に、Databricks Delta Lake、Unity Catalog、およびdotData Feature Factoryに焦点を当て、企業におけるデータ利活用を圧倒的に加速する、最新のアーキテクチャを紹介し

集客力を高めるGoogleツール Google ​ビジネス プロフィール（Google マイビジネス） https://www.google.com/intl/ja_jp/business/

こんにちは、タイミーのデータエンジニアリング部データサイエンス（以下DS）グループ所属の菊地です。 今回は、 H3 を使用したBigQueryでの空間クラスタリングについて検証した内容を紹介したいと思います！ BigQueryでの空間クラスタリングとは BigQueryにはクラスタリングという機能があり、うまく活用すると、クエリのパフォーマンスを向上させ、クエリ費用を削減できます。 クラスタリングは空間データにも適用でき、BigQuery がデフォルトで使用するS2インデックス システムを使用して、空間ク

前書き デジタルテクノロジー統括部アナリストの安藤です。 最近マーケティングに関するプロジェクトに携わることになり、Marketing Mix Modeling(以下MMM)の門を叩くことになりました。 MMMでは、広告メディアがどれだけKPIに貢献したのかを回帰モデルによって推定し、それを元に予算の最適化を行います。 変数の値をそのまま使うのではなく、全体的なトレンドや季節性、繰越効果や飽和効果といった要因を扱っていることが特徴です。 MMMの代表的なOSSとしてGoogleの LightweightM

みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も 週刊AWS をお届けします。 梅雨のはずですが、連日暑い日が続きますね・・・まだ気温に慣れておらず辛い日々が続きますが。みなさん、体調にお気をつけください。 それでは、先週の主なアップデートについて振り返っていきましょう。 今週は米国の祝日もありアップデートは少なめになっています。 2024年7月1日週の主要なアップデート 7/1(月) AWS Direct Connect announces native 400 Gbps Dedic

DatabricksのFeature StoreとAutoMLの紹介 DatabricksのAutoMLと特徴量ストアとは、Databricksのエコシステムにおいて重要な組み合わせで、データサイエンスと機械学習の分野に革新をもたらします。このブログでは、これらのツールの基本を解説し、これらが機械学習モデルのトレーニングと管理を簡単にするだけでなく、効率的でスケーラブルにする方法を見ていきます。また、DatabricksとdotData Feature Factoryの統合について深く掘り下げ、そのメリッ

はじめに 全米消防協会は、毎年 100 万件を超える火災を記録しています。これらの火災は、米国における都市の安全を脅かす最大の危険のひとつと位置づけられています。現在、消防署は主に在宅用の煙探知機、火災通報ボックス、および電話による通報といった従来の火災検知システムによる警報に頼っています。しかしこれらのシステムでは、火災の範囲、規模、場所などの追加情報が不足する可能性があります。モノのインターネット (IoT) は、都市のインフラを合理化し、火災を事前に検知し、公共の安全性を向上させるための重要な技術で

G-gen の杉村です。VMware 資産を Google Cloud へリフトするにあたり重要な選択肢となる、Google Cloud VMware Engine（GCVE）を解説します。 概要 Google Cloud VMware Engine（GCVE）とは VMware ライセンス メリット 基本的な構成 ノード数と PoC 他社の類似サービス 料金 GCVE ノード サードパーティライセンス 非機能要件 セキュリティ 責任共有モデル データの暗号化 ネットワーク 可用性 拡張性 VMware

このブログは、6月20日と21日に開催された AWS Summit Japan における IoT 関連出展を紹介するものです。「プロダクト IoT 編」と「インダストリアル IoT 編」の二部構成で、今回は「インダストリアル IoT 編」についてお伝えします。（プロダクト IoT 編の記事は こちら です） 今年の AWS Summit Japan では、インダストリアル関連の IoT サービスを活用した多数のブース出展やセッションが行われました。どのコンテンツも、設備からのデータ取得