「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全747件中 346 - 360件目
Google CloudのData Analytics Workshopに参加してきました!
2023/09/15
ブックマーク
Google CloudのData Analytics Workshopに参加してきました! こんにちは。 株式会社エブリーの開発本部データ&AIチーム(DAI)でデータエンジニアをしている吉田です。 今回は、先日参加したGoogle CloudのData Analytics Workshopについて紹介します。 はじめに エブリーでは、各サービスからのログをデータ基盤に集約し、これをデータ分析や機械学習のために活用しています。 データ基盤
高い CPU パフォーマンスとメモリを多用するワークロード向けに最適化された新しい Amazon EC2 R7iz インスタンス
2023/09/15
ブックマーク
9月7日、 Amazon EC2 R7iz インスタンス の一般提供を発表します。R7iz インスタンスは、3.9 GHz の持続オールコアターボ周波数を備えた、クラウド内で最も高速な第 4 世代インテル Xeon スケーラブルベース (Sapphire Rapids) インスタンスです。R7iz インスタンスは、追加データを処理するためのより多くのメモリ、スケールアップするためのより大きなサイズのインスタンス、完了
共通ID基盤開発の裏側：OIDCとビジネス要望のギャップ
2023/09/13
ブックマーク
はじめに 対象読者 主なキーワード 共通ID基盤プロジェクトについて なぜプロジェクトを開始したのか？ 共通ID基盤構築の要件 共通ID基盤の技術選定 認証基盤に関連する技術群 どの技術を使うべきか？ アーキテクチャの検討 隠れたサービス要件の発覚 サービスに求められる要件について OIDCで必須のOPへのリダイレクト OIDCとサービス要件の不一致 別の方法を探る 1. 主
【第5回】Ethereumデータ分析演習 1
2023/09/13
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第5回となる今回から、オンチェーンデータのオンライン分析サービスのDuneを用いて、Ethereumを対象としたデータ分析の演習を始めていきます。 Hello Dune Dune は、ブロックチェーン上のデータ分析に特化したオンラインサー
【開催報告】Amazon QuickSight Roadshow 東京 2023
2023/09/11
ブックマーク
2023 年 8 月 4 日に「 Amazon QuickSight Roadshow 東京 ～ QuickSight におけるデータドリブン経営、SaaS 組み込み、そして生成系 AI ～ 」を開催しました。真夏日に沢山の方々にお越しいただき、物理開催ならではの盛り上がりを再認識しました。丸一日かけて Amazon QuickSight に特化したコンテンツをお届けしました。本ブログでは各発表内容を紹介します。 オープニング・ Amazon QuickSig
クエリパフォーマンスの最適化につながる Amazon Timestream の顧客定義パーティションキー機能
2023/09/08
ブックマーク
Amazon Timestream はインフラストラクチャの可観測性、ユーザの行動分析、IoT のワークロード等に適したフルマネージドでスケーラブルな時系列データベースです。1 日に何兆ものイベントを処理可能で、ニーズに合わせて水平方向に拡張できるように設計されています。Timestream は マルチメジャーレコードやスケジュールドクエリ 等の機能を持ち合わせており、時系列デー
BigQueryクエリキューの概要まとめ
2023/09/08
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の松山です。 データML ディビジョンでは、Google Cloudが提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 用語 本ペー
Python Dashによりデータ分析結果の共有を効率化する取り組み
2023/09/08
ブックマーク
はじめに こんにちは、検索基盤部の伊澤です。検索基盤部では普段から、ZOZOTOWNの検索機能に関するデータ分析や、データ分析を踏まえた検索性能の改善に取り組んでいます。 検索に関するデータ分析では、検索クエリの傾向把握や課題のあるクエリの特定のために、検索クエリごとの検索結果のクリック率やコンバージョン率といったパフォーマンス指標を評価してい
GAになった Pub/Sub の Cloud Storage サブスクリプションを試してみた
2023/09/06
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属のZUMA SEAです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査
BigQuery の検索インデックスを試す
2023/08/30
ブックマーク
TL; DR BigQuery には、検索インデックス機能というものがあります この機能を用いると、大容量のテーブルから文字列を抽出する際に、処理するデータ量と処理完了までの時間が大幅に削減されるかもしれません 検索インデックスとは こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースの データML ディビジョンは、クラウドエースの ITエ
AWS ライフサイエンスエグゼクティブシンポジウム 2023 のハイライト: データへのアクセスとインサイトの活用
2023/08/29
ブックマーク
この記事は “ Highlights from the AWS Life Sciences Executive Symposium 2023: Unlocking access to and insights from data ” を翻訳したものです。 5 月 15 日にボストンで AWS ライフサイエンスエグゼクティブシンポジウム を開催しました。そこで、 「データへのアクセスとインサイトの活用」 をテーマにしたトラックを私がリードしました。100の組織から集まった300人以上のライフサイエンス担当
AWS ライフサイエンスエグゼクティブシンポジウム 2023 のハイライト：ML およびジェネレーティブ AI で創薬を加速する
2023/08/29
ブックマーク
5 月 15 日、ボストンで AWS ライフサイエンス・エグゼクティブ・シンポジウム が開催され、その中で私は「機械学習（ML）による創薬の加速」というテーマでトラックを担当しました。この半日の対面イベントには、100 を超える組織から 300 人以上のライフサイエンス企業のエグゼクティブが参加し、堅牢なデータ基盤とクラウド上の機械学習によってどのようにイノベー
dbtvault改めautomate_dvで実装するDataVaultモデリング
2023/08/28
ブックマーク
データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事は こちら です) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに？どんな特徴がある
Amazon Neptuneでレジャー活動の提案をリアルタイムで生成
2023/08/28
ブックマーク
DoGet App は、友人と直接会って時間を共有するためのモバイルアプリケーションです。 この投稿では、DoGet Appが彼らのユースケースに対応し、リアルタイムのアクティビティ提案とマッチメイキングを可能にする Amazon Neptune に支えられたグラフデータモデルをどのように採用したかについて紹介します。 この目的のために構築されたデータベースに対するアプローチによ
Firestore（Datastoreモード）のデータベースをPoint-in-time recoveryで復元する
2023/08/25
ブックマーク
1. はじめに はじめまして、クラウドエース データML ディビジョン所属の尾杉です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトに