ビッグデータ

イベント

注目のイベント

【三菱電機/ファインディ/博報堂テクノロジーズ/unerry/エムスリー/Turing】TECH PLAY Data Conference 2024 #2
データカタログ 事例から学ぶメタデータ管理の実態
【無料】データを制する者が未来を制す!「情報を操るためのデータリテラシー超入門」-データで結果を出す方法-
【無料】分析その前に!「データクレンジング超入門」-データ分析のパフォーマンスを最大化するデータ前処理の極意-
unerryとはじめる”人流ビッグデータ”活用【2024年12月】
【Qlik 医療データ活用勉強会】第44回医療情報学連合大会出展報告 & 病床機能報告オープンデータの活用

マガジン

技術ブログ

Amazon Data Firehose を使用して、データベースから Apache Iceberg テーブルに変更をレプリケート (プレビュー)

11 月 15 日、PostgreSQL や MySQL などのデータベースで行われた変更をキャプチャし、その更新を Amazon Simple Storage Service (Amazon S3) 上の Apache Iceberg テーブルにレプリケートする、 Amazon Data Firehose の新機能がプレビューで使用可能になったことをお知らせします。 Apache Iceberg は、ビッグデータ分析を実行するための高性能なオープンソーステーブル形式です。Apache Iceberg は、SQL

【ONE CAREERエンジニアのホンネ vol.5】全方位で取り組むデータエンジニアの成長とやりがい

みなさんこんにちは! ワンキャリアでデータエンジニアをしている中村 (GitHub: lugen4ro )です。 入社して3ヶ月が経ちましたので、振り返りを行いたいと思います! 自己紹介

Pub/SubのCloud Storage import topicを使ってみた

G-gen の杉村です。Pub/Sub の Cloud Storage インポートトピック (Cloud Storage import topic)を使うと、事前に指定した Cloud Storage バケットに Put されたテキストオブジェクトを、ノーコードで Pub/Sub トピックにパブリッシュし、簡単に Pub/Sub サブスクリプションに配信できます。 前提知識 Cloud Storage インポートトピックとは 設定値 検証の概要 環境構築 サービスエージェントへ IAM

動画

書籍