ビッグデータ
イベント
注目のイベント
12/11(水)
19:00〜20:15
マガジン
技術ブログ
Amazon Data Firehose を使用して、データベースから Apache Iceberg テーブルに変更をレプリケート (プレビュー)
2024/11/21
ブックマーク
11 月 15 日、PostgreSQL や MySQL などのデータベースで行われた変更をキャプチャし、その更新を Amazon Simple Storage Service (Amazon S3) 上の Apache Iceberg テーブルにレプリケートする、 Amazon Data Firehose の新機能がプレビューで使用可能になったことをお知らせします。 Apache Iceberg は、ビッグデータ分析を実行するための高性能なオープンソーステーブル形式です。Apache Iceberg は、SQL
【ONE CAREERエンジニアのホンネ vol.5】全方位で取り組むデータエンジニアの成長とやりがい
2024/11/20
ブックマーク
みなさんこんにちは! ワンキャリアでデータエンジニアをしている中村 (GitHub: lugen4ro )です。 入社して3ヶ月が経ちましたので、振り返りを行いたいと思います! 自己紹介
Pub/SubのCloud Storage import topicを使ってみた
2024/11/18
ブックマーク
G-gen の杉村です。Pub/Sub の Cloud Storage インポートトピック (Cloud Storage import topic)を使うと、事前に指定した Cloud Storage バケットに Put されたテキストオブジェクトを、ノーコードで Pub/Sub トピックにパブリッシュし、簡単に Pub/Sub サブスクリプションに配信できます。 前提知識 Cloud Storage インポートトピックとは 設定値 検証の概要 環境構築 サービスエージェントへ IAM