Apache Spark

イベント

注目のイベント

マガジン

技術ブログ

言語モデル活用によるショッピングレコメンドの改善

機械学習エンジニアの山口です。業務ではYahoo!ショッピング向けのレコメンドを開発しています。 近年はTransformer による自然言語処理(NLP)分野の発展が著しく、BERTによる文章埋め込...

オープンソースの Apache Spark から AWS Glue Iceberg Rest Catalog を使って S3 Iceberg テーブルを読み書きする

今日の データ主導の世界 では、企業は データレイク や ウェアハウス にまたがる 膨大な量の情報 を処理および分析する効率的な方法を常に模索しています。 Amazon SageMaker Lakehouse を使用すると、 Amazon Simple Storage Service ( Amazon S3 ) 上のデータレイクと Amazon Redshift データウェアハウスにまたがるすべてのデータを統合することができ、強力なアナリティクスと AI / ML アプリ

Iceberg Table for BigQuery の Iceberg Table の中身を見て触れて実感を持ちたかった

はじめに Iceberg とは? Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない!!! 次へ はじめに 当記事を開いていただきありがとうございます。 電通 総研 エンジニアリングオフィスの徳山です。 この記事は、テーブルフォーマットの Iceberg についての初歩的な内容を説明します

書籍