Apache Spark
イベント
注目のイベント
締切間近
02/14(金)
19:00〜20:30
マガジン
技術ブログ
言語モデル活用によるショッピングレコメンドの改善
2025/01/29
ブックマーク
機械学習エンジニアの山口です。業務ではYahoo!ショッピング向けのレコメンドを開発しています。 近年はTransformer による自然言語処理(NLP)分野の発展が著しく、BERTによる文章埋め込...
オープンソースの Apache Spark から AWS Glue Iceberg Rest Catalog を使って S3 Iceberg テーブルを読み書きする
2024/12/31
ブックマーク
今日の データ主導の世界 では、企業は データレイク や ウェアハウス にまたがる 膨大な量の情報 を処理および分析する効率的な方法を常に模索しています。 Amazon SageMaker Lakehouse を使用すると、 Amazon Simple Storage Service ( Amazon S3 ) 上のデータレイクと Amazon Redshift データウェアハウスにまたがるすべてのデータを統合することができ、強力なアナリティクスと AI / ML アプリ
Iceberg Table for BigQuery の Iceberg Table の中身を見て触れて実感を持ちたかった
2024/12/23
ブックマーク
はじめに Iceberg とは? Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない!!! 次へ はじめに 当記事を開いていただきありがとうございます。 電通 総研 エンジニアリングオフィスの徳山です。 この記事は、テーブルフォーマットの Iceberg についての初歩的な内容を説明します