「Apache Spark」に関連する技術ブログ - TECH PLAY

TECH PLAY

「Apache Spark」に関連する技術ブログ

全 169 件中 1 - 15 件目
はじめにこんにちは。LINEヤフーAdsのデータ分析プラットフォームの開発を担当しているイ・ジョンウ、イ・ウンヨルです。広告売上は、商品、広告主、キャンペーン配信の変化によって日々変動します。広告KP...
はじめに こんにちは、トモニテ開発部の吉田です。 現在、トモニテではデータ基盤(Databricks)の整備に取り組んでいます。これまでの分析は個人が作成したスプレッドシートに頼る部分が多く、人やシートによって指標の定義が違ったり、誰が何を見られるのかを把握しにくかったりしたため、データを一元化することにしました。 その一環として、アプリの本番 DB のデータを Databricks に連携します。本番 DB には扱いに気をつけるべき情報が多く入っているので、開発部では「どのテーブル・カラムを Datab
AI-Ready Data(AI-Readyデータ、AI Ready Dataとも表記)とは、特定の用途に対して、AIが正しく使える状態にあるデータのことです。調査会社のGartnerは、AI-Readyなデータを「そのユースケースを代表するデータ」と位置づけ、一度整えれば終わりではなく、用途ごとに継続的に整え続ける実践だとしています。 生成AIやAIエージェントの活用が広がるなかで、「データはきれいに整備されているのに、エージェントが正しく答えない」という声を、dotDataは企業との議論の中で多く聞く
皆さま、こんにちは。 Weekly AWSでは、毎週 AWS プロダクトのアップデート情報をお届けしています。 それでは、先週 (10月19日~25日) の主な AWS アップデート情報を紹介します。 今週の注目アップデート AWS Continuum for code vulnerabilities が一般提供を開始 AWS Continuum for code vulnerabilities が一般提供されました。この機能は、コードの脆弱性を機械の速度で発見、検証、優先順位付け、および修復します。 主
数字の中には、しばらく向き合ってみないと想像しにくいものもあります。2026 年 10 月 5 日週、プライムデー 2026 のメトリクスを公開しましたが、私が心に残ったのは 2.3 京件です。これは、イベント中に Amazon ElastiCache がピークに達した毎日のリクエスト数です。プライムデーは6月に開催されたため、この投稿はいつも振り返りとして公開されており、その時間差が読む価値を生む要因の1つです。数字があなたのもとに届く頃には、それが実際に起きたという唯一の証拠は、何も問題が起きなかった
皆さま、こんにちは。 Weekly AWSでは、毎週 AWS プロダクトのアップデート情報をお届けしています。 それでは、先週 (10月5日~11日) の主な AWS アップデート情報を紹介します。 今週の注目アップデート Amazon Bedrock で TwelveLabs Pegasus 1.5 の提供を開始 Amazon Bedrock で TwelveLabs Pegasus 1.5 が利用可能になりました。これは、動画から構造化されたタイムコード付きのメタデータを生成する video-to-t
本記事は 2026 年 10 月 5 日 に公開された「 Materialize once, query anywhere: Introducing Iceberg materialized views in Amazon Redshift 」を翻訳したものです。 Amazon Redshift は Apache Iceberg との統合を段階的に深めてきました。今年初めには、AWS Graviton を搭載した Amazon Redshift RG を発表しました。RG にはデータレイク向けにゼロから設
皆さま、こんにちは。 Weekly AWSでは、毎週 AWS プロダクトのアップデート情報をお届けしています。 それでは、先週まで (9月14日~27日) の主な AWS アップデート情報を紹介します。 今週の注目アップデート Amazon CloudWatch Omni が一般提供を開始 Amazon CloudWatch の進化版である Amazon CloudWatch Omni の一般提供が開始されました。CloudWatch Omni は、AI を活用した可観測性エクスペリエンスであり、チームや
本記事は 2026 年 8 月 28 日 に公開された「 Razor Group’s journey to a modern data lakehouse on AWS 」を翻訳したものです。 Razor Group は、複数のグローバルマーケットプレイスで 250 以上のブランドを展開する、欧州有数の EC アグリゲーターです。売上高は 4 億ドルを超え、ダイナミックプライシングや在庫最適化から広告費の配分、サプライチェーンの制御に至るまで、あらゆる重要な経営判断をデータで支えています。 事業の中心にあ
本記事は 2026 年 4 月 15 日 に公開された「 Get to insights faster using Notebooks in Amazon SageMaker Unified Studio 」を翻訳したものです。 本記事では、Amazon SageMaker Unified Studio のノートブックがインフラの設定を簡素化し、インサイト獲得までの時間を短縮する仕組みを紹介します。住宅価格データの分析、スケーラブルなデータテーブルの作成、分散プロファイリング、機械学習 (ML) モデルの
本記事は 2026 年 8 月 26 日 に公開された「 AWS and DuckLabs: Building the future of analytics together 」を翻訳したものです。 本日、 Amazon が DuckLabs を買収する最終契約を締結したこと を発表します。DuckLabs はオープンソースの分析データベース DuckDB を開発する、アムステルダム拠点の企業です。取引は通常のクロージング条件が満たされ次第、まもなく完了する見込みです。DuckDB を開発し DuckL
2026 年 8 月 21 日、 AWS Glue 6.0 の一般提供について発表しました。これにより、価格が以前の AWS Glue バージョンよりも 30% 低くなり、 Apache Iceberg v3 の機能が完全にサポートされるようになりました。AWS Glue 6.0 は、完全に近代化されたランタイム、Apache Spark 4.1、Python 3.12、および Scala 2.13 に基づいて構築されており、より高速なパフォーマンスを実現しています。 このリリースにより、AWS Glue
~Vertex AIからAgent Platformへ。試験を通して理解したGoogle Cloud AI/MLの現在地~ はじめに 先日、Google CloudのProfessional Machine Learning Engineer(PMLE)試験に合格し、約2年ぶりに資格を更新しました。これにより、保有するGoogle Cloud認定資格の「全冠」も維持することができました。 本記事では、今回の受験を通じて感じた 「Google Cloud認定試験の変化」 に加え、試験勉強を通じて改めて整理で
皆さま、こんにちは。 Weekly AWSでは、毎週 AWS プロダクトのアップデート情報をお届けしています。 それでは、先週 (8月10日~16日) の主な AWS アップデート情報を紹介します。 今週の注目アップデート Amazon S3 が、Access Denied エラーメッセージにポリシー詳細を含めるようになりました Amazon S3 は、同一アカウントおよび同一組織からのリクエストに対する HTTP 403 Access Denied エラーメッセージに、特定の AWS Identity
本記事は 2026 年 3 月 23 日 に公開された「 Extract data from Amazon Aurora MySQL to Amazon S3 Tables in Apache Iceberg format 」を翻訳したものです。 Amazon Aurora MySQL-Compatible Edition でデータを管理していて、分析や機械学習 (ML)、サービス横断のクエリに活用できるモダンなレイクハウス形式で利用可能にしたい、という方は多いのではないでしょうか。 組織では分析の実行、

タグからブログをさがす

ソフトウェア開発

ChatOpsDevOpsEmacsTDD

プログラミング

ShellRustNuxt.jsElectron

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。 情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?
無料でイベントをはじめる