「ビッグデータ」に関連する技術ブログ - TECH PLAY

TECH PLAY

「ビッグデータ」に関連する技術ブログ

全 360 件中 1 - 15 件目
本記事は全3回シリーズの第3回です。 第1回ではLakebridgeの全体像を、第2回ではBladeBridgeとSwitchによるSQL ServerのDDL変換とDatabricksへの適用を紹介しました。 最終回となる本記事では、第2回で作成したテーブルと検証データを引き継ぎ、Agentic Code Converterによる3種類のT-SQLの変換から、実行・結果確認までを試します。 第1回:Lakebridgeの機能紹介 第2回:Lakebridgeを触ってみる 1. はじめに 前回のLakeb
本記事は全3回シリーズの第2回です。 第1回では、Databricksへのマイグレーションを支援するLakebridgeの概要と各機能を紹介しました。 本記事では、Analyzer・BladeBridge・Switchを使ってSQL ServerのDDLを変換し、Databricksへの適用から動作確認までを行います。 第3回では、今回作成したテーブルを使ってAgentic Code ConverterによるT-SQL変換を検証します。 第1回:Lakebridgeの機能紹介 1. はじめに 既存のSQL
本テーマは全3回構成です。 第1回となる本記事ではLakebridgeの全体像と各機能を紹介します。 第2回ではLakebridgeのBladeBridge・Switchを用いたDDL変換を実践します。 第3回ではAgentic Code ConverterによるT-SQL変換を実践します。 0. 簡単に自己紹介 はじめまして。私はNTT DATAでクラウド・データ/AI領域のシステム開発に携わっています。 これまでAWS(Amazon Web Services)環境でのシステム開発を経験し、現在はDat
はじめに 想定読者:データサイエンティストなど、日常的にデータを扱っていて、コネクティッドデータは初めての方。 この記事で分かること:コネクティッドデータの中身、一般的な分析の流れ、それが何に使われるか、扱うときに詰まる点。 こんにちは。KINTOテクノロジーズのデータサイエンスGに所属するfalsenineです。 コネクティッドデータとは、通信機能を持つクルマが、クラウドに送るデータのことです。車速や位置情報などが含まれ、運転者ごとの安全運転スコアを保険料の割引に反映する保険や、交通情報の生成などに活用
この記事の対象者 System One Model(本記事ではLaya)を用いたテーブルデータの分類問題に興味がある方 Layaの実装に興味がある方 はじめに 2026年9月にリリースされたJevと呼ばれるモデルが話題になっています。 このモデルは通常の生成AIと異なり、文章を一切生成せず、高速な「判断」と確率・確信度のみを出力する、TypeSafe AIが開発した「System One Model」と呼ばれる新しいカテゴリのモデルです。 System Oneとは、心理学者ダニエル・カーネマンの著書『ファ
Databricksへの移行を支援するツールを試してみた 1. はじめに NTTデータの丹羽です。Databricks Championとしても活動しています。 近年、既存のデータウェアハウス(DWH)からDatabricksへのマイグレーションを検討する機会が増えています。 Databricksでは、Teradataなどの既存DWHからDatabricksへの移行を支援するツールとして、Lakebridgeが提供されています。 本記事では、Databricks CLIおよびLakebridgeをセットア
TeradataからDatabricksへの移行検証で判明した課題・対策を紹介します。 1. はじめに NTTデータの丹羽です。Databricks Championとしても活動しています。 Databricksが提供するマイグレーション支援ツール Lakebridge を利用し、TeradataからDatabricksへの移行を検証しました。 本記事では、Lakebridgeの機能紹介ではなく、TeradataからDatabricksへの移行検証を通じて分かった効果・課題・適用範囲と、その対策について紹
本記事は 2026 年 10 月 1 日に公開された “ Introducing filtered export from Amazon DynamoDB to Amazon S3 ” を翻訳したものです。 本日、 Amazon DynamoDB のフィルター付きエクスポート機能をリリースしました。これにより、テーブルのキャパシティを消費することなく、必要な項目と属性のみをエクスポートできるようになりました。 Amazon Simple Storage Service (Amazon S3) へのエクスポ
Amazon S3 テーブルは 、Apache アイスバーグ V3 仕様のすべてのデータタイプをサポートするようになりました。V3 テーブルを作成するか、既存の V2 テーブルをアップグレードして、削除ベクトル、行系列、バリアント、ナノ秒タイムスタンプ、不明、ジオメトリ、地理などの新しいデータタイプなどの V3 機能 を活用できます。 Apache Iceberg は、大規模な分析データセットを管理するためのオープンスタンダードになりました。 Amazon S3 などのオブジェクトストレージのデータレイク
本記事は 2026 年 9 月 30 日 に公開された「 Amazon Aurora PostgreSQL now supports direct querying of Apache Iceberg and Parquet data in your data lake 」を翻訳したものです。 本日、 Amazon Aurora PostgreSQL の新機能を発表します。既存の PostgreSQL アプリケーションやツールを使って、運用データと、データレイクに Apache Iceberg および A
皆さま、こんにちは。 Weekly AWSでは、毎週 AWS プロダクトのアップデート情報をお届けしています。 それでは、先週まで (9月14日~27日) の主な AWS アップデート情報を紹介します。 今週の注目アップデート Amazon CloudWatch Omni が一般提供を開始 Amazon CloudWatch の進化版である Amazon CloudWatch Omni の一般提供が開始されました。CloudWatch Omni は、AI を活用した可観測性エクスペリエンスであり、チームや
本記事は 2026 年 8 月 25 日 に公開された「 PythonOperator and BashOperator Now Available on Amazon Managed Workflows for Apache Airflow (Amazon MWAA) Serverless 」を翻訳したものです。翻訳はクラウドサポートエンジニアの山本が担当しました。 Amazon MWAA Serverless で Apache Airflow ワークフロー を実行している場合、PythonOperat
皆さま、こんにちは。 Weekly AWSでは、毎週 AWS プロダクトのアップデート情報をお届けしています。 それでは、先週 (8月31日~9月6日) の主な AWS アップデート情報を紹介します。 今週の注目アップデート Amazon Quick が、自然言語でカスタムアプリケーションを構築可能に Amazon Quick で、自然言語で説明するだけでカスタムアプリケーションを構築できる機能が一般提供されました。これにより、プロジェクトトラッカー、顧客ダッシュボード、トレーニングポータルなどを、コード
製造業のデータ利活用は、AIツールを導入する段階から、事業成長や顧客価値の創出につなげる段階へ移りつつあります。欧米の先進企業では、データを資産として扱うData as a Productの考え方を取り入れながら、生成AIだけでなく、物理世界を動かすフィジカルAIをコア業務や人材育成に組み込んでいます。これを実現する上で注目すべきは、ITなど一つの中央部門に依存せず、データ活用の主導権を各部門に分散して持たせるデータメッシュアプローチです。これらを通じて、データ基盤の再設計と組織変革を同時に推し進めていま
こんにちは、AWSの嶺、篠原、鈴木です。2026年5月、DeNAのヘルスケア事業部門のDeSCヘルスケア株式会社(以下、DeSC)の皆さまと、AI-DLC(AI-Driven Development Life Cycle)の3日間プログラム「Unicorn Gym」に取り組みました。AI-DLC は、AWS が提唱する「ソフトウェア開発に対する AI 中心の革新的なアプローチ」であり、AI の能力を開発プロセスの構造そのものに組み込む新しい方法論ですが、その方法論をソフトウェア開発ではなく「データ分析業務

タグからブログをさがす

プログラミング

HaskellTypeScriptBabelShell

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。 情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?
無料でイベントをはじめる