TECH PLAY

ビッグデータ」に関連する技術ブログ

289 件中 1 - 15 件目
本記事は 2026 年 02 月 09 日 に公開された “Simplify cross-account stream processing with AWS Lambda and Amazon DynamoDB” を翻訳したものです。 原文: https://aws.amazon.com/blogs/database/simplify-cross-account-stream-processing-with-aws-lambda-and-amazon-dynamodb/ 組織は、セキュリティと分離のため
はじめに 今回は機械学習プラットフォーム「DataRobot」のデモ紹介記事として、フィルム製品製造時の不良発生に影響する要因分析についての活用事例を紹介します。 DataRobotについて DataRobot社は、AIに対するユニークなコラボレーション型のアプローチによってユーザーをAIサクセスに導くバリュー・ドリブン AIのリーダーです。 https://www.datarobot.com/jp/ DataRobot社の製品であるDataRobotは、10年以上にわたってユーザーの自動機械学習(Aut
はじめに(本記事の想定読者) 近年、AI/機械学習を活用したデータ分析基盤の構築ニーズが高まる中で、Dataiku DSS はデータの準備と統合、また高度な分析・機械学習をノーコード/ローコードで実現できる統合プラットフォームとして利用されています。 本記事では、Windows 環境において無料版の Dataiku DSSを構築する手順を整理します。 Dataiku DSS は Windows 上でのネイティブ実行を前提としていないため、WSL2(Windows Subsystem for Linux)上
本記事は 2026 年 2 月 3 日 に公開された「 Use Amazon MSK Connect and Iceberg Kafka Connect to build a real-time data lake 」を翻訳したものです。 分析ワークロードでリアルタイムなインサイトが求められる中、ビジネスデータを生成直後にデータレイクへ取り込む必要性が高まっています。リアルタイム CDC データ取り込みには AWS Glue や Amazon EMR Serverless など様々な方法がありますが、Am
この記事の対象者 DataRobotで生成AIを活用したい方 Pythonなどの知識がなくともエージェントを組みたい方 はじめに 近年、生成AIの需要は急速に高まっており、業務効率化からプロダクト開発まで、AI活用はもはや当たり前になりつつあります。 中でも注目されているのが、複数のAIを連携させて自律的に動かす「AIエージェント」です。 DataRobotではAIエージェントを実装するための機能を提供しており、それだけではなくエンドユーザ向けのアプリ化をDataRobot環境内で構築でき、セキュアな環境
2025/10/7~9 に、アメリカのシアトルで開催された Airflow Summit というイベントに参加・登壇してきました。この記事では印象に残ったセッションを中心に、イベントの模様を共有します。 Airflow Summit とは オープンソースのワークフロー管理ソフトウェアとしては、おそらく最大級の知名度と導入実績を持つであろう Apache Airflow に関する、コミュニティ主催の年次イベントです。 2020年から毎年開催されており、前回 (2024年) は3日間で参加者650名、登壇者1
本記事は 2026 年 1 月 15 日 に公開された「 Unlock granular resource control with queue-based QMR in Amazon Redshift Serverless 」を翻訳したものです。 Amazon Redshift Serverless は、データウェアハウス運用からインフラストラクチャ管理と手動スケーリングの要件を取り除きます。Amazon Redshift Serverless のキューベースクエリリソース管理は、クエリを専用キューに分
本記事の対象者 DataRobot上でデータ加工(結合、値置換、フィルタリング、列削除、特徴量生成など)がしたい方 Snowflake等の連携ではなく、ローカルのファイル(Excel/CSV)をアップロードして加工したい方 はじめに 本記事ではDataRobotというソリューションを使ってデータの加工を実施できる「ラングリング」機能を紹介します。 データ分析を進めるうえで、「分析可能なデータを用意する」ことに対して、手元でExcelやプログラム(Pythonなど)、加工に特化したソリューションを活用し成形
本記事は 2026 年 1 月 22 日 に公開された「 Power up your analytics with Amazon SageMaker Unified Studio integration with Tableau, Power BI, and more 」を翻訳したものです。 by Narendra Gupta, Durga Mishra, Nishchai JM, and Ramesh H Singhon 22 JAN 2026in Advanced (300) , Amazon Sag
本記事は 2026 年 01 月 13 日 に公開された “Build durable AI agents with LangGraph and Amazon DynamoDB” を翻訳したものです。 原文: https://aws.amazon.com/blogs/database/build-durable-ai-agents-with-langgraph-and-amazon-dynamodb/ 私は AI エージェントの急速な進化に魅了されてきました。過去 1 年間で、AI エージェントがシンプル
0. はじめに Snowflakeでは、SQLを中心としたデータ加工に加え、Pythonを用いた分析や検証処理をSnowflake上で完結させるための機能が拡充されており、その一つとして、Jupyter Notebookのような操作感でインタラクティブに処理を記述・実行できるNotebook機能が提供されています。 Notebookを利用することで、SQLやPythonを組み合わせた処理を段階的に実装し、その場で結果を確認しながら分析やデータ加工の試行錯誤を進めることができます。 こうした中で、Noteb
はじめに データエンジニアをやっております Taichi です。 カラムナフォーマットと聞いて、多くの方がまず思い浮かべるのは Apache Parquet(以降Parquet)ではないでしょうか。私も日常的に触っているのはほぼ Parquet です。 一方で、ここ数年で Lance / Nimble / Vortex のような次世代カラムナフォーマットが次々と登場し、クラウドオブジェクトストレージや AI/ML ワークロードに最適化された設計が提案されています。 本記事では、 Parquet のフォーマ
本記事は、2025 年 11 月 25 日に公開された How Rivian and Volkswagen Technology Group Built Real-Time Vehicle Security with Amazon Kinesis Video Streams を翻訳したものです。 このブログ記事では、Rivian と Volkswagen Group Technologies (Rivian) が AWS と提携し、Rivian の Gear Guard 機能強化を通じて車両のセキュリティ
LINEヤフーのインターンシップは、あなたの可能性を広げる舞台です。プログラムは実際の仕事に近いリアルな体験にこだわっています。インターンシップを通じて新しい自分に出会う経験は、きっとあなたを大きくし...
本記事は 2024 年 12 月 4 日 に公開された「 Use open table format libraries on AWS Glue 5.0 for Apache Spark 」を翻訳したものです。 オープンテーブルフォーマットは、急速に進化するビッグデータ管理の領域で台頭しており、データストレージと分析の状況を根本的に変えています。Apache Iceberg、Apache Hudi、Delta Lake に代表されるこれらのフォーマットは、柔軟性、パフォーマンス、ガバナンス機能の高度な組み