「ビッグデータ」に関連する技術ブログ
企業やコミュニティが発信する「ビッグデータ」に関連する技術ブログの一覧です。
全191件中 46 - 60件目
2024年11月のイチオシGoogle Cloudアップデート
2024/12/02
ブックマーク
G-gen の杉村です。2024年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Eventarc Advanced が登場（Preview） Vertex AI Search で streaming answer メソッド（GA with Allowlist） Dataplex で automatic discovery of Cloud Storage data が Preview データ分類ラベルが Gmail にも対応 Google Cloud 認定試験に新試験が誕生 Applicatio
将来の日付の Amazon EC2 オンデマンドキャパシティ予約の発表
2024/11/27
ブックマーク
お客様は、 Amazon Elastic Compute Cloud (Amazon EC2) を使用して、ウェブホスティング、ビッグデータ処理、ハイパフォーマンスコンピューティング (HPC)、仮想デスクトップ、ライブイベントストリーミング、データベースなど、考え得るあらゆるタイプのワークロードを実行しています。これらのワークロードの中には非常に重要なものがあり、お客様はキャパシティを予約する
Amazon Data Firehose を使用して、データベースから Apache Iceberg テーブルに変更をレプリケート (プレビュー)
2024/11/21
ブックマーク
11 月 15 日、PostgreSQL や MySQL などのデータベースで行われた変更をキャプチャし、その更新を Amazon Simple Storage Service (Amazon S3) 上の Apache Iceberg テーブルにレプリケートする、 Amazon Data Firehose の新機能がプレビューで使用可能になったことをお知らせします。 Apache Iceberg は、ビッグデータ分析を実行するための高性能なオープンソーステーブル形式です。Apache Iceberg は、SQL
【ONE CAREERエンジニアのホンネ vol.5】全方位で取り組むデータエンジニアの成長とやりがい
2024/11/20
ブックマーク
みなさんこんにちは！ ワンキャリアでデータエンジニアをしている中村 (GitHub: lugen4ro )です。 入社して３ヶ月が経ちましたので、振り返りを行いたいと思います！ 自己紹介
Pub/SubのCloud Storage import topicを使ってみた
2024/11/18
ブックマーク
G-gen の杉村です。Pub/Sub の Cloud Storage インポートトピック （Cloud Storage import topic）を使うと、事前に指定した Cloud Storage バケットに Put されたテキストオブジェクトを、ノーコードで Pub/Sub トピックにパブリッシュし、簡単に Pub/Sub サブスクリプションに配信できます。 前提知識 Cloud Storage インポートトピックとは 設定値 検証の概要 環境構築 サービスエージェントへ IAM
AWS Weekly Roundup: AWS ニュースブログの 20 年、Amazon MSK の Express ブローカー、EC2 での Windows Server 2025 イメージなど (2024 年 11 月 11 日)
2024/11/14
ブックマーク
AWS ニュースブログは 20 周年を迎えました ! 2004 年 11 月 9 日、Jeff Barr は 初めてのブログ記事 を公開しました。当初、彼は TypePad を使用して個人のブログサイトを開設しました。会社やチームではなく、自分の個人的な声を読者に届けたかったのです。 2014 年 4 月 29 日、当社は 新しい AWS ブログサイト を作成し、すべての投稿をそのページに移行しました。現在、AWS ニュ
需要予測AIよ、需要は予測するものでなく作るものだ。
2024/11/13
ブックマーク
需要予測AIよ、需要は予測するものでなく作るものだ。 2022.3.6公開 2024.11.13更新 株式会社Laboro.AI 執行役員 マーケティング部長 和田 崇 リードマーケター 熊谷勇一 概 要 大量データの分析を得意とするAIの活用分野の一つに、需要予測があります。人間には難しいビッグデータの解析も、AIであれば高速に処理し、経営判断に役立てられる予測も可能になるかもしれ
Amazon SageMaker Canvas と Amazon DataZone を活用して、データガバナンスとノーコード機械学習の力を引き出す
2024/11/08
ブックマーク
Amazon DataZone は、AWS、オンプレミス、およびサードパーティのソースに保存されているデータを迅速かつ便利にカタログ化、発見、共有、管理できるデータ管理サービスです。Amazon DataZone では、データを保存して処理する仮想データレイクであるデータゾーンを作成および管理できます。詳細なコーディングやインフラストラクチャ管理は必要ありません。Amazon DataZone で
Enel が Amazon Bedrock を活用してスタッフの生産性を向上
2024/10/30
ブックマーク
Enel は、32 か国に拠点を置き、82 GW の発電容量を持つ大手総合電力会社です。また同社は、7,600 万人の顧客に対して広大な送配電網を提供し、4,650 万台のスマートメーターを管理する大手送配電事業者としても極めて重要な役割を果たしています。Enel は 2014 年以来、Amazon Web Services (AWS) を使用した生成 AI の導入を促進する強力な社内ノウハウを開発することにより、人工
【開催報告】「いまこそ始めよう！AWS でクラウド HPC！」セミナー
2024/10/21
ブックマーク
2024 年 10 月 4 日に「 いまこそ始めよう！AWS でクラウド HPC！ 」と題したセミナーを開催いたしましたのでご報告いたします。 HPC とは High Performance Computing の略で、流体解析や気象シミュレーションといった大規模な計算ワークロードをスーパーコンピュータ等で実行する分野のことです。広義の HPC としては機械学習の大規模分散学習処理やビッグデータ処理も含まれま
Amazon Athena のパフォーマンスチューニング Tips トップ 10
2024/10/11
ブックマーク
2024 年 2 月に 更新された原文を日本語版として 9 月に反映しました： この記事は、コストベースの最適化とクエリ結果の再利用を含む Amazon Athena エンジンバージョン 3 の変更を反映するために確認および更新されました。 Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納された
Amazon DynamoDB オンデマンドに設定可能な最大スループットの導入
2024/10/08
ブックマーク
(本記事は 2024/05/03に投稿された Introducing configurable maximum throughput for Amazon DynamoDB on-demand を翻訳した記事です。) Amazon DynamoDB はあらゆる規模のモダンなアプリケーションを開発できるサーバレスの NoSQL データベースサービスです。DynamoDB オンデマンドモード はキャパシティプランニングなしで毎秒数百万ものリクエストに対応し、テーブルに対してリクエストが発行されて
AWS Weekly Roundup: Oracle Database@AWS、Amazon RDS、AWS PrivateLink、Amazon MSK、Amazon EventBridge、Amazon SageMaker など
2024/09/30
ブックマーク
みなさん、こんにちは! いつものように AWS のニュースが満載の興味深い一週間でした。9 月に開催されたさまざまなイベントは満場で活気に満ちた方々にご参加いただきました。 まず、9 月16 日週に注目のリリースをいくつか取り上げてみましょう。 9 月16 日週の AWS ニュースの発表トップ 3 Amazon RDS for MySQL ゼロ ETL 統合が一般公開され、ワクワクするような新機能が追加
Azure Cosmos DB for MongoDBのデータベース移行： Azure DatabricksとAzure Data Factoryの比較
2024/09/30
ブックマーク
はじめに 背景 Azure Data Factory利用時の注意点 Azure DatabricksとAzure Data Factoryの比較 Azure Databricksの利用方法 Azure Databricksの作成 クラスターの作成 PySparkの記述方法 storesコレクション ordersコレクション merged_storesコレクション 終わりに はじめに 電通 総研XI本部AIトランスフォーメーションセンターの岩本です。この記事では、Azure Cosmos DB for MongoDBのデータベース移行手段として
キャリアアップ制度「トップガン」がHRテクノロジー大賞「ラーニング部門優秀賞」受賞！
2024/09/27
ブックマーク
はじめに