「ビッグデータ」に関連する技術ブログ
企業やコミュニティが発信する「ビッグデータ」に関連する技術ブログの一覧です。
全154件中 1 - 15件目
第 2 世代 FPGA 搭載の Amazon EC2 インスタンス (F2) が使用可能に
2024/12/18
ブックマーク
最大 8 個の AMD FPGA、最大 192 コアの AMD EPYC (Milan) プロセッサ、高帯域幅メモリ (HBM)、最大 8 TiB の SSD ベースのインスタンスストレージ、最大 2 TiB のメモリを搭載した F2 インスタンスは、2 つのサイズからお選びいただけます。このインスタンスを使用すると、ゲノミクス、マルチメディア処理、ビッグデータ、衛星通信、ネットワーキング、シリコンシミュレーション、
【Amazon Athena】Athena初心者のための基礎知識と基本操作
2024/12/13
ブックマーク
こんにちは。SCSK池宮です。 今さらながら、先日Athenaデビューしました。 初心者にも非常に扱いやすいサービスですが、私と同じように「いざコンソールに入るとどこから始めていいか…」と悩んでしまう方向けに基本操作をまとめてみました。 お役に立ちましたら幸いです。 Amazon Athenaとは Amazon Athenaとは、S3上のデータに対し、サーバレスでクエリを行うことができる
Amazon SageMaker Lakehouse の統合アクセスコントロールが Amazon Athena フェデレーションクエリで利用可能に
2024/12/13
ブックマーク
12 月 3 日、データ、分析、AI の統合プラットフォームである次世代の Amazon SageMaker を発表しました。Amazon SageMaker には、広く採用されている AWS の機械学習と分析機能が統合されています。中核となるのは SageMaker Unified Studio (プレビュー) です。これは、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、モデル開発とトレーニング、生成 AI アプリケーション開
次世代の Amazon SageMaker のご紹介: すべてのデータ、分析、AI が集まる場所
2024/12/12
ブックマーク
12 月 3 日、データ、分析、AI の統合プラットフォームである、次世代の Amazon SageMaker についてお知らせします。まったく新しい SageMaker には、データ探索、準備と統合、ビッグデータ処理、高速 SQL 分析、 機械学習 (ML) モデルの開発とトレーニング、 生成 AI アプリケーション開発に必要なほとんどすべてのコンポーネントが含まれています。 現在の Amazon SageMaker は Amazon S
生成AIはデータサイエンティストの仕事を奪うか？
2024/12/06
ブックマーク
こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、 NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書 によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノ
ニューラルネットワークの基本知識。仕組みや種類、活用事例
2024/12/05
ブックマーク
ニューラルネットワークの基本知識。仕組みや種類、活用事例 2023.9.19公開 2024.12.5更新 株式会社Laboro.AI リードマーケター 熊谷勇一 執行役員 マーケティング部長 和田崇 概 要 ニューラルネットワークはディープラーニングの根本的なモデルであり、現在のAI・機械学習の基盤とも言えます。その仕組みや発生し得る問題と解決方法、種類など、基本を解説します
Amazon Keyspaces (for Apache Cassandra) のキャッシュとしての Amazon ElastiCache の利用
2024/12/04
ブックマーク
本記事は 2024 年 11 月 12 日に公開された “ Use Amazon ElastiCache as a cache for Amazon Keyspaces (for Apache Cassandra) ” を翻訳したものです。 この投稿では、ブックアワードのデータを保存するために Amazon Keyspaces (for Apache Cassandra) テーブルを使用するアプリケーションのライトスルーキャッシュとして Amazon ElastiCache を使用する方法をご紹介します。Amazon Keyspaces にプログラムでアクセ
2024年11月のイチオシGoogle Cloudアップデート
2024/12/02
ブックマーク
G-gen の杉村です。2024年11月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Eventarc Advanced が登場（Preview） Vertex AI Search で streaming answer メソッド（GA with Allowlist） Dataplex で automatic discovery of Cloud Storage data が Preview データ分類ラベルが Gmail にも対応 Google Cloud 認定試験に新試験が誕生 Applicatio
将来の日付の Amazon EC2 オンデマンドキャパシティ予約の発表
2024/11/27
ブックマーク
お客様は、 Amazon Elastic Compute Cloud (Amazon EC2) を使用して、ウェブホスティング、ビッグデータ処理、ハイパフォーマンスコンピューティング (HPC)、仮想デスクトップ、ライブイベントストリーミング、データベースなど、考え得るあらゆるタイプのワークロードを実行しています。これらのワークロードの中には非常に重要なものがあり、お客様はキャパシティを予約する
Amazon Data Firehose を使用して、データベースから Apache Iceberg テーブルに変更をレプリケート (プレビュー)
2024/11/21
ブックマーク
11 月 15 日、PostgreSQL や MySQL などのデータベースで行われた変更をキャプチャし、その更新を Amazon Simple Storage Service (Amazon S3) 上の Apache Iceberg テーブルにレプリケートする、 Amazon Data Firehose の新機能がプレビューで使用可能になったことをお知らせします。 Apache Iceberg は、ビッグデータ分析を実行するための高性能なオープンソーステーブル形式です。Apache Iceberg は、SQL
【ONE CAREERエンジニアのホンネ vol.5】全方位で取り組むデータエンジニアの成長とやりがい
2024/11/20
ブックマーク
みなさんこんにちは！ ワンキャリアでデータエンジニアをしている中村 (GitHub: lugen4ro )です。 入社して３ヶ月が経ちましたので、振り返りを行いたいと思います！ 自己紹介
Pub/SubのCloud Storage import topicを使ってみた
2024/11/18
ブックマーク
G-gen の杉村です。Pub/Sub の Cloud Storage インポートトピック （Cloud Storage import topic）を使うと、事前に指定した Cloud Storage バケットに Put されたテキストオブジェクトを、ノーコードで Pub/Sub トピックにパブリッシュし、簡単に Pub/Sub サブスクリプションに配信できます。 前提知識 Cloud Storage インポートトピックとは 設定値 検証の概要 環境構築 サービスエージェントへ IAM
AWS Weekly Roundup: AWS ニュースブログの 20 年、Amazon MSK の Express ブローカー、EC2 での Windows Server 2025 イメージなど (2024 年 11 月 11 日)
2024/11/14
ブックマーク
AWS ニュースブログは 20 周年を迎えました ! 2004 年 11 月 9 日、Jeff Barr は 初めてのブログ記事 を公開しました。当初、彼は TypePad を使用して個人のブログサイトを開設しました。会社やチームではなく、自分の個人的な声を読者に届けたかったのです。 2014 年 4 月 29 日、当社は 新しい AWS ブログサイト を作成し、すべての投稿をそのページに移行しました。現在、AWS ニュ
需要予測AIよ、需要は予測するものでなく作るものだ。
2024/11/13
ブックマーク
需要予測AIよ、需要は予測するものでなく作るものだ。 2022.3.6公開 2024.11.13更新 株式会社Laboro.AI 執行役員 マーケティング部長 和田 崇 リードマーケター 熊谷勇一 概 要 大量データの分析を得意とするAIの活用分野の一つに、需要予測があります。人間には難しいビッグデータの解析も、AIであれば高速に処理し、経営判断に役立てられる予測も可能になるかもしれ
Amazon SageMaker Canvas と Amazon DataZone を活用して、データガバナンスとノーコード機械学習の力を引き出す
2024/11/08
ブックマーク
Amazon DataZone は、AWS、オンプレミス、およびサードパーティのソースに保存されているデータを迅速かつ便利にカタログ化、発見、共有、管理できるデータ管理サービスです。Amazon DataZone では、データを保存して処理する仮想データレイクであるデータゾーンを作成および管理できます。詳細なコーディングやインフラストラクチャ管理は必要ありません。Amazon DataZone で