「Hadoop」に関連する技術ブログ
企業やコミュニティが発信する「Hadoop」に関連する技術ブログの一覧です。
全37件中 1 - 15件目
Professional Data Engineer 完全攻略ガイド：データ取り込み編
2025/01/22
ブックマーク
はじめに こんにちは、クラウドエース 第三開発部の松本です。 普段はデータ基盤や機械学習システムを構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しています。 今回は、Professional Data Engineer 完全攻略ガイドのデータ取り込み編として、データエンジニアリング基礎編に続き、データ取り込みプロダクトを中心に試験対策の内容をご紹介します！ 尚
AIとビッグデータの正の連鎖。事例やビジネス成長のポイントも解説
2025/01/20
ブックマーク
AIとビッグデータの正の連鎖。事例やビジネス成長のポイントも解説 2025.1.20 株式会社Laboro.AI リードマーケター 熊谷勇一 執行役員 マーケティング部長 和田崇 概 要 ビッグデータの活用は、現在AIがこれほど進展する前から言われてきましたが、そのAIの進展にはビッグデータが欠かせません。AIが学習するデータも、解析の対象にするデータも、ビッグデータであ
AIインフラ革命 ─ 米国データセンターとGPUを支える技術基盤（Rethinking AI Infrastructure Part 1）
2025/01/09
ブックマーク
はじめに みなさん、こんにちは！ Actapio, inc.（LINEヤフー株式会社の100%子会社）の立見です。 今回から始まるこの連載では、AIインフラストラクチャについて、じっくりと掘り下げてい...
Iceberg Table for BigQuery の Iceberg Table の中身を見て触れて実感を持ちたかった
2024/12/23
ブックマーク
はじめに Iceberg とは？ Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない！！！ 次へ はじめに 当記事を開いていただきありがとうございます。 電通 総研 エンジニアリングオフィスの徳山です。 この記事は、テーブルフォーマットの Iceberg についての初歩的な内容を説明します
生成AIはデータサイエンティストの仕事を奪うか？
2024/12/06
ブックマーク
こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、 NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書 によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノ
Testcontainersを利用したApache Kyuubiのユニットテスト環境構築
2024/12/02
ブックマーク
LINEヤフー Advent Calendar 2024の参加記事です。 こんにちは。LINEヤフー株式会社ビジネスPF開発本部で LINE DMP の開発を担当している yamaguchi です...
Google Cloud Storage の階層型名前空間(フォルダ)が一般提供されました
2024/11/08
ブックマーク
こんにちは、クラウドエース株式会社 第一開発部の阿部です。 これまでは SRE 部に所属していましたが、当社の組織改編により所属部署が変わりました。今後ともよろしくお願いします。 さて、本記事では 2024 年 10 月 15 日に一般提供された Google Cloud Storage の階層型名前空間(フォルダ)について紹介します。 概要 Google Cloud Storage (以降、GCS) とは、 Google Cloud のオブジェク
Amazon Athena のパフォーマンスチューニング Tips トップ 10
2024/10/11
ブックマーク
2024 年 2 月に 更新された原文を日本語版として 9 月に反映しました： この記事は、コストベースの最適化とクエリ結果の再利用を含む Amazon Athena エンジンバージョン 3 の変更を反映するために確認および更新されました。 Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納された
週刊AWS – 2024/8/12週
2024/08/19
ブックマーク
みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も 週刊AWS をお届けします。 早速ですが、先日開催されたAWS Builders Online Seriesのセッションが登録なしでご覧いただけるようになりました。 https://resources.awscloud.com/aws-builders-online-series-japanese ご参加できなかった方もこれを機にぜひご活用いただけますと幸いです。 それでは、先週の主なアップデー
BigQuery × Apache Iceberg で実現するデータレイクハウス構築
2024/08/02
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や機械学習システムの構築を行なっており、Google Cloud 認定トレーナーとしてトレーニング提供もしています。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築か
Ray on Vertex AI 入門
2024/05/08
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析まで
Google Cloud Next'24 Day 3 Uber 事例紹介セッションレポート
2024/04/14
ブックマーク
こんにちは。バックエンドエンジニアリング部の吉崎です。 好きなハンバーガーは Gordon Ramsay Burger の 24 Hour Burger です。食べてないんですけどね。 そうです。Google Cloud Next'24 @ Las Vegas に参加してきました。 本記事では、Day 3 に行われた Uber の事例紹介のセッションを紹介します。 このセッションでは、Uber の事例を紹介するとともに、Google Cloud Storage(GCS) に関するアップ
JANOG53 登壇レポート「データセンターネットワークでの輻輳対策どうしてる？」
2024/03/13
ブックマーク
こんにちは。Site Operation本部の深澤と小林です。普段は同じチームのメンバーとしてデータセンターネットワークの運用などを担当しています。 2024年1月17日（水） ~ 19日（金） に開...
【初級編】 Amazon EMRとはなんぞや？（概要と他社SaaS比較）
2024/03/12
ブックマーク
こんにちは、近藤（りょう）です！社内で複数の近藤さんがいますので識別するために（）付きにしています。 ソリューションアーキテクトでも問題としてピックアップされていますね。EMRについていくつ調べましたので概要と他社SaaS比較についてご紹介していきます～！ EMRとは？ Hadoop, Spark, Hive, Presto などの オープンソースフレームワークを使⽤した ペタバイトスケ
Google Cloud Next Tokyo ’23に参加してみた
2023/12/02
ブックマーク
本記事は TechHarmony Advent Calendar 12/2付の記事です。 こんにちは。SCSKの江木です。 Goolge Cloud Next Tokyo ’23に参加してきたので、イベントの内容と感想を投稿します。 Google Cloud Next Tokyo ’23とは？ Google Cloud Next Tokyo ’23は2023年11月15日・16日に東京ビッグサイトで開催されたGoogle Cloudのカンファレンスイベントです。日本では4年ぶりの現地開催となりました。 本イベン