「Hadoop」に関連する技術ブログ
企業やコミュニティが発信する「Hadoop」に関連する技術ブログの一覧です。
全31件中 1 - 15件目
Google Cloud Storage の階層型名前空間(フォルダ)が一般提供されました
2024/11/08
ブックマーク
こんにちは、クラウドエース株式会社 第一開発部の阿部です。 これまでは SRE 部に所属していましたが、当社の組織改編により所属部署が変わりました。今後ともよろしくお願いします。 さて、本記事では 2024 年 10 月 15 日に一般提供された Google Cloud Storage の階層型名前空間(フォルダ)について紹介します。 概要 Google Cloud Storage (以降、GCS) とは、 Google Cloud のオブジェク
Amazon Athena のパフォーマンスチューニング Tips トップ 10
2024/10/11
ブックマーク
2024 年 2 月に 更新された原文を日本語版として 9 月に反映しました： この記事は、コストベースの最適化とクエリ結果の再利用を含む Amazon Athena エンジンバージョン 3 の変更を反映するために確認および更新されました。 Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納された
週刊AWS – 2024/8/12週
2024/08/19
ブックマーク
みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も 週刊AWS をお届けします。 早速ですが、先日開催されたAWS Builders Online Seriesのセッションが登録なしでご覧いただけるようになりました。 https://resources.awscloud.com/aws-builders-online-series-japanese ご参加できなかった方もこれを機にぜひご活用いただけますと幸いです。 それでは、先週の主なアップデー
BigQuery × Apache Iceberg で実現するデータレイクハウス構築
2024/08/02
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や機械学習システムの構築を行なっており、Google Cloud 認定トレーナーとしてトレーニング提供もしています。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築か
Ray on Vertex AI 入門
2024/05/08
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段は、データ基盤や MLOps を構築したり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析まで
Google Cloud Next'24 Day 3 Uber 事例紹介セッションレポート
2024/04/14
ブックマーク
こんにちは。バックエンドエンジニアリング部の吉崎です。 好きなハンバーガーは Gordon Ramsay Burger の 24 Hour Burger です。食べてないんですけどね。 そうです。Google Cloud Next'24 @ Las Vegas に参加してきました。 本記事では、Day 3 に行われた Uber の事例紹介のセッションを紹介します。 このセッションでは、Uber の事例を紹介するとともに、Google Cloud Storage(GCS) に関するアップ
JANOG53 登壇レポート「データセンターネットワークでの輻輳対策どうしてる？」
2024/03/13
ブックマーク
こんにちは。Site Operation本部の深澤と小林です。普段は同じチームのメンバーとしてデータセンターネットワークの運用などを担当しています。 2024年1月17日（水） ~ 19日（金） に開...
【初級編】 Amazon EMRとはなんぞや？（概要と他社SaaS比較）
2024/03/12
ブックマーク
こんにちは、近藤（りょう）です！社内で複数の近藤さんがいますので識別するために（）付きにしています。 ソリューションアーキテクトでも問題としてピックアップされていますね。EMRについていくつ調べましたので概要と他社SaaS比較についてご紹介していきます～！ EMRとは？ Hadoop, Spark, Hive, Presto などの オープンソースフレームワークを使⽤した ペタバイトスケ
Google Cloud Next Tokyo ’23に参加してみた
2023/12/02
ブックマーク
本記事は TechHarmony Advent Calendar 12/2付の記事です。 こんにちは。SCSKの江木です。 Goolge Cloud Next Tokyo ’23に参加してきたので、イベントの内容と感想を投稿します。 Google Cloud Next Tokyo ’23とは？ Google Cloud Next Tokyo ’23は2023年11月15日・16日に東京ビッグサイトで開催されたGoogle Cloudのカンファレンスイベントです。日本では4年ぶりの現地開催となりました。 本イベン
Google Cloud Next Tokyo ’23 の Innovators Hive で Ask the Expert を担当しました
2023/11/21
ブックマーク
こんにちは、クラウドエースの阿部です。 今回の記事では、 2023年11月15日～16日に開催された Google Cloud Next Tokyo ’23 で対応した Ask the Expert の感想を書いていきたいと思います。 前置き (TL;DR) 参加したイベントや用語についてざっと説明します。 Google Cloud Next Tokyo ’23 について Google Cloud Next は Google Cloud のグローバルカンファレンスであり、 Google Cloud に関する最新技術
BigLake メタデータ キャッシュ対応テーブルに対してのマテリアライズド ビュー作成が GA になりました
2023/11/17
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の仲佐です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
AWS Storage Day 2023 にようこそ
2023/08/14
ブックマーク
第 5 回の AWS Storage Day へようこそ! このバーチャルイベントは、8月9日、太平洋標準時の午前 9:00 (東部標準時正午) に開催され、 AWS On Air Twitch チャンネル で視聴できます。最初の AWS Storage Day は 2019 年に開催されました。このイベントはイノベーションデーへと発展し、毎年皆様をお迎えできることを楽しみにしています。 昨年の Storage Day の投稿 で、データを安全に保護
Amazon EMR における高可用性キー配布センターの実装
2023/08/10
ブックマーク
このブログは Lorenzo Ripani (Big Data Solutions Architect) と Stefano Sandona (Analytics Specialist Solutions Architect) によって執筆された内容を日本語化したものです。原文は こちら を参照して下さい。 高可用性（HA）とは、指定された期間、故障することなく継続的に稼働するシステムまたはサービスの特性です。システム全体に HA 特性を実装することで、通常、サービスの中断につながる
2023年6月5日週のGoogle Cloudの主なリリースに関するニュース
2023/06/12
ブックマーク
クラウドエース北野です。 6月に入って、関東も梅雨入して、じめじめした天気が続きますが、体調はいかがでしょうか。 6月5~9日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Compute Engine Hyperdisk Throughput の提供 (GA) Hyperdisk Throughputは柔軟な容
trocco®でお手軽ETLワークフロー管理
2023/05/22
ブックマーク
クラウドエースData/MLディビジョン所属のODRです。 今回は、データ分析基盤構築・運用の支援 SaaS である trocco® のワークフロー機能を使用して、GUIでワークフローを作成してみたので、手順と感想をまとめました。 最後に、Google Cloud のワークフロー管理ツールとの比較も行いました。 trocco とは trocco®は、ELT/データ転送・データマート生成・ジョブ管理・データガバナン