本記事は、2025/4/8 に公開された Manage concurrent write conflicts in Apache Iceberg on the AWS Glue Data Catalog を翻訳したものです。翻訳は Solutions Architect の深見が担当しました。 現代的なデータアーキテクチャにおいて、Apache Iceberg はデータレイクの人気のあるテーブルフォーマットとして台頭しており、ACID トランザクションと同時書き込みサポートなどの重要な機能を備えています。

こんにちは、新卒2年目になりました、伊藤です。 昨年は、Azure Static Web AppsでGoogle認証機能を持つアプリケーションを作成する方法を紹介しました。 https://tech-lab.sios.jp/archives/43562 今回は、既存のインフラでも利用されることの多いApache HTTP Webサーバを使い、Googleアカウントで認証できるWebサーバを構築する手順をご紹介します。 設定には、ApacheのOpenID Connect (OIDC)モジュールである mo

はじめに データエンジニアをやっておりますTaichiです。 最近Apache Icebergという単語をよく耳にするようになりました。 Icebergの処理エンジンといえば Apache Spark Apache Flink Trino などでしょうか。このラインナップ、構築/運用するのは結構ハードなものが多いと思いませんか？ 例えば、私のプロジェクトではSparkを使った構成でデータ処理を実施していますが、以下のような具体的な課題に直面しました。 Apache Hadoopのクラスタ構築作業や、Spa

はじめに さくらのナレッジ編集部の法林です。 さくらインターネットはさまざまなITコミュニティの活動を支援しています。その一環として、Linuxディストリビューションの1つであるDebianの国内コミュニティ・Debia […]

クラウドエースのダッフィ、安田、羽田です。 Dataflow ワークロードでスケールを考慮した VPC 設計について紹介します。 概要 結論として、Dataflow ワークロードでスケールを考慮した VPC 設計の最適解は使用するサービスなどによって変わります。 この記事では、最適解を見つける方法として以下の 3 つのポイントに基づいて解説します。 小さいサブネットを作って適切な範囲を調査する デフォルトのスケールアウト制限を基にして /21 に設定する max_num_workers を指定しスケールア

クラウドエースのダッフィ、安田、羽田です。 Dataflow ワークロードでスケールを考慮した VPC 設計について紹介します。 概要 結論として、Dataflow ワークロードでスケールを考慮した VPC 設計の最適解は使用するサービスなどによって変わります。 この記事では、最適解を見つける方法として以下の 3 つのポイントに基づいて解説します。 小さいサブネットを作って適切な範囲を調査する デフォルトのスケールアウト制限を基にして /21 に設定する max_num_workers を指定しスケールア

こんにちは、OSSよろず相談室の神崎です。 今回は、 Apache のエラー AH00288 と logrotate の関係性に焦点を当てて、原因や対策を解説していきます。 AH00288: scoreboard is full, not at MaxRequestWorkers このメッセージが、logrotate 実行時の Apache HTTP Server のエラーログに出力されることがあります。 以下の流れでこのエラーを深堀りしていきます。 AH00288 メッセージについて 対象のMPM まず

AWS Glue は、さまざまなデータソースからのデータを大規模に処理・統合できるサーバーレスのデータ統合サービスです。Apache Spark ジョブ用の最新バージョンである AWS Glue 5.0 は、バッチ処理とストリーム処理に最適化された Apache Spark 3.5 ランタイム環境を提供します。AWS Glue 5.0 を使えば、パフォーマンスの向上、セキュリティの強化、次世代の Amazon SageMaker のサポート、その他の機能強化が得られます。AWS Glue 5.0 により、

はじめに こんにちは、クラウドエースの許です。 以前、私が執筆した記事にて、Cloud Storage にアップロードした CSV ファイルを BigQuery に自動的にインポートする方法を紹介しました。 その際、Cloud Run を使用して Cloud Functions をデプロイしましたが、デプロイの手順は手動で行っていました。 今回は、GitHub にプッシュすると、自動的に Cloud Run Functions のデプロイまで済ませる方法について紹介します。 この記事の目的 GitHub

はじめに こんにちは、クラウドエースの許です。 以前、私が執筆した記事にて、Cloud Storage にアップロードした CSV ファイルを BigQuery に自動的にインポートする方法を紹介しました。 その際、Cloud Run を使用して Cloud Functions をデプロイしましたが、デプロイの手順は手動で行っていました。 今回は、GitHub にプッシュすると、自動的に Cloud Run Functions のデプロイまで済ませる方法について紹介します。 この記事の目的 GitHub

この記事では、Amazon EC2のAuto Scaling機能とAmazon S3を用いて、比較的安価に可用性の高いウェブページをデプロイする方法を紹介します。 今回は以下のような環境を作ってみます。 今回の構成 前提知識 なぜAuto Scalingを使うのか？ やり方 VPC作成 S3バケット作成 IAMロール作成 AMI作成用のインスタンス（ゴールデンイメージ）を起動 内部作業 Apacheの導入 Cronieの導入 crontabの編集 AMIの取得 ALB作成 ALB用のセキュリティグループ

こんにちは、 Drawer Growth グループの高藤です。先日、弊社の江良が活用事例として取り上げた Apache Iceberg の活用事例 にあるよう、キャディでは Apache Iceberg を採用したデータレイクハウスの構築を行っています。前回に引き続き今後計画していることについて紹介したいと思います。 先日の江良がまとめた活用事例にもある通り、現在構築しているデータレイクハウスでは、お客様が手元にある構造化データに対して、お客様自身でデータをアップロードし CADDi Drawer 内で利

こんにちは。LINEヤフーでAIプラットフォーム向けのKubernetesクラスタの設計や構築、運用を担当している大村です。 LINEヤフーでは、100を超えるサービス向けにAI/機械学習を活用したサ...

毎年 3 月 14 日 (3.14) に開催される AWS Pi Day では、データの管理と利用に役立つ AWS のイノベーションを重点的に取り上げます 。2021 年に Amazon Simple Storage Service (Amazon S3) のリリース 15 周年を記念して始まったこのイベントは、現在ではクラウドテクノロジーがデータ管理、分析、AI をどのように変革しているのかに重点を置くイベントに成長しました。 2025 年の AWS Pi Day は、AWS 上の統合データ基盤を使用し

こんにちは、クラウドエース株式会社の許です。 この記事では、Cloud Storage にアップロードした CSV ファイルを BigQuery に自動インポートする方法について紹介します。 大まかな構成 以下のような構成で実装していきます。 Cloud Storage に CSV ファイルをアップロードすると、Cloud Run Functions がトリガーされ、BigQuery に自動インポートされます。 Cloud Run Functions は、いくつかトリガーが存在していますが、今回は Clo