はじめに こんにちは、クラウドエース株式会社 第一事業部の梅木です。 今回紹介するのは、2024年9月30日に GA となった Dataplex の「Managed connectivity pipelines」についてです。 Managed connectivity pipelines により、サードパーティソースのデータベースから Dataplex Catalog へメタデータをインポートする Workflows のパイプライン テンプレートが提供されました。 サードパーティソースの場合、従来は、メタ

はじめに こんにちは、クラウドエース株式会社 第一事業部の梅木です。 今回紹介するのは、2024年9月30日に GA となった Dataplex の「Managed connectivity pipelines」についてです。 Managed connectivity pipelines により、サードパーティソースのデータベースから Dataplex Catalog へメタデータをインポートする Workflows のパイプライン テンプレートが提供されました。 サードパーティソースの場合、従来は、メタ

目次 目次 はじめに 我々のチームについて ZOZOMETRYについて ZOZOMETRYでのBtoB開発で取り入れたこと プールモデルによるマルチテナント管理 Cognito+DBによるユーザー情報の管理 RLSによる行単位でのデータアクセス制御 RLSの利用を見送った理由 理由1 : コネクションプールの管理 理由2 : O/RマッパーでのRLSの利用 DDDにおけるテナントのアクセス制御 MySQLを採用した理由 AWS Auroraとの互換性 PostgreSQL独自の機能の不使用 チームの経験と

本記事は AWS Principal Product Manager の Julian Payne による投稿の日本語訳です。原文は こちら よりご確認いただけます。 Amazon Kinesis Data Analytics for SQL は、ストリーミングソースに対して独自の SQL コードを実行し、時系列分析の実行、リアルタイムダッシュボードへのデータ供給、リアルタイムメトリクスの作成を支援するデータストリーム処理エンジンです。AWS は、 2026 年 1 月 27 日をもって Kinesis

本記事は、AWS の Worldwide Public Sector におけるパートナーソリューションアーキテクトである Nicholas Tunney によって作成されたものの日本語版です。原文は こちら よりご確認いただけます。 2024 年 10 月 17 日: Amazon Kinesis Data Analytics for SQL の提供終了が発表されました。詳細は AWS News Blog をご覧ください。 2024 年 2 月 9 日: Amazon Kinesis Data Fireh

はじめに こんにちは。計測プラットフォーム開発本部バックエンドチームの佐次田です。普段はZOZOMATやZOZOMETRYなどの計測技術に関わるシステムの開発、運用に携わっています。 本記事では計測システムにおける計測データの管理方法を進化させた点についてご紹介します。 目次 はじめに 目次 計測プラットフォーム開発本部 バックエンドチームとは ユビキタス言語 3Dデータ 計測箇所 計測値 ZOZOMETRYとは ZOZOMETRYのコア機能 計測箇所のカスタマイズに関する課題 計測処理をサーバーが担当す

はじめに 背景 Azure Data Factory利用時の注意点 Azure DatabricksとAzure Data Factoryの比較 Azure Databricksの利用方法 Azure Databricksの作成 クラスターの作成 PySparkの記述方法 storesコレクション ordersコレクション merged_storesコレクション 終わりに はじめに 電通 総研XI本部AIトランスフォーメーションセンターの岩本です。この記事では、Azure Cosmos DB for Mo

みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も 週刊AWS をお届けします。 関東は、秋めいた日も増えたように感じますが皆さんの地域はいかがでしょうか？ この時期になるとre:Inventが楽しみな気持ちもありつつ、その前にもいくつかイベントが予定されています。 その一つが10月31日に開催されるAWS AI Dayです。本日からオンサイト参加の登録サイトがオープンしました。 “AWS のテクノロジーで加速する生成 AI のプロダクション活用”について学べる機会ですので、ぜひご活用く

6月中に、レバレジーズが関わった技術イベントのご紹介です。 自社開催から、共催、スポンサー、運営の手伝いと多様な関わり方で、合計5件のイベントに参加しています！ 主催・共催技術イベント イベントグループ「Tech Leverages」始動 イベント開催プラットフォームのconnpassにて、 Tech Leverages グループをリニューアルしました。今後弊社で開催するイベントはこちらで公開していきますので、興味がある方はグループ登録をお願いします。 渋谷一丁目支店・初技術イベント: Agile Eff

はじめに 会員システムグループのkiqkiqです。最近PySparkというライブラリを触ってみたので紹介したいと思います。 Apache Spark・PySparkとは PySparkは、Pythonを使ってApache Sparkを操作するためのライブラリです。そのApache Sparkというのは、オープンソースの大規模データ処理フレームワークで、高速で汎用的なデータ処理エンジンです。Sparkには主に４つの特徴があります。 分散処理 Sparkはクラスター上で分散処理を行うことができ、大量のデータを

こんにちは、Assured プロダクトマネージャーの鈴木です。 株式会社アシュアードは、2024年6月7日〜2024年6月9日に開催される ScalaMatsuri 2024 に大名スポンサーとして協賛します。 scalamatsuri.org ScalaMatsuri とは？ ScalaMatsuriは、プログラミング言語Scalaに関するアジア最大級のカンファレンスです。 ScalaMatsuriは様々な地域やコミュニティから集う技術者に対して開かれたカンファレンスを目指しています。カンファレンスプロ

Swift Expands! とは このイベントはBitkeyに所属するあらさんが企画する開発勉強会イベントです。企画する目的は以下のとおりです。 ものづくりを楽しむ空間を作ろう。 楽しんだ結果得られた成果を記録に残そう。 メジャーではない内容も楽しく話せる場を作ろう。 Swiftと銘打った理由には特定の要素にフォーカスを絞ったイベントであることでイベント内容を想像しやすくするためです。Swiftに秘められたポテンシャルは高いです。実用できる技術としてどのようなものができるのかを探求する会を作ることはSw

はじめに こんにちは、クラウドエース データソリューション部所属の伊藤です。 Google Cloud では大規模データの処理の選択肢としていくつかのサービスがあります。その中でも Dataflow は、データのバッチ処理だけでなく、ストリーミング処理（リアルタイム処理）も行うことができるので、とても重宝されます。弊社が携わる案件においても、データの抽出、加工、格納の順番で処理を行うアーキテクチャの際に Dataflow がよく使用されます（これはいわゆる ETL（Extract, Transform,

はじめに こんにちは、クラウドエース データソリューション部所属の伊藤です。 Google Cloud では大規模データの処理の選択肢としていくつかのサービスがあります。その中でも Dataflow は、データのバッチ処理だけでなく、ストリーミング処理（リアルタイム処理）も行うことができるので、とても重宝されます。弊社が携わる案件においても、データの抽出、加工、格納の順番で処理を行うアーキテクチャの際に Dataflow がよく使用されます（これはいわゆる ETL（Extract, Transform,

はじめに 「ようやくリリースだ！」