こんにちは☀️ タイミーでアナリストとアナリティクスエンジニアしてますokodoonです 今回の記事はdbt CloudでPull Requestを作るときに、レビュー負荷が高くなってしまっていた問題を解消できるように、コンパイル済みのSQLをPR上にコメントするような仕組みを作成したことについての紹介です。 もし同じような課題感を抱えている方がいらっしゃれば、参考にしていただければ幸いです 課題感 今回選択した解決策 背景/前提 実装概要 各ステップの説明 PRの情報をもとにprofiles.ymlの動

Hello, I'm Allan, a Server-Side Engineer at Kurashiru 🚀 While Kurashiru predominantly relies on MySQL, it's intriguing to explore the broader landscape of database management. Enter PostgreSQL, a robust contender, known for its powerful techniques of Shar

はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zozo.com マイクロサービスは発送業務の各作業が完了したことを基幹システムに連携しており、この連携を実現するために Amazon Manag

小売業で、過去の販売データをもとに売り上げ数量を予測する仕組みのサンプルソリューションを Github上でOSSとして公開しました。 実績データをDWHに取り込んで前処理し、LightGBMベースの予測を出すまでの仕組みをAWS  Cloud Development Kit (CDK) ベースで提供するものです。本エントリではソリューションの構成や使い方について説明します。 End2End Data Solution for Retail Industry (Github) シンプルで見通しが良

クラウドエースの北野です。 8月21-8月27日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 BigQuery データのプロファイル作成とデータのクオリティ監視のテーブルスキャン機能の提供 (GA) Analytics Hub でのサブスクリプション管理機能の提供 (Preview) データへのカスタムマスキングルーティンの作成機能の提供 (Preview) テキスト埋め込

8月30日、Amazon Kinesis Data Analytics の名称が Amazon Managed Service for Apache Flink に変更されたことをお知らせします。これは、 Apache Flink を使ってリアルタイムのストリーミングアプリケーションを構築および実行するためのフルマネージドのサーバーレスサービスです。 進行中の運用、開発、またはビジネスユースケースに影響を与えることなく、同じエクスペリエンスが Flink アプリケーションで引き続き提供されます。Kines

G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。 前回の記事 では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML

データベースのセキュリティを維持することは、あらゆる組織の成功にとって不可欠です。データベースユーザーの認証と認可の実装は、データベースシステムを保護するための重要な手順です。従来のデータベース認証は、ユーザー名とパスワードのメカニズムに基づいています。このプロセスでは資格情報を管理するために DBA とエンドユーザーの両方に一定の時間と労力が必要です。対照的にリレーショナルデータベース認証を Microsoft Active Directory (AD) などの集中認証サービスと組み込むことは、より安全

監視はあらゆるリレーショナルデータベース管理システム (RDBMS) にとって重要な側面です。監視設定が適切であればデータベース設定の可視性と制御性が向上します。AWS のお客様の多くは、 Amazon CloudWatch メトリクスと Amazon Relational Database Service (Amazon RDS) のイベント通知を使用して、さまざまなメトリクスやイベントをモニタリングしています。 Amazon RDS イベントサブスクリプションは、 Amazon RDS for SQL

はじめに こんにちは akihiyo76 です。現在、私のチームではレビュー ガイドライン を明文化して、レビュアーは ガイドライン に従ってコードレビューを行なっています。この ガイドライン は、チームで運用を開始して２年になりますが、チームでも浸透しレビュー時に必ず利用するようになりました。 はじめに コードレビューの課題感 課題改善に向けて 採用したコードレビュー観点 1. Design（設計） 定義 具体例 2. Simplicity（理解容易性） 定義 具体例 3. Naming（命名） 定義

Cox Automotive Inc. は、自動車の購入、販売、所有、利用をすべての人にとってより簡単にする会社です。グローバル企業である同社は34,000以上のチームメンバーと、Autotrader®、Clutch Technologies、Dealer.com®、Dealertrack®、Kelley Blue Book®、Manheim®、NextGear Capital®、VinSolutions®、vAuto®、Xtime® などのブランドファミリーを有しています。5大陸にまたがる数百万の自動車

​データ分析基盤グループでデータエンジニアをしている平川です。 DataVaultに関する記事の第2回目となります。(第1回の記事は こちら です) 第2回の記事は、DataVaultモデリングの中心となるHub/Link/Satelliteをdbtのパッケージを利用して作っていくという内容です。 2,3回目の内容が当初と少し変わっていますので、再掲いたします。 第1回: DataVaultってなに？どんな特徴があるの？ 第2回: automate_dvを使ってDataVaultモデリングの中心となるテー

このブログは Manish Singh（シニアテクニカルアカウントマネージャー）によって執筆された内容を日本語化したものです。原文は こちら を参照してください。 急速に変化するデータ環境（例：大規模なデータが頻繁に作成、共有、複製される状況）により、データストレージの需要が高まっています。多くのお客様は、費用対効果の高いデータの保存方法や、費用をかけずにデータから必要となるすべての情報を入手できる最適な方法を探しています。 クラウドストレージは、「従量課金」モデルによる柔軟なオプションを提供しています。

モノのインターネット (IoT) のデバイスは、クラウド上でトレンドの特定や意思決定に利用できるデータを生み出します。 スケーラブルなデータ取り込み機構を設計するのは複雑な作業であり、最初のステップはデバイスの期待動作を把握することです。つまりデバイスが、どうやってデータを送信しているか、どれくらいのデータ量か、データーフローのパターンは何か、その方向はどちらか、何の目的でどういったデータが行き交うのか、を把握します。これらの質問はデータ取り込みプロセスを定義する上で欠かせません。この記事では AWS I

概要 GOODROIDでリードエンジニアをさせて頂いています及川です。 弊社ではマスタデータなどの一 ...