この投稿は株式会社ニコンの森谷 俊洋 氏、村上 隆哉 氏より金属 3D プリンター向けリモートモニタリングプラットフォームにおける Amazon Timestream 活用の取り組みについて寄稿いただいたものです。本寄稿は前後編の 2 回に分けてご紹介するうちの後編となります。前編の内容は こちら よりアクセスできますので、ご興味のある回をご覧いただければ幸いです。 Amazon Timestream の活用 Amazon Timestream を選んだ理由 One Board の開発当初、オンプレミスの

G-gen の杉村です。BigQuery Data Transfer Service で Cloud SQL にホストされた PostgreSQL のデータを転送する検証を行いましたので、共有します。 はじめに BigQuery Data Transfer Service とは 当記事について 環境のセットアップ Cloud SQL インスタンスの起動 テーブルとデータの準備 転送の作成 検証 初回転送 レコードの追加（差分転送） レコードの更新 レコードの削除 挙動のまとめ はじめに BigQuery

システムのマイグレーションにおいて、データベース（以下DB）に関する変更を行う場合があります。DBはシステムの根幹を担う存在であり、この際にはさまざまな懸念点があります。たとえばスキーマ変更やデータ移行に伴うダウンタイムのリスクがあり、その解決手段としてDBテストが欠かせません。 本記事ではDBテストにおける課題と解決策について解説いたします。 マイグレーションにおけるDBテストとは マイグレーション時におけるDBに関する変更としては、以下が挙げられます。 – DBの変更 – DB

SCSKの畑です。7回目の投稿です。 今回は小ネタ・・のつもりだったのですがいくつか加筆していたらそれなりの分量になってしまいました。内容は正直タイトルから大体想像付くところだとは思うのですが、ご了承ください。 アーキテクチャ概要 今回はタイトル通り AWS AppSync と AWS Lambda がメインですが、少しだけ Amazon Redshift も話に出てきます。 背景 ほぼ毎回説明しているかもしれませんが、本アプリケーションの主目的（機能）はデータベース/DWH のテーブルデータメンテナンス

G-gen の杉村です。Google が提供するブラウザベースの IDE である Cloud Shell エディタや、コーディング支援 AI ツールである Gemini Code Assist を使い、Chromebook 上で開発環境を整備してみました。 はじめに 当記事について Cloud Shell エディタとは Gemini Code Assist とは ブラウザベースの IDE ブラウザ版 VS Code で開発する Cloud Shell エディタで開発する Cloud Code との統合 G

DMM.com は動画配信事業とオンラインゲーム事業、FX 等の金融サービスを主力として、オンライン英会話サービスなど 60 以上のサービスを展開している企業です。DMM.com では、オンプレミスの MySQL で稼働していたユーザーレビュー機能を、Aurora MySQL に移行しています。データの移行は AWS Database Migration Service (DMS) を使用してダウンタイムを最小限に抑えつつ、移行元への逆同期や SageMaker を使用したデータ検証の仕組みなど、様々な工

はじめに こんにちは。KINTOテクノロジーズ(以下KTC) プラットフォームグループ Platform Engineeringチームで内製ツールの開発・運用をおこなっている山田です。 Platform Engineeringチームが開発するCMDBについて詳しく知りたい方は以下の記事をご覧ください！ https://blog.kinto-technologies.com/posts/2023-12-14-CMDB/ 今回はCMDBの機能の一つであるチャットボットに、 生成AIとText-to-SQL を

このブログは “ Healthcare and Life Sciences: Top 10 announcements from AWS re:Invent 2024 ” を翻訳したものです。 技術的なブレークスルーを実現するには、目的に応じたツール、戦略的イノベーション、そして業界固有の課題に対する深い理解が、綿密に統合される必要があります。AWS re:Invent 2024 では、ヘルスケア・ライフサイエンス業界のお客様が、生成 AI と機械学習 (ML) の最新のイノベーションにより、医学研究、患

はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、Dataform のアサーションについてまとめました。 この内容を詳しく書いている記事はあまりない印象なので、これから Dataform を使ってみようと考えている方はぜひご覧ください。 Dataform とは Dataform は、BigQuery Studio に含まれるプロダクトであり、BigQuery に格納しているデータの加工処理やアサーション等のワークフローを作成できます。また、ワークフローの作成だけでなく、

G-gen の佐々木です。当記事では BigQuery 上で機械学習モデルを作成、評価、実行するための機能である BigQuery ML について解説します。 概要 BigQuery とは BigQuery ML とは BigQuery ML の使用方法 ユーザーインターフェース BigQuery Editions クエリのドライラン BigQuery ML でサポートされるモデル 内部モデル 外部モデル インポートされたモデル リモートモデル ユーザーが Vertex AI でデプロイしたモデル Goo

SCSKの畑です。5回目の投稿です。 第一回 の続きです。今回は、前回説明した排他制御の仕組みをアプリケーションからどのように使用しているかが主な内容となります・・が、それだけだと書くことがほぼなくなってしまうので、使用するための前提条件などを補足しながらにしようと思います。 アーキテクチャ概要、及び排他制御に使用したサービス / コンポーネント 今回はほぼ AppSync & アプリケーションの話ですが、排他制御の仕組みを使用するにあたりメンテナンス対象である Redshift についても補足が

G-gen の出口です。本記事では、Eventarc と Workflows を利用して イベントドリブンに Cloud Run jobs を実行する方法をご紹介します。 概要 Cloud Run functions と Cloud Run jobs 検証の概要 Eventarc Workflows Cloud Storage の準備 Cloud Storage バケットの作成 Cloud Strage サービスエージェントへの権限付与 BigQuery テーブルの作成 Cloud Run jobs の作

本ブログは 2024 年 12 月 17 日に公開された「 How DeNA Co., Ltd. accelerated anonymized data quality tests up to 100 times faster using Amazon Redshift Serverless and dbt 」を翻訳したものです。 本ブログは 株式会社ディー・エヌ・エー（以下 DeNA ） と Amazon Web Services Japan が共同で執筆しました。 DeNA は「一人ひとりに想像を超え

はじめに 　初めまして！2024年11月にCATechJOBプログラムで株式会社AbemaTV BD ...

SCSKの畑です。4回目の投稿です。 今回は、現在作成中の WEB アプリケーションにおいて、どのように排他制御を実装したのかについてまとめました。ただ、内容が長くなりそうなので、何回かに分けて記載していこうと思います。 排他制御が必要となる機能要件について 初回のエントリ に記載通り、現在作成中の WEB アプリケーションの主機能はデータベース/ DWH 上のテーブルデータのメンテナンスとなっています。どのようにテーブルデータのメンテナンスを行いたいか（＝どのような機能要件か）というのは案件ごとに差異は