本記事は AWS Principal Product Manager の Julian Payne による投稿の日本語訳です。原文は こちら よりご確認いただけます。 Amazon Kinesis Data Analytics for SQL は、ストリーミングソースに対して独自の SQL コードを実行し、時系列分析の実行、リアルタイムダッシュボードへのデータ供給、リアルタイムメトリクスの作成を支援するデータストリーム処理エンジンです。AWS は、 2026 年 1 月 27 日をもって Kinesis

本記事は、AWS の Worldwide Public Sector におけるパートナーソリューションアーキテクトである Nicholas Tunney によって作成されたものの日本語版です。原文は こちら よりご確認いただけます。 2024 年 10 月 17 日: Amazon Kinesis Data Analytics for SQL の提供終了が発表されました。詳細は AWS News Blog をご覧ください。 2024 年 2 月 9 日: Amazon Kinesis Data Fireh

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発プロジェクト立ち上げに将来携わるエンジニア、PM、ビジネスサイドのメンバー全員を想定し、これから広告関連のデータを触る予定のエンジニアやPMはもちろん、広告関連のデータに関わりのない方、非エンジニアの方にとっても有益な情報となることを願います。 記事に書いてあること 前回までの記事 前回の第2章では 「1. 出稿している広告のデータを毎日収集し、利用

こんにちは。バンダイナムコネクサス 上田です。 前回に引き続き、広告出稿のKPI最大化のためのデータ基盤開発について紹介します。 対象読者はデータ基盤新規開発に将来携わるエンジニアを想定し、これから広告関連のデータを触る予定の方、Airflowで開発予定の方々にとって有益な情報となることを願います。 記事に書いてあること 前回までの記事 第3章ではAirflowコードをできる限り型化して広告データパイプラインを開発したことを紹介しました。 今回の記事 今回は、第3章で触れた「Airflowコードを型化した

G-gen の山崎です。2024年10月に Preview 公開され、2025年4月に一般公開（GA）された、BigQuery の Pipe syntax （パイプ構文）の概要と使い方を紹介します。 概要 はじめに パイプ構文とは 従来 SQL の課題 データ処理の順番と記述の順番が一致していない サブクエリによるコードのネスト化 冗長な構文 パイプ構文のメリット 柔軟性の向上 可読性の向上 デバッグ効率の向上 従来の SQL とパイプ構文の比較 サンプルデータ データの取得要件 従来の SQL の場合

レシピメディアにおいて、たとえば検索数推移のような時系列的なデータを扱っていると、急激に検索数が伸びているワードを捕捉したいシーンがあります。 要因はものによって違いますが、これをSQLだけで完結してなるべく楽したい。が今回の目的です。 要するに異常検知をすることが目的なのですが、「上昇率がX%以上を検知する」ような単純なモデルではないが、ある程度統計的な根拠をもとに検知が可能で、かつPythonのライブラリをつかうほど複雑ではなくSQL上でわかりやすく書けることを主眼に置きます。 方針としては以下です。

2024 年 2 月に 更新された原文を日本語版として 9 月に反映しました： この記事は、コストベースの最適化とクエリ結果の再利用を含む Amazon Athena エンジンバージョン 3 の変更を反映するために確認および更新されました。 Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納されたオープンテーブルおよびファイル形式のデータを簡単に分

はじめに 2024年度にクラウドエース株式会社に新卒入社しました、第二開発部の三浦と申します。 クラウドの時代において、多くの企業や個人がその利便性とスケーラビリティを活用しています。Google Cloud は、その中でも特に人気のあるプラットフォームの一つです。 しかし、初めてクラウドサービスを利用する際には、コストが気になることもあるでしょう。そのため、Google Cloud はお試し用に無料枠を提供しています。 また、使ったことのない初心者の方は、この無料枠を活用して Google Cloud

こんにちは、NTTドコモグループの現場受け入れ型インターンシップ2024に参加させていただきました、佐藤と鈴木です。 本記事では、現場受け入れ型インターンシップ「D1.攻撃者視点に立ち攻撃技術を開発するセキュリティエンジニア」での取り組み内容について紹介します。NTTドコモグループのセキュリティ業務、とりわけRedTeam PJに興味のある方への参考になれば幸いです。 目次 目次 RedTeam PJの紹介 参加に至った経緯 インターンシップ概要 ローコード・ノーコードとは 検証業務 Power Pwnの

Introduction Hello, I am Keyuno and I am part of the KINTO FACTORY front end development team. As part of our KINTO FACTORY service, we are launching a dedicated magazine using Strapi , a headless content management system (CMS). *More details will be sha

2024年10月7日から10日（現地時間）にかけて、dbt Coalesce 2024がラスベガスで開催されています。 私たち株式会社タイミーからは、4名が現地参加しました （※）。 今回は、カンファレンスの最初のKeynoteについてご紹介したいと思います。 このKeynoteでは、dbtのビジョンや今後の新機能リリースに関する熱いトピックが多く取り上げられ、非常に刺激的な内容となりました。 以下がアジェンダです。 イントロ 新機能の紹介 dbt Copilot Visual Editing Exper

Amazon Quantum Ledger Database(Amazon QLDB) は、2025 年 7 月 31 日にサポートが終了することがアナウンスされています。本ブログでは、Amazon QLDB のサポート終了に伴う移行先のソリューションについてご紹介します。 Amazon QLDB のサポート終了 Amazon QLDB は、フルマネージド型の台帳データベースサービスです。Amazon QLDB は、2025 年 7 月 31 日にサポートが終了することがアナウンスされています。今回の A

はじめに スクウェア・エニックスでSREをしている伊賀といいます。 今回PingCAP様主催のTiDBワークショップに参加してきたので、TiDBの概要と魅力についてお伝えしたいと思います！ PingCAP様の公式ページにもTiDBの紹介や事例等の掲載がありますので興味があれば是非！ https://pingcap.co.jp/ PingCAP様公式ホームページ https://pingcap.co.jp/event/workshop/ TiDBエキスパートへの道：実践的な知識とPingCAP認定のスキルア

AWS Community Days は世界中で盛んに開催されています。 AWS Community Day アルゼンチン にスポットライトを当てます。ここでは、 Jeff Barr が基調講演とトークショーを行い、かつて Bill Gates 氏を追ってマクドナルドに行ったときの面白い話など、Jeff の知恵をコミュニティと共有しました。 Jeff の経験について読む ことをお勧めします。 9 月 16 日週のリリース 私が注目したローンチは次のとおりです。先ずは GA リリースを見ていきましょう。 A

はじめに YoutubeでElectronを使用してマークダウンを実装するという動画を見かけ、丁度実務でElectronを触り始めたので、動画を参考にしながら色々と実装してみることにしました。 https://www.youtube.com/watch?v=t8ane4BDyC8&list=WL&index=48&t=4821s バックエンドのDB操作はTypeORMを使用し、フロント側はReactとJotaiを使用してます。主にバックエンド側のElectron × TypeORM