はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Function AWS Glue Job AWS Lambda 成果 転送時間 コスト 汎用性 まとめ はじめに こんにちは！スマートキャンプエンジニアの中田です。 直近で、BOXIL SaaSのDBのデータをBig Queryへロードするために利用していたETL基盤をリプレイスし、運用コスト・転送時間を改善しました。 旧基盤 新基盤 運用コスト(料金) 約 $750/月 約 $70/月 転送

こんにちは！新人エンジニアの宮本です。 みなさんはアルゴリズムを使ってプログラムを高速化していますか？ アルゴリズムを工夫するだけでこれまで長時間かかっていた処理が一瞬で終わると感動しますよね。 PostgreSQLでは、与えられたクエリに対してプランナが実行計画を立てますが、ここでもアルゴリズムを使った高速化が行われています。 この記事では、その1つである 移動集約モード について紹介します。 移動集約モードとは？ 移動集約モードは、集約関数を含むある種のクエリを高速化する機能です。 対象となるクエリ

G-gen の杉村です。 Google Cloud のマネージドの RDBMS サービスである Cloud SQL について徹底的に解説します。 Cloud SQL とは 料金 Cloud SQL の料金 無料トライアルインスタンス 確約利用割引 延長サポート（Extended Support） Cloud SQL editions Cloud SQL editions とは Enterprise と Enterprise Plus の違い データキャッシュ 料金の違い Enterprise Plus へ

こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。 そのような処理を定期的に行っているため、ネットワークの問題やサーバーの不調などにより処理が途中で失敗することがあります。そこで、リトライ

技術広報の yayawowo です。 皆様、 SQL を日頃お使いでしょうか？ 今回は、 「データを追加」する際に欠かせないINSERT文の使い方と、おすすめの書籍をご紹介 します。 INSERT文の使い方を習得いただくため、お手元で実行可能な SQL 文付きで解説します。 是非、実践しながら習得ください！ ※本説明では、 PostgreSQL 9.6を利用します。 テーブルの準備 INSERT文をマスターしよう 基本的な使い方 複数レコードを同時INSERT 別テーブルにINSERT おすすめの書籍 I

こんにちは、X（クロス） イノベーション 本部 ソフトウェアデザインセンター・セキュリティグループの大西です。現在、DockerとTypeScriptを使ってシステムを開発中です。DockerのDistrolessイメージの中で、ORMの Prisma を使おうとするとエラーが出てハマってしまったので、エラー解消の方法についてお話ししたいと思います。 まずは少し、Distrolessイメージと Prisma について説明します。 Distrolessイメージとは Google が公開している Distro

こんにちは、X（クロス） イノベーション 本部 ソフトウェアデザインセンター・セキュリティグループの大西です。現在、DockerとTypeScriptを使ってシステムを開発中です。DockerのDistrolessイメージの中で、ORMの Prisma を使おうとするとエラーが出てハマってしまったので、エラー解消の方法についてお話ししたいと思います。 まずは少し、Distrolessイメージと Prisma について説明します。 Distrolessイメージとは Google が公開している Distro

技術広報の yayawowo です。 SQL の中でも、良く利用されるUPDATE文ですが、 今回は SQL 入門編としまして、 UPDATE文の基本～応用をご紹介します！ ※本説明では、 PostgreSQL 9.6を利用します。 UPDATE 基本編 全レコードの更新 UPDATE文 × WHERE句 UPDATE文 × IN句 UPDATE 応用編 計算式を用いた更新 UPDATE文 × CASE文 別テーブルの値を用いた更新 別テーブルの値を条件にした更新 UPDATE まとめ ◆ 【 SQL 入

はじめに こんにちは。エンジニアの takayuki です。 最近、とあるプロジェクトで大量の時系列データを投入し解析する必要性が出てきたため、 TSDB プロダクトについて比較を行いました。 もともとはプロジェクト内で留めるつもりの資料でしたが、せっかく作ったので公開したいと思います。 TSDB の概要など基本的な情報については割愛します。 比較の方法 各プロダクトのドキュメントを読み、後述する観点で比較を行いました。 比較にあたって、実際に各プロダクトを動かしての検証は行っていません。 比較の観点 今

技術広報の yayawowo です。 皆様、 SQL のDISTINCTはご存知でしょうか？ DISTINCTを覚えることにより、 SQL の実行結果がとても見やすくなります！ 本記事では、DISTINCTの基本的な使い方、GROUP BYとの違いなどを説明していきたいと思います。 DISTINCTをマスターし、業務効率化を目指しましょう！！ ◆ PostgreSQL 関連記事 ・ 【SQL入門】INSERT まとめ ・ 【SQL入門】UPDATE まとめ ・ RDBMSとDBMSについて【初心者向け】

タイトル : PostgreSQLで簡単なif文関数を作るなら キーワード: エンジニア、テクノロジー、PostgreSQL こんにちは、エンジニアの羽間です。 フォルシアではDBにPostgreSQLを利用しており、業務でSQLを書く機会がよくあります。 SQLを書く上では ビジネスロジックはできるだけ単体テストを書く SQLの見通しを良くする 同じ処理は共通化する といったことを心がけ、ユーザー定義関数を積極的に作成しています。 商品の検索といった速度を重視する処理においては、処理速度に優れるC言語関

はじめに はじめまして。 プラットフォームサービス本部 データプラットフォームサービス部門の森分です。 もともと私は、NTT Comのクラウドサービスをベースにした法人向けソリューションの個社別運用やインフラ関連のプロジェクトマネージャ業務を担当しておりました。 最近はSmart Data Platform（以下、SDPF）アーキテクトなる、お客様課題の解決やNTT Comのビジネスの中でSDPFの活用を推進する部隊に参画しています。 データ利活用を支えるSDPFのアーキテクトがデータ利活用に詳しくなけれ

2022年3月15日17時00分（UTC）〜2022年3月29日20時00分（UTC）に開催されたpicoCTF 2022にチームとして参加しました。 本記事はそのWriteupとなります。 概要 CTF（Capture the Flag）とは情報セキュリティの知識を使うセキュリティコンテンストの一つです。いくつかのジャンルに分かれており、例えば『リバースエンジニアリングによって実行ファイルの脆弱性をつく』だとか『Webアプリの脆弱性をつく』だとか『ファイル内に隠された情報を抜き取る』だとか、そういった攻

はじめまして！５月にG-genにジョインした片岩です。 まだGoogle Cloud(旧称GCP)をあまり触ったことがない方も多いと思います。Compute EngineとCloud SQLを利用したWebアプリを動かしてみたので、今回はその手順についてご紹介します。WebアプリにはMattermostというチャットアプリを利用しました。 Compute Engine および Cloud SQL とは 構成イメージ 全体の流れ 重要なポイント 構築手順 Cloud SQL Compute Engine 動

こんにちは、negimixです。 ファイルやデータベースなど、各所に散らばっているデータをデータベースに集約して活用したいなぁと漠然と思っていました。 単純にデータを読み込んで、データベースに登録するプログラムを作ればいいんですが、今回はEmbulkを使ってみたので、Embulkの利用方法を紹介したいと思います。 　 【目次】 Embulkとは Embulk環境構築 サンプル実行 データをデータベースに登録 まとめ Embulkとは Embulkは、さまざまなストレージ、データベース、NoSQL、 クラウ