こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。 そのような処理を定期的に行っているため、ネットワークの問題やサーバーの不調などにより処理が途中で失敗することがあります。そこで、リトライ

技術広報の yayawowo です。 皆様、 SQL を日頃お使いでしょうか？ 今回は、 「データを追加」する際に欠かせないINSERT文の使い方と、おすすめの書籍をご紹介 します。 INSERT文の使い方を習得いただくため、お手元で実行可能な SQL 文付きで解説します。 是非、実践しながら習得ください！ ※本説明では、 PostgreSQL 9.6を利用します。 テーブルの準備 INSERT文をマスターしよう 基本的な使い方 複数レコードを同時INSERT 別テーブルにINSERT おすすめの書籍 I

こんにちは、X（クロス） イノベーション 本部 ソフトウェアデザインセンター・セキュリティグループの大西です。現在、DockerとTypeScriptを使ってシステムを開発中です。DockerのDistrolessイメージの中で、ORMの Prisma を使おうとするとエラーが出てハマってしまったので、エラー解消の方法についてお話ししたいと思います。 まずは少し、Distrolessイメージと Prisma について説明します。 Distrolessイメージとは Google が公開している Distro

こんにちは、X（クロス） イノベーション 本部 ソフトウェアデザインセンター・セキュリティグループの大西です。現在、DockerとTypeScriptを使ってシステムを開発中です。DockerのDistrolessイメージの中で、ORMの Prisma を使おうとするとエラーが出てハマってしまったので、エラー解消の方法についてお話ししたいと思います。 まずは少し、Distrolessイメージと Prisma について説明します。 Distrolessイメージとは Google が公開している Distro

技術広報の yayawowo です。 SQL の中でも、良く利用されるUPDATE文ですが、 今回は SQL 入門編としまして、 UPDATE文の基本～応用をご紹介します！ ※本説明では、 PostgreSQL 9.6を利用します。 UPDATE 基本編 全レコードの更新 UPDATE文 × WHERE句 UPDATE文 × IN句 UPDATE 応用編 計算式を用いた更新 UPDATE文 × CASE文 別テーブルの値を用いた更新 別テーブルの値を条件にした更新 UPDATE まとめ ◆ 【 SQL 入

はじめに こんにちは。エンジニアの takayuki です。 最近、とあるプロジェクトで大量の時系列データを投入し解析する必要性が出てきたため、 TSDB プロダクトについて比較を行いました。 もともとはプロジェクト内で留めるつもりの資料でしたが、せっかく作ったので公開したいと思います。 TSDB の概要など基本的な情報については割愛します。 比較の方法 各プロダクトのドキュメントを読み、後述する観点で比較を行いました。 比較にあたって、実際に各プロダクトを動かしての検証は行っていません。 比較の観点 今

技術広報の yayawowo です。 皆様、 SQL のDISTINCTはご存知でしょうか？ DISTINCTを覚えることにより、 SQL の実行結果がとても見やすくなります！ 本記事では、DISTINCTの基本的な使い方、GROUP BYとの違いなどを説明していきたいと思います。 DISTINCTをマスターし、業務効率化を目指しましょう！！ ◆ PostgreSQL 関連記事 ・ 【SQL入門】INSERT まとめ ・ 【SQL入門】UPDATE まとめ ・ RDBMSとDBMSについて【初心者向け】

タイトル : PostgreSQLで簡単なif文関数を作るなら キーワード: エンジニア、テクノロジー、PostgreSQL こんにちは、エンジニアの羽間です。 フォルシアではDBにPostgreSQLを利用しており、業務でSQLを書く機会がよくあります。 SQLを書く上では ビジネスロジックはできるだけ単体テストを書く SQLの見通しを良くする 同じ処理は共通化する といったことを心がけ、ユーザー定義関数を積極的に作成しています。 商品の検索といった速度を重視する処理においては、処理速度に優れるC言語関

はじめに はじめまして。 プラットフォームサービス本部 データプラットフォームサービス部門の森分です。 もともと私は、NTT Comのクラウドサービスをベースにした法人向けソリューションの個社別運用やインフラ関連のプロジェクトマネージャ業務を担当しておりました。 最近はSmart Data Platform（以下、SDPF）アーキテクトなる、お客様課題の解決やNTT Comのビジネスの中でSDPFの活用を推進する部隊に参画しています。 データ利活用を支えるSDPFのアーキテクトがデータ利活用に詳しくなけれ

2022年3月15日17時00分（UTC）〜2022年3月29日20時00分（UTC）に開催されたpicoCTF 2022にチームとして参加しました。 本記事はそのWriteupとなります。 概要 CTF（Capture the Flag）とは情報セキュリティの知識を使うセキュリティコンテンストの一つです。いくつかのジャンルに分かれており、例えば『リバースエンジニアリングによって実行ファイルの脆弱性をつく』だとか『Webアプリの脆弱性をつく』だとか『ファイル内に隠された情報を抜き取る』だとか、そういった攻

はじめまして！５月にG-genにジョインした片岩です。 まだGoogle Cloud(旧称GCP)をあまり触ったことがない方も多いと思います。Compute EngineとCloud SQLを利用したWebアプリを動かしてみたので、今回はその手順についてご紹介します。WebアプリにはMattermostというチャットアプリを利用しました。 Compute Engine および Cloud SQL とは 構成イメージ 全体の流れ 重要なポイント 構築手順 Cloud SQL Compute Engine 動

こんにちは、negimixです。 ファイルやデータベースなど、各所に散らばっているデータをデータベースに集約して活用したいなぁと漠然と思っていました。 単純にデータを読み込んで、データベースに登録するプログラムを作ればいいんですが、今回はEmbulkを使ってみたので、Embulkの利用方法を紹介したいと思います。 　 【目次】 Embulkとは Embulk環境構築 サンプル実行 データをデータベースに登録 まとめ Embulkとは Embulkは、さまざまなストレージ、データベース、NoSQL、 クラウ

TimescaleDBの特徴 TimescaleDBの機能とライセンス TimescaleDBの開発状況 TimescaleDBのデータ管理 こんにちはヤマウチです。 ラク スではいろいろなサービスで PostgreSQL を使っていますが、ログのような時系列データを PostgreSQL で効率的に管理する方法について調査しました。 ログのような時系列データには以下のような特徴があります。 追記と削除のみで更新は必要ない 時間が経過するにつれデータ量が増える 一方、リレーショナルデータベースには以下の特

はじめに さくらのクラウドには、データベースのインストールやセットアップ作業が不要で即座に利用を開始できる 「データベースアプライアンス」 があります。この記事では、データベースアプライアンスで使用しているデータベースのバージョンアップ方法をご紹介します。 作業の概要 最新バージョンより古いバージョンのデータベースアプライアンスを作成して、1,000,000レコードのデータを投入した後に、クローン機能を使って最新バージョンのデータベースアプライアンスに移行します。 前提 さくらのクラウドのAPIキーは"作

はじめに さくらのクラウドには、データベースのインストールやセットアップ作業が不要で即座に利用を開始できる「データベースアプライアンス」があります。この記事では、データベースアプライアンスで使用しているデータベースのバー […]