「PostgreSQL」に関連する技術ブログ
企業やコミュニティが発信する「PostgreSQL」に関連する技術ブログの一覧です。
全236件中 181 - 195件目
デッドロックの原因になりうるPostgreSQLのパーティショニング
2020/09/29
ブックマーク
こんにちは、takaramです。 私が担当しているサービスでは、 RDBMS に PostgreSQL を利用しています。今回は業務で行った デッドロック の調査で知った、 PostgreSQL の仕様に関して書いていきます。 ここでは デッドロック や パーティショニング といった用語が登場しますが、今回これらの説明は割愛します。 パーティショニングについてご存じでない方は、まずはこちらの記
【PostgreSQL】GINインデックスのGIN高速更新手法について検証してみた
2020/09/04
ブックマーク
はじめに こんにちは。kkystです。 開発を担当しているプロダクトではpg_bigmを利用して 全文検索 機能を提供しています。 今回、その 全文検索 を行っているテーブルにINSERTを行う一部の処理で、 応答時間 が増えていることを検知しました。 そこでその原因を調査していったところ、GINインデックスのGIN高速更新手法にたどり着き、待機リストの有無による 応答時間 の
【PostgreSQL】 jsonb型カラムをSQLで検索・集計したい
2020/08/27
ブックマーク
Postgresでは9.2からjson型が、9.4からjsonをバイナリ解析して保持するjsonb型が使えるようになりました。 普段のアプリケーション開発ではRuby on Railsのstore_accessorを経由してjsonb型を使うことが多いので、そこまでjsonb型特有の文法で困ったことはないのですが、分析や集計をする時にSQLでjsonb型を扱う必要があり、jsonb型の検索に使える演算子や関数を調べたのでまとめてみた
【PostgreSQL】テーブル・DBを閲覧・コピーするときに知っていると便利なテクニック
2020/08/18
ブックマーク
はじめに こんにちは、yk_itgです。 これまでいくつか PostgreSQL の記事を作成しましたが、今回は知っていると便利だと思う テーブル・DBの閲覧・コピー に関するtipsをまとめてみました。 私はテストを実施する時に結果を確認したり、データを用意する際によく使います。 PostgreSQL ユーザなら必須のテクニックを紹介していきますので、どうぞお役立てください！ はじめ
リアルタイムマーケティングシステムの紹介とそのリプレイス計画
2020/08/14
ブックマーク
こんにちは、SRE部MA基盤チームの田島です。 私達のチームでは、マーケティングシステムの開発・運用を自前で行っています。マーケティングシステムの内容としては、主にユーザに向けてのメールやLINE・PUSH通知などへの配信です。 マーケティングシステムは大きく分けて2種類あります。1つ目がSQLによるセグメント抽出を行い、抽出したユーザに対してバッチで配信を
Amazon Aurora（PostgreSQL）にてパーティションテーブルを活用した大量データを取り扱うDBの構築と実運用
2020/07/21
ブックマーク
こんにちは、基幹システム部USEDチームの柳瀬です。現在は主にZOZOUSEDで取り扱う商品の価格算出に関するシステムの開発・運用を中心に担当しています。 先日、とある案件でAmazon Aurora上のPostgreSQLに新規でのテーブル作成を伴う機能を開発する機会がありました。そのテーブルは3億件ほどのレコードを格納し、高頻度の参照および日次でのデータ追加が行われるものでし
ローカル環境でGrafana Lokiをためしてみた
2020/07/10
ブックマーク
はじめまして。新規サービスの開発チームに所属しているkarabishです。 前から気になっていた Grafana Loki をローカルで試してみました。 Grafana Lokiはログ集約システムで、似たものとしては Elasticsearch や Splunk になるのかと思います。 公式ドキュメントでも Elasticsearch との 比較 が記載されています。 環境構築 1. ロギングプラグインのインストール 2. docker-compose.ymlにLokiを
DWHをPureDataからIIASに移行した話
2020/06/19
ブックマーク
こんにちは！ ZOZOテクノロジーズの中坊（ e_tyubo ）です。 概要 私が所属しているマーケティングオートメーション（以下MA）を担当するチームでは、ユーザ毎にパーソナライズされた情報をメールやアプリのPush通知で配信しています。その際に利用するZOZOTOWNやWEARのデータは我々が管理する専用のデータベースに集約されています。このデータベースには日々のユーザ
【PostgreSQL】初心者でも読める実行計画の基礎知識
2020/06/12
ブックマーク
はじめに こんにちは。新卒3年目のchoreii です。 今回は PostgreSQL の実行計画について記事を書こうと思います。 私が初めて実行計画について知った時は難しそうなイメージが先行しており、実際に調べてみても情報量が多くハードルが高かったです。ですが調べていくうちに自分が難しく感じていた理由がわかりました。 それは、 多くの記事が「実行計画の基礎知識」と
ZOZOが推進するアパレル生産のデジタルトランスフォーメーション
2020/06/10
ブックマーク
はじめに こんにちは。MSP技術推進部の松藤です。本記事では弊社が展開する マルチサイズプラットフォーム 事業（MSP）におけるデジタルトランスフォーメーション（DX）の取り組みについて紹介します。 目次 はじめに 目次 マルチサイズプラットフォーム（MSP）とは なぜDXが必要なのか MSP技術推進部の取り組み ケアラベル自動化 検寸データ連携 検品データ連携 進捗デ
SnowSQL コマンドで Snowflake に接続する
2020/05/15
ブックマーク
技術4課の宮本です。先日スタンディングデスクを導入したのですが、2日目にして何故か首を痛めてしまいました。人間の身体って脆いですね。 さて、今回は先日のブログ DWH製品の注目株!! Snowflake をさわってみた の続編です。前回はWebインターフェースでクエリを実行しましたが、今回はCLIクライアントである SnowSQL を試してみたいと思います。PostgreSQL でいうところの
実務で使える！基本的なシェル（Linux）コマンドの話 ～forとsed～
2020/05/01
ブックマーク
こんにちは、3年目エンジニアのaa_cryingです。 あっという間に3年目です。時が経つのは早いものですね...。 業務でJenkinsのジョブを作る・改善する機会がありました。 その際にシェルについて悩んだ末に色々学ぶことが出来たので、今回はその内容をアウトプットしたいと思います。 以下目次です。 変数を分割してfor文で回したい ファイルの○行目に追記したい おわり
RedashをFargate, Datadog, Terraformで構築/運用する
2020/04/20
ブックマーク
こんにちは、タイミーSREチームの宮城です。 今回は弊社が Redash をFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まって
RDSのDBエンジンのバージョン一覧(2020/04/13時点)
2020/04/13
ブックマーク
こんにちは、仙台オフィス技術5課の芳賀です。 以前、以下のブログにてRDSのエンジンバージョンについて一覧にまとめていました。 RDSのDBエンジンのバージョン一覧(2019/11/06時点) 約5か月ぶりにどのようになったかをまとめました。 また、前回保留になっていた以下の件についても分かったことがありましたので残したいと思います。 ・一部RDSで重複したエンジンバー
【PostgreSQL】IN vs EXISTS vs JOIN、結局どれが速いの？
2020/03/25
ブックマーク
こんにちは、新卒1年目のtakaramです。まもなく入社して丸一年となり、ほとんど経験のなかった SQL の力もついてきたと思っています。 しかし、パフォーマンス面も考慮した SQL となると、まだまだ知識が足りないと感じています。 特に、一対多の関連テーブルの一方を使って他方を絞り込む、といった SQL は、ネットを見てもEXISTSが速いという記事があったり相関サブク