「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全822件中 691 - 705件目
「データサイエンスの社会実装」を成功に導くプロジェクト・マネジメントについて考える
2020/09/23
ブックマーク
こんにちは、LIFULLでData Analystとして働いている竹澤です。社外では、Mediumの Towards Data Science でContributorとして寄稿したりしています。 2020年私は主にデジタルマーケティング領域で効果検証の自働化や異常検知ロジックの開発、DXプロジェクトの立ち上げに携わってきました。 今回はデータアナリティクス/データサイエンス・プロジェクトにおけるマネジメント論
Elasticsearch Java API入門
2020/09/09
ブックマーク
ZOZOテクノロジーズ ECプラットフォーム部 マイグレーションチームの會田です。 ZOZOTOWNでは 先日公開した記事 の通り、すべての検索をElasticsearchへリプレイスしました。 検索エンジンのリプレイスに伴い、VBScriptで稼働していた検索システムをJavaへリプレイスすることも併せて行われました。 本記事ではその際に得た知見を、Elasticsearch初心者の方及びElasticsearch Java APIを
Athenaを活用した問い合わせ対応
2020/09/01
ブックマーク
初めまして、こんにちは。 セーフィー株式会社 プラットフォーム開発部の大友です。 サーバーサイド周りの開発を担当しています。 今回はユーザーより問い合わせを受け、システム内を調べなければならないとき、サーバーサイドはどのように対応しているのか！その一例を紹介したいと思います。 テーマはログ解析を用いた問い合わせ対応です。 Amazon Athena と お問
QuickSight から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた
2020/08/31
ブックマーク
クラウドインテグレーション部の宮本です。 今回は Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた の QuickSight 版です。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 データセット、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の推移
Microsoft MVPの受賞報告と、受賞のためにしたこと
2020/08/28
ブックマーク
こんにちは。ZOZOテクノロジーズの廣瀬です。 私は2020年8月に、Microsoft MVPをData Platformカテゴリにおいて受賞しました。本カテゴリにおける現在の日本の受賞者は私で10人目となります。本記事ではMicrosoft MVPの概要と、受賞するためにどのようなことを意識して、どのような行動をとっていたのかについてご紹介します。 Microsoft MVPとは Microsoft MVPとは、Microsoftに関連する技
【PostgreSQL】 jsonb型カラムをSQLで検索・集計したい
2020/08/27
ブックマーク
Postgresでは9.2からjson型が、9.4からjsonをバイナリ解析して保持するjsonb型が使えるようになりました。 普段のアプリケーション開発ではRuby on Railsのstore_accessorを経由してjsonb型を使うことが多いので、そこまでjsonb型特有の文法で困ったことはないのですが、分析や集計をする時にSQLでjsonb型を扱う必要があり、jsonb型の検索に使える演算子や関数を調べたのでまとめてみた
ZOZOTOWNにおける検索速度改善までの道のり
2020/08/20
ブックマーク
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは 先日公開した記事 の通り、すべての検索をElasticsearchへ置き換えました。置き換え直後は順調に見えたのですが、実際に数%ずつリリースしていく中で一部時間帯、一部リクエストでレスポンス速度の低下がみられました。 本記事ではその解決のために行
Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた
2020/08/18
ブックマーク
CI 部の宮本です。今回は Snowflake に S3 からデータをロードする でインポートしたデータを使って、Redash 上で新型コロナウイルス感染動向を可視化してみます。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 クエリ、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の
【PostgreSQL】テーブル・DBを閲覧・コピーするときに知っていると便利なテクニック
2020/08/18
ブックマーク
はじめに こんにちは、yk_itgです。 これまでいくつか PostgreSQL の記事を作成しましたが、今回は知っていると便利だと思う テーブル・DBの閲覧・コピー に関するtipsをまとめてみました。 私はテストを実施する時に結果を確認したり、データを用意する際によく使います。 PostgreSQL ユーザなら必須のテクニックを紹介していきますので、どうぞお役立てください！ はじめ
リアルタイムマーケティングシステムの紹介とそのリプレイス計画
2020/08/14
ブックマーク
こんにちは、SRE部MA基盤チームの田島です。 私達のチームでは、マーケティングシステムの開発・運用を自前で行っています。マーケティングシステムの内容としては、主にユーザに向けてのメールやLINE・PUSH通知などへの配信です。 マーケティングシステムは大きく分けて2種類あります。1つ目がSQLによるセグメント抽出を行い、抽出したユーザに対してバッチで配信を
Amazon Aurora（PostgreSQL）にてパーティションテーブルを活用した大量データを取り扱うDBの構築と実運用
2020/07/21
ブックマーク
こんにちは、基幹システム部USEDチームの柳瀬です。現在は主にZOZOUSEDで取り扱う商品の価格算出に関するシステムの開発・運用を中心に担当しています。 先日、とある案件でAmazon Aurora上のPostgreSQLに新規でのテーブル作成を伴う機能を開発する機会がありました。そのテーブルは3億件ほどのレコードを格納し、高頻度の参照および日次でのデータ追加が行われるものでし
BigQueryでユーザー定義関数（UDF）は武器になるという話
2020/07/16
ブックマーク
はじめに こんにちは。ZOZOTOWN部サービスグロースチームでアナリティクスをしている井ノ口です。 この記事ではBigQueryで使える、ユーザー定義関数（UDF）という便利な武器をご紹介します。「UDFって何？」「何のために使うの？」という方に向けた記事のため、高度な分析などはこの記事では扱いません。 UDFとは UDFとは、最初から用意されているSUMやCOUNTのような関数を
Splunkで難航していた障害調査を解決した話
2020/07/15
ブックマーク
こんにちは。技術開発本部SRE部の渡邉です。 リモートワークによる運動不足を解消するために毎朝ロードバイクで走る事を始めたところ、今では印旛沼 1 のまわりを走るのが生きがいになりました。 そんな私ですが2019年に入社して以降、現在に至るまで、ZOZOTOWNやWEARのインフラを担当しております。 前職からずっとインフラ周りの仕事をしておりますが常に頭を悩ませ
IIASの列レベルセキュリティ機能で実現する、個人情報マスクの仕組み
2020/06/26
ブックマーク
こんにちは！那須どうぶつ王国でスナネコの赤ちゃんの一般公開が開始された 1 ことに喜びを感じている、SRE部エンジニアの塩崎です。 ZOZOTOWNでメルマガやPUSHの配信のために、IIAS(IBM Integrated Analytics System)というDWHアプライアンスを利用しています。このIIASは以前から利用していたPureDataの後続機で、先日にマイグレーションをしたので、よろしかったらそちらの記事をお
突撃！となりのマイ・エディタ ～愛用のエディタは何ですか？～
2020/06/23
ブックマーク
こんにちは、技術広報の syoeshin です。 当社 ラク スの開発では様々ツールを使ってますが テキストエディタ を使用するケースも多く 若手もベテランも自分に合う テキストエディタ ”マイ・エディタ” を愛用してます。 テキストエディタ って種類が多くて ・結局どれを選ぶか？ ・となりのあの人は何を使っているか？ 気になりますよね。 そこで、今回は当社の若手