「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全822件中 751 - 765件目
【PostgreSQL】大量データの投入にgenerate_series()関数の使用をおススメする3つの理由
2019/03/15
ブックマーク
はじめに こんにちは、新卒で入社して3年目のnorth_mkyです。 最近業務で SQL チューニングをする機会があったので、実行計画を読み解く記事を書こう！...と思いたったのですが、記事を書くにあたってサービスのデータベースを使うわけにはもちろんいかないので 適度なサンプルデータベースを作成し、 大量のデータを投入する という準備作業を行う必要がでてきました
改めて BigQuery の Partitioned tables と戯れた話
2019/03/15
ブックマーク
こんにちは、開発本部の宍戸です。先日のメドレー社内勉強会「TechLunch」で、BigQuery の Partitioned table について発表しましたので、その話について書きたいと思います。 なぜ今 Partitioned table? ある案件でユーザーの操作ログを扱う必要があり、データ保管先に BigQuery を利用しようと考えていました。その際に、「以前は β 版だった分割テーブル、そういえば今使えるよね
パフォーマンス改善を成功させるための5つのポイント
2019/02/22
ブックマーク
はじめに はじめまして。スマートキャンプでエンジニアをしています井上です。 皆さんパフォーマンス改善でうまくいかなかった経験や失敗した経験はないでしょうか？ 今回は自分の経験からパフォーマンス改善に役立ちそうなポイントを5つご紹介したいと思います はじめに 1. 解決すべきパフォーマンスとは 2. パフォーマンス改善の目的を明確にする 目的 対象 対象
BigQueryだけでRedashから個人情報見えなくする方法解説
2019/02/04
ブックマーク
データエンジニアの瀧川です。 Redash使ってますか！？ Redashが出てここ数年、加速度的に導入事例が聞かれるようになり、もうスタートアップのデファクトスタンダードとも言えるのではないでしょうか。 その導入事例の中でよく聞かれるのが、 全社的に Redashを公開して、だれでもデータにアクセスできるようにしたよという話です。 確かにRedashは、クエリの蓄積・共
クラシル・パーソナライゼーションの歩み
2019/01/22
ブックマーク
はじめに こんにちは。 機械学習エンジニアの辻です。 2/6（水）AWS Loft Tokyoでイベント開催します！ご興味のある方はぜひご応募ください！ bethesun.connpass.com さて本日は「クラシル・パーソナライゼーションの歩み」ということで、クラシルをよくご利用頂いているユーザに対してよりいっそう良いコンテンツを提供していくために、 パーソナライゼーション の取り組み
BigQueryでSQLをDRY(Don't repeat yourself)に書いてみよう！
2019/01/10
ブックマーク
スマートキャンプ株式会社でデータエンジニアをしている瀧川です。 皆さん！分析SQLを書いていますか！？ 弊社ではアプリケーションのログや、各種データをBigQueryに集約しており、諸々の分析をRedashでSQLを書くことで行っています。 Redashは良くも悪くも、SQLですべてを完結する必要があるので、もともと複雑な分析SQLがさらに長くなる...みたいなことありますよね。
一休の1 to 1マーケティングを支えるプラットフォーム
2018/12/28
ブックマーク
データサイエンス部・大西 id:ohke です。 一休の1 to 1マーケティングを支えるプラットフォームについてお話したいと思います。 1 to 1マーケティング 一休の主力である宿泊予約サービスは今年で19年目、レストラン予約サービスも13年目を迎え、会員数も800万人を超えました。 一休のサービスを「知らなかった」から「知っている」という成熟フェーズに入ってきますと、
Vue Boot Campをやってみました！
2018/12/25
ブックマーク
この記事は「BASE Advent Calendar 2018」25日目の記事です。 devblog.thebase.in こんにちは。BASEでFrontend Groupに所属している 三佐和 です。主にネットショップ作成サービス「BASE」のフロントエンドを担当しています。 先日デザイングループのマネージャー早川が 「BASE」の管理画面リニューアルプロジェクトのこれまでとこれから で話しているように、現在BASEでは本格的にフロン
ZOZOのビッグデータを分析するという仕事
2018/12/14
ブックマーク
初めまして。ZOZO Technologies 分析部部長の牧野（ @makino_yohei ）です。 今回はZOZOのビッグデータを収集・加工してビジネスに活用する私の部門、分析部について紹介させてください。 「分析部」のミッション ミッションは2つです。データを活用して・・・ 1．大きな売上を作る 2．業務の効率や精度を上げる としているのですが、まあ、それはそうだろうという感じでしょ
社内SQL勉強会を開催しました
2018/12/14
ブックマーク
こんにちは、検索エンジニアのsakura ( @818uuu ) です。 先日、営業さん向けにSQL勉強会を行いました。開催してみて難しかったことや得た知見などを紹介します。 この記事はdely Advent Calendar 2018の14日目の記事です🎅🎄 Adventar : dely Advent Calendar 2018 - Adventar Qiita : dely Advent Calendar 2018 - Qiita 13日目の記事は、Androidエンジニア kenzoさんの「【Android】ViewPagerのページ切り替えをいい
Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期
2018/12/11
ブックマーク
はじめに この記事は Enigmo Advent Calendar 2018の11日目 です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスの アクセスログ やサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期には Apache Airflow を使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、 python
Dockerのコンテナ間通信~アプリとDBを繋ぐ~
2018/12/11
ブックマーク
sts -250rrです。 今回は ラクス Advent Calendar 2018 に投稿した記事、「 開発環境を作るためにDockerを使った話 」の続きになります。 qiita.com はじめに Dockerネットワークを作成してコンテナ間通信 開発環境（Go）・PostgreSQLコンテナの起動 docker-compose.yml Dockerfile 1_createdb.sql main.go 今回のポイント Goのパッケージインポート PostgreSQLコンテナで初期DB構築を行う 実は・・・ まとめ は
AWSの意図しない料金の上昇に気付く仕組み
2018/12/11
ブックマーク
はじめに 本記事はSRE 2 Advent Calendar 2018の11日目の記事です。 SRE 2 Advent Calendar 2018 - Qiita dely Advent Calendar 2018もやっていますので目を通していただけると嬉しいです。クラシルの秘話がたくさん書かれています。 dely Advent Calendar 2018 - Adventar dely Advent Calendar 2018 - Qiita こんにちは！delyでSREをやっている井上です。 SREのみなさん！インフラコストの最適化してますか？ delyはどう
SQLアンチパターンとBtreeインデックスの関連性
2018/12/09
ブックマーク
この記事は、「BASE Advent Calendar 2018」の9日目の記事です。 devblog.thebase.in 前日は id:match_1 でした。こんにちは、10日ほど前に データベース移行についての記事 を書かせていただいた植木です。 今回はインデックスとBtreeのパフォーマンスチューニング系のお話をしたいと思います。 概要 Btreeの構造などを説明している資料は他にもあるし、SQLのアンチパターンもある程度
Rundeck in practice [運用編]
2018/12/09
ブックマーク
この記事は一休.comアドベントカレンダー2018の9日目です。 qiita.com 導入編 に続き、運用編です。 ここ2年間 Rundeckを運用してきて発生したトラブルとその対処について書きます。 ※この記事で言及するRundeckはバージョン2.6.9です。 トラブルはふたつありました。 データベースが高負荷になり動作が不安定になった なぜかジョブが起動しない データベースが高負荷になり