こんにちは、開発本部の宍戸です。先日のメドレー社内勉強会「TechLunch」で、BigQuery の Partitioned table について発表しましたので、その話について書きたいと思います。 なぜ今 Partitioned table? ある案件でユーザーの操作ログを扱う必要があり、データ保管先に BigQuery を利用しようと考えていました。その際に、「以前は β 版だった分割テーブル、そういえば今使えるよね」という話になり色々調べてみた、というのが今回このテーマを選んだ背景です。 なぜ分割

こんにちは、開発本部の宍戸です。先日のメドレー社内勉強会「TechLunch」で、BigQuery の Partitioned table について発表しましたので、その話について書きたいと思います。 なぜ今 Partitioned table? ある案件でユーザーの操作ログを扱う必要があり、データ保管先に BigQuery を利用しようと考えていました。その際に、「以前は β 版だった分割テーブル、そういえば今使えるよね」という話になり色々調べてみた、というのが今回このテーマを選んだ背景です。 なぜ分割

こんにちは、開発本部の宍戸です。先日のメドレー社内勉強会「TechLunch」で、BigQuery の Partitioned table について発表しましたので、その話について書きたいと思います。 なぜ今 Partitioned table? ある案件でユーザーの操作ログを扱う必要があり、データ保管先に BigQuery を利用しようと考えていました。その際に、「以前は β 版だった分割テーブル、そういえば今使えるよね」という話になり色々調べてみた、というのが今回このテーマを選んだ背景です。 なぜ分割

はじめに こんにちは、新卒で入社して3年目のnorth_mkyです。 最近業務で SQL チューニングをする機会があったので、実行計画を読み解く記事を書こう！...と思いたったのですが、記事を書くにあたってサービスのデータベースを使うわけにはもちろんいかないので 適度なサンプルデータベースを作成し、 大量のデータを投入する という準備作業を行う必要がでてきました。 今まで大量のデータを入れるという作業はあまりしたことがなかったため、備忘も込めて当初予定していた記事を書く前に大量データの投入について述べたい

はじめに はじめまして。スマートキャンプでエンジニアをしています井上です。 皆さんパフォーマンス改善でうまくいかなかった経験や失敗した経験はないでしょうか？ 今回は自分の経験からパフォーマンス改善に役立ちそうなポイントを5つご紹介したいと思います はじめに 1. 解決すべきパフォーマンスとは 2. パフォーマンス改善の目的を明確にする 目的 対象 対象 開発の指標 SEOのための指標 サービス改善のための指標 3. パフォーマンス改善と普通の開発プロセスとの違い 実装より計測のほうが時間がかかる 工数は長

データエンジニアの瀧川です。 Redash使ってますか！？ Redashが出てここ数年、加速度的に導入事例が聞かれるようになり、もうスタートアップのデファクトスタンダードとも言えるのではないでしょうか。 その導入事例の中でよく聞かれるのが、 全社的に Redashを公開して、だれでもデータにアクセスできるようにしたよという話です。 確かにRedashは、クエリの蓄積・共有が容易ですし、グラフやダッシュボード機能がそのまま営業活動に使えたりと利点はたくさんあります。 ただ、ここで問題になるのが、個人情報を始

はじめに こんにちは。 機械学習エンジニアの辻です。 2/6（水）AWS Loft Tokyoでイベント開催します！ご興味のある方はぜひご応募ください！ bethesun.connpass.com さて本日は「クラシル・パーソナライゼーションの歩み」ということで、クラシルをよくご利用頂いているユーザに対してよりいっそう良いコンテンツを提供していくために、 パーソナライゼーション の取り組みに力をいれています。そこで、これまでに取り組んできたさまざまな施策に関して考えてきたことやフィードバックから学んだこと

スマートキャンプ株式会社でデータエンジニアをしている瀧川です。 皆さん！分析SQLを書いていますか！？ 弊社ではアプリケーションのログや、各種データをBigQueryに集約しており、諸々の分析をRedashでSQLを書くことで行っています。 Redashは良くも悪くも、SQLですべてを完結する必要があるので、もともと複雑な分析SQLがさらに長くなる...みたいなことありますよね。 そこで私が普段使っている、BigQueryでクエリをDRY(Don't repeat yourself)に書く方法を紹介したい

データサイエンス部・大西 id:ohke です。 一休の1 to 1マーケティングを支えるプラットフォームについてお話したいと思います。 1 to 1マーケティング 一休の主力である宿泊予約サービスは今年で19年目、レストラン予約サービスも13年目を迎え、会員数も800万人を超えました。 一休のサービスを「知らなかった」から「知っている」という成熟フェーズに入ってきますと、集客に加えて、1 to 1マーケティングがより重要になってきてます。 一休の1 to 1マーケティングで大事にしていることは3点です。

この記事は「BASE Advent Calendar 2018」25日目の記事です。 devblog.thebase.in こんにちは。BASEでFrontend Groupに所属している 三佐和 です。主にネットショップ作成サービス「BASE」のフロントエンドを担当しています。 先日デザイングループのマネージャー早川が 「BASE」の管理画面リニューアルプロジェクトのこれまでとこれから で話しているように、現在BASEでは本格的にフロントエンドをVue.jsで置き換えるプロジェクトが進行しています。 こ

初めまして。ZOZO Technologies 分析部部長の牧野（ @makino_yohei ）です。 今回はZOZOのビッグデータを収集・加工してビジネスに活用する私の部門、分析部について紹介させてください。 「分析部」のミッション ミッションは2つです。データを活用して・・・ 1．大きな売上を作る 2．業務の効率や精度を上げる としているのですが、まあ、それはそうだろうという感じでしょうか。 1に関しては、部門の中期目標は 部門発信の施策で年間取扱高1,000億円の純増を作る というもので、 一人称

こんにちは、検索エンジニアのsakura ( @818uuu ) です。 先日、営業さん向けにSQL勉強会を行いました。開催してみて難しかったことや得た知見などを紹介します。 この記事はdely Advent Calendar 2018の14日目の記事です🎅🎄 Adventar : dely Advent Calendar 2018 - Adventar Qiita : dely Advent Calendar 2018 - Qiita 13日目の記事は、Androidエンジニア kenzoさんの「【An

はじめに この記事は Enigmo Advent Calendar 2018の11日目 です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスの アクセスログ やサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期には Apache Airflow を使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、 python でワークフロー（DAG

sts -250rrです。 今回は ラクス Advent Calendar 2018 に投稿した記事、「 開発環境を作るためにDockerを使った話 」の続きになります。 qiita.com はじめに Dockerネットワークを作成してコンテナ間通信 開発環境（Go）・PostgreSQLコンテナの起動 docker-compose.yml Dockerfile 1_createdb.sql main.go 今回のポイント Goのパッケージインポート PostgreSQLコンテナで初期DB構築を行う 実は

はじめに 本記事はSRE 2 Advent Calendar 2018の11日目の記事です。 SRE 2 Advent Calendar 2018 - Qiita dely Advent Calendar 2018もやっていますので目を通していただけると嬉しいです。クラシルの秘話がたくさん書かれています。 dely Advent Calendar 2018 - Adventar dely Advent Calendar 2018 - Qiita こんにちは！delyでSREをやっている井上です。 SREの