「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全634件中 586 - 600件目
データウェアハウスとして使う Amazon Redshift について
2019/07/01
ブックマーク
はじめに こんにちは。開発本部の阪本です。 今回は私が社内勉強会(TechLunch)にて Amazon Redshift(以下 Redshift)についてお話した内容を紹介させていただきます。 Redshift とは 概要 Redshift とは AWS サービスが提供しているデータウェアハウスで、高可用/高パフォーマンス/柔軟なスケーラビリティを実現しているのが特徴です。 競合としては BigQuery や Hadoop 、また同じ AWS サービ
LIFULL主催の技術勉強会「Ltech#7 Salesforce de 夜ふかし(22時完全撤収) 」開催レポート
2019/06/21
ブックマーク
LIFULLでエンジニアをしている清野です。 今回は2019年6月20日に行われた「Ltech#7 Salesforce de 夜ふかし(22時完全撤収)」のレポートを書いていきます。 lifull.connpass.com Ltechとは Ltech(エルテック)とは、LIFULLがお送りする、技術欲をFULLにするイベントです。 特定の技術に偏らず、様々な技術の話を展開していく予定です。 Ltech#7 Salesforce de 夜ふかし(22時完全撤収) 今回も最近のLtech
【試される大地】北海道でビジネス職の新卒向けにエンジニア研修をした話
2019/06/14
ブックマーク
こんにちは。今週はスマートキャンプ札幌オフィスに出張中の米元です。 北海道は空気がきれいで食べ物も美味しく、湿度が低くてとても過ごしやすいです。 また、オフィスの窓からは大通り公園の街路樹が見えて気持ちよく働けています。 本記事ではそんな素敵な札幌オフィスで約一ヶ月前に行われた新卒エンジニア研修の話をご紹介したいと思います！ 経緯 目的 1.
Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる
2019/06/06
ブックマーク
今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろあるかと思いますが、その中でも重要になるのが 個人情報などの見せられないデータ(機密情報) の扱いかな思っています
Google Cloud Next '19で発表された新機能を紹介します！ (Cloud Run, BigQuery Storage API, Cloud Data Fusion)
2019/04/12
ブックマーク
こんにちは！ App EngineのスタンダードランタイムにRubyが追加されて喜んでいるバックエンドエンジニアの りほやん（高木） と、オレンジ色のチンアナゴは実は ニシキアナゴ という別種だったことに驚きを禁じ得ない塩ちゃん（塩崎）です。 4/9, 10, 11の期間で開催された Google Cloud Next '19 にZOZOテクノロジーズから高木と塩崎が参加しました! GCPの新しい機能や活用につい
TalendをDigdagとEmbulkに移行した
2019/03/19
ブックマーク
はじめまして！ ZOZOテクノロジーズ開発部の平田（ @TrsNium ）と申します。 業務ではデータ基盤の開発・運用を行っています。 よろしくお願いいたします。 今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介します。 概要 弊社のデータ基盤は注文情報や顧客情報などをSQL Serverから取得しBigQueryに転送しています。 以前の
改めて BigQuery の Partitioned tables と戯れた話
2019/03/15
ブックマーク
こんにちは、開発本部の宍戸です。先日のメドレー社内勉強会「TechLunch」で、BigQuery の Partitioned table について発表しましたので、その話について書きたいと思います。 なぜ今 Partitioned table? ある案件でユーザーの操作ログを扱う必要があり、データ保管先に BigQuery を利用しようと考えていました。その際に、「以前は β 版だった分割テーブル、そういえば今使えるよね
SPAをSimpleHTTPServerでテストしたい！
2019/02/15
ブックマーク
BigQuery大好き瀧川です！ 最近弊社ではVue.jsを使ってSPA(SinglePageApplication)！という構成がよく使われています。 普段の開発だとwebpack-dev-serverを利用していて、手軽だしホットリロードもサポートされているし特に不自由なく運用できています。 でも、例えばWebpackでのproductionビルドをテストしたい、生成された静的ページにアクセスしたいということがちょこちょこあるん
BigQueryだけでRedashから個人情報見えなくする方法解説
2019/02/04
ブックマーク
データエンジニアの瀧川です。 Redash使ってますか！？ Redashが出てここ数年、加速度的に導入事例が聞かれるようになり、もうスタートアップのデファクトスタンダードとも言えるのではないでしょうか。 その導入事例の中でよく聞かれるのが、 全社的に Redashを公開して、だれでもデータにアクセスできるようにしたよという話です。 確かにRedashは、クエリの蓄積・共
BigQueryでSQLをDRY(Don't repeat yourself)に書いてみよう！
2019/01/10
ブックマーク
スマートキャンプ株式会社でデータエンジニアをしている瀧川です。 皆さん！分析SQLを書いていますか！？ 弊社ではアプリケーションのログや、各種データをBigQueryに集約しており、諸々の分析をRedashでSQLを書くことで行っています。 Redashは良くも悪くも、SQLですべてを完結する必要があるので、もともと複雑な分析SQLがさらに長くなる...みたいなことありますよね。
履歴テーブルについて
2018/12/25
ブックマーク
この記事は一休.com アドベントカレンダーの25日目の記事です。 レストラン事業部エンジニアの id:ninjinkun です。 一休.com及び一休.comレストランはユーザー向けのシステムだけではなく、店舗や一休内の管理者向けの業務システムという性格も持っています。 業務システム経験の無かった自分が一休に転職して最初に驚いたのが、DBに履歴を保持するための 履歴テーブル
グロースハックとディレクションとAndroid開発を経験した1年の振り返り
2018/12/17
ブックマーク
BASE Advent Calendar 2018 17日目 この記事は「BASE Advent Calendar 2018」17日目の記事です。 devblog.thebase.in はじめに はじめまして。Native Application Group の木下です。主にAndroidアプリの開発を担当しています。 今年はアプリの開発に留まらず、プロジェクトのディレクションやグロースハックといった分野にも少し手を出してきましたので、1年を振り返りながら知見などを共有できれ
ZOZOのビッグデータを分析するという仕事
2018/12/14
ブックマーク
初めまして。ZOZO Technologies 分析部部長の牧野（ @makino_yohei ）です。 今回はZOZOのビッグデータを収集・加工してビジネスに活用する私の部門、分析部について紹介させてください。 「分析部」のミッション ミッションは2つです。データを活用して・・・ 1．大きな売上を作る 2．業務の効率や精度を上げる としているのですが、まあ、それはそうだろうという感じでしょ
Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期
2018/12/11
ブックマーク
はじめに この記事は Enigmo Advent Calendar 2018の11日目 です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスの アクセスログ やサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期には Apache Airflow を使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、 python
Chrome Dev Summit 2018に参加しました！
2018/12/01
ブックマーク
この記事は 一休.comアドベントカレンダー2018 の1日目です。 こんにちは。レストラン事業本部の西村です。 11月12、13日にサンフランシスコで開催された Chrome Dev Summit 2018 に参加しました。 今年はChromeが10周年ということで、この10年で変わったこと、これからについての話で始まりました。 2日に渡って行われた22のセッションの中で、特に注目した点について深掘りして