「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 646 - 660件目
GitHubで管理されたデータマート構築基盤の紹介
2018/10/04
ブックマーク
こんにちは。バックエンドエンジニアの田島( @katsuyan121 )です。 弊社ではデータマートをBigQuery上に構築しています。データマートはデータベース全体のデータのうち、必要なデータだけを使いやすい形にしたデータベースです。データマート作成のためのSQLクエリは日々更新や追加があり、BigQueryのコンソールから自由にデータマートを作ってしまうと管理が大変になっ
TerraformでNGTのポータブル環境を作った
2018/09/12
ブックマーク
はじめまして、BASEでSREに所属している浜谷です。現在は主にAWSを使用したインフラ構築と運用を担当しています。 そこで今回は前回好評だったBASEビール部部長が語ってくれた「 Yahoo!の近傍探索ツールNGTを使って類似商品APIをつくる 」のインフラ環境の構築についてお話をしようかと思います。 1. 背景 BASEでは機械学習の環境以前に今本番で何が動作しているのか、又そ
Google Cloud Next '18 参加レポート
2018/08/09
ブックマーク
こんにちは！ スタートトゥデイテクノロジーズ新事業創造部の塩崎です。 2018年7月24日〜26日にかけてサンフランシスコでGoogle Cloud Next '18が開催されました。 このイベントに新事業創造部の塩崎、今村、そして代表取締役CIOの金山の3名で参加してきました。 この記事では多数あった講演の中で特に印象に残ったものをいくつか紹介いたします。 講演 Building A Petabyte Scale Wa
一休のETL処理をAirflowで再構築しました
2018/06/25
ブックマーク
一休のデータサイエンス部に所属しています小島です。 以前データ分析基盤の構築で記事を上げていましたが、今回はETL *1 周りの話をしようと思います。 user-first.ikyu.co.jp 今回ETLのツールとして導入したのはAirflowというツールです。 2017年のアドベントカレンダーでも紹介させていただきました。 一休のデータフローをAirflowを
Redashを0から布教して社員全員に効果検証の文化を根付かせた話
2018/04/25
ブックマーク
(BASEオフィス内の光景) 初めに こんにちは！BASEでBack-end Engineer Groupに所属している 菊地陽介 です！ 今年度からBASEでは世のエンジニアに興味を持ってもらおうと、積極的に技術ブログを発信していこうという運びとなりました。本記事を読んで少しでも興味を持って頂けましたらぜひ 私まで ご連絡ください！ さて、私はRedashエヴァンジェリストとしてRedashを社内に普及
JaSST'18 Tokyo 参加レポート
2018/04/02
ブックマーク
3月初旬に開催されたJaSST'18の参加レポートです。 [読了時間 8分] JaSST Tokyo とは 国内最大級の ソフトウェアテスト シンポジウムです。 JaSST'18 Tokyo ソフトウェアテストシンポジウム 2018 東京 日時 : 2018/03/07水～08木 場所 : 東京都 千代田区 日本大学 理工学部 駿河 台校舎１号館 参加者 : 1600人 参加費 : 2日券（早割） 8,400円 チュートリアル 受講券 10,800円を追加購入すれば、
JaSST'18 Tokyo 2日目 参加レポート
2018/03/23
ブックマーク
こんにちは！ LIFULL HOME'S事業本部 QAグループの佐藤です。 今回初めて、3月7,8日の2日にわたり開催されたJaSST’18 Tokyoへ参加させて頂きました。 JaSSTソフトウェアテストシンポジウム-JaSST'18 Tokyo 本記事では2日目の講演内容についてご紹介させて頂きます。 How to identify test flakiness in your test result data テスト結果から
データの民主化とオープンソースソフトウェアと SQL Server
2017/12/14
ブックマーク
この記事は 一休.com アドベントカレンダー 2017 の 14 日目です。 昨日に引き続き、一休データサイエンス部の id:kitsuyui です。 13 日目のエントリでは Embulk, Redash, DatabaseMEMO の導入の経緯について解説しました。 とても素晴らしいツールを導入できましたが、実はそのままでは一休に導入することができない箇所がいくつもありました。 GitHub 上でどんなアクションをしたか
データエンジニアとデータの民主化 〜脱・神 Excel 〜
2017/12/13
ブックマーク
この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し主語が大きすぎたかな？と反省しています。 書いているうちに全く主旨が変わってき
LIFULL Advent Calendarをよろしくお願いします
2017/12/08
ブックマーク
こんにちは、新UX開発部の二宮です。 LIFULLでは、 Qiita Organizationsを利用 しており、その一環として、昨年からアドベントカレンダーを行っています。 このLIFULL Creators Blogに比べて、Qiitaではより技術メンバー個人の情報発信・共有にフォーカスしており、アドベントカレンダーでも技術メンバー個人の苦戦や発見を共有してもらっています。 LIFULL Advent Calendar 2017 LIFULL その
BigQueryによるデータ分析のための前処理Tips
2017/12/05
ブックマーク
こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPython
一休.comにおけるUI改善の取り組み
2017/12/04
ブックマーク
こんにちは、宿泊事業本部でサービス開発をしている田中( id:kentana20 )です。 この記事は 一休.comアドベントカレンダー2017 の4日目です。 今日は弊社が運営しているサービスの1つである 一休.com のUI改善に関して どのような体制で開発をしているのか ユーザ体験を向上させるために実施していること を紹介したいと思います。 UIチームの体制 12/4(月) 現在、 一休.com では
Speed Indexを使ったWebパフォーマンス改善の振り返り
2017/09/28
ブックマーク
こんにちは。制作部の苅部です。 今回は、サービス横断でのWebパフォーマンス改善を1年間続けた中で指標としてSpeed Indexを採用した振り返りを書き残しておこうと思います。 Speed Indexとは 時間ごとの描画面積で算出される値で、体感速度の指標として参考にすることができます。 UX向上としてのWebパフォーマンス改善を考える時に、他の指標よりも役に立ちます。 DOMConte
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する
2017/07/18
ブックマーク
こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ
Embulkを利用したデータ転送基盤の構築
2017/06/30
ブックマーク
こんにちは。バックエンドエンジニアインターンの田島です。 VASILYでは分析にBigQueryを使用しており、MySQLのデータを毎日BigQueryに同期しています。この同期処理を行うシステムは、約2年前にRubyで書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。そのため、同期処理を行うシステムを一から作り直しましたので、そ