「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全387件中 361 - 375件目
一休のETL処理をAirflowで再構築しました
2018/06/25
ブックマーク
一休のデータサイエンス部に所属しています小島です。 以前データ分析基盤の構築で記事を上げていましたが、今回はETL *1 周りの話をしようと思います。 user-first.ikyu.co.jp 今回ETLのツールとして導入したのはAirflowというツールです。 2017年のアドベントカレンダーでも紹介させていただきました。 一休のデータフローをAirflowを
Redashを0から布教して社員全員に効果検証の文化を根付かせた話
2018/04/25
ブックマーク
(BASEオフィス内の光景) 初めに こんにちは！BASEでBack-end Engineer Groupに所属している 菊地陽介 です！ 今年度からBASEでは世のエンジニアに興味を持ってもらおうと、積極的に技術ブログを発信していこうという運びとなりました。本記事を読んで少しでも興味を持って頂けましたらぜひ 私まで ご連絡ください！ さて、私はRedashエヴァンジェリストとしてRedashを社内に普及
JaSST'18 Tokyo 参加レポート
2018/04/02
ブックマーク
3月初旬に開催されたJaSST'18の参加レポートです。 [読了時間 8分] JaSST Tokyo とは 国内最大級の ソフトウェアテスト シンポジウムです。 JaSST'18 Tokyo ソフトウェアテストシンポジウム 2018 東京 日時 : 2018/03/07水～08木 場所 : 東京都 千代田区 日本大学 理工学部 駿河 台校舎１号館 参加者 : 1600人 参加費 : 2日券（早割） 8,400円 チュートリアル 受講券 10,800円を追加購入すれば、
JaSST'18 Tokyo 2日目 参加レポート
2018/03/23
ブックマーク
こんにちは！ LIFULL HOME'S事業本部 QAグループの佐藤です。 今回初めて、3月7,8日の2日にわたり開催されたJaSST’18 Tokyoへ参加させて頂きました。 JaSSTソフトウェアテストシンポジウム-JaSST'18 Tokyo 本記事では2日目の講演内容についてご紹介させて頂きます。 How to identify test flakiness in your test result data テスト結果から
データの民主化とオープンソースソフトウェアと SQL Server
2017/12/14
ブックマーク
この記事は 一休.com アドベントカレンダー 2017 の 14 日目です。 昨日に引き続き、一休データサイエンス部の id:kitsuyui です。 13 日目のエントリでは Embulk, Redash, DatabaseMEMO の導入の経緯について解説しました。 とても素晴らしいツールを導入できましたが、実はそのままでは一休に導入することができない箇所がいくつもありました。 GitHub 上でどんなアクションをしたか
データエンジニアとデータの民主化 〜脱・神 Excel 〜
2017/12/13
ブックマーク
この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し主語が大きすぎたかな？と反省しています。 書いているうちに全く主旨が変わってき
LIFULL Advent Calendarをよろしくお願いします
2017/12/08
ブックマーク
こんにちは、新UX開発部の二宮です。 LIFULLでは、 Qiita Organizationsを利用 しており、その一環として、昨年からアドベントカレンダーを行っています。 このLIFULL Creators Blogに比べて、Qiitaではより技術メンバー個人の情報発信・共有にフォーカスしており、アドベントカレンダーでも技術メンバー個人の苦戦や発見を共有してもらっています。 LIFULL Advent Calendar 2017 LIFULL その
BigQueryによるデータ分析のための前処理Tips
2017/12/05
ブックマーク
こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPython
一休.comにおけるUI改善の取り組み
2017/12/04
ブックマーク
こんにちは、宿泊事業本部でサービス開発をしている田中( id:kentana20 )です。 この記事は 一休.comアドベントカレンダー2017 の4日目です。 今日は弊社が運営しているサービスの1つである 一休.com のUI改善に関して どのような体制で開発をしているのか ユーザ体験を向上させるために実施していること を紹介したいと思います。 UIチームの体制 12/4(月) 現在、 一休.com では
Speed Indexを使ったWebパフォーマンス改善の振り返り
2017/09/28
ブックマーク
こんにちは。制作部の苅部です。 今回は、サービス横断でのWebパフォーマンス改善を1年間続けた中で指標としてSpeed Indexを採用した振り返りを書き残しておこうと思います。 Speed Indexとは 時間ごとの描画面積で算出される値で、体感速度の指標として参考にすることができます。 UX向上としてのWebパフォーマンス改善を考える時に、他の指標よりも役に立ちます。 DOMConte
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する
2017/07/18
ブックマーク
こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ
Embulkを利用したデータ転送基盤の構築
2017/06/30
ブックマーク
こんにちは。バックエンドエンジニアインターンの田島です。 VASILYでは分析にBigQueryを使用しており、MySQLのデータを毎日BigQueryに同期しています。この同期処理を行うシステムは、約2年前にRubyで書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。そのため、同期処理を行うシステムを一から作り直しましたので、そ
ヒカ☆ラボでReact導入の話と商品検索改善の話をしてきました
2017/06/12
ブックマーク
こんにちは。エンジニアの山本です。 5/23に開催された、 【 ヒカ☆ラボ 】大規模サービスがリスクをとってまでモダンな開発環境にリプレイスした理由～ここだけの苦労話や手法を交えお話します～ というイベントに参加 & 登壇してまいりましたのでレポートします。 今回のイベントのテーマは レガシー改善 という、長年継続しているサービスでは避けては通れ
VASILYにおけるBigQuery + Tableau活用例
2017/04/17
ブックマーク
こんにちは！ なんでもディープラーニングでやりたがる癖が抜けず、3ヶ月のディープラーニング禁止令を言い渡されていた後藤です。 本記事ではVASILYで利用しているデータ分析の環境について紹介します。 VASILYではデータ分析が必要な場面で、BigQueryとTableauを組み合わせて利用することが多いため、これらの実際の活用例とTableauの選定理由について紹介したいと思いま
インターン生がデータ転送基盤を一から設計する、VASILYバックエンドインターンの紹介
2017/04/14
ブックマーク
こんにちは、バックエンドエンジニアの塩崎です。 先日、VASILYバックエンドチームにインターン生が来てくれました。 この記事では彼がインターンで作ってくれた機能や、インターン中のスケジュールなどを紹介します。 インターンに来たのはこんな学生 インターンに来たのはこの春に大学4年生になったばかりの、柴犬大好き系エンジニアのT君です。 好きな言語はCloj