「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 616 - 630件目
IIASの列レベルセキュリティ機能で実現する、個人情報マスクの仕組み
2020/06/26
ブックマーク
こんにちは！那須どうぶつ王国でスナネコの赤ちゃんの一般公開が開始された 1 ことに喜びを感じている、SRE部エンジニアの塩崎です。 ZOZOTOWNでメルマガやPUSHの配信のために、IIAS(IBM Integrated Analytics System)というDWHアプライアンスを利用しています。このIIASは以前から利用していたPureDataの後続機で、先日にマイグレーションをしたので、よろしかったらそちらの記事をお
ZOZOTOWNの検索基盤におけるElasticsearch移行で得た知見
2020/06/22
ブックマーク
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOに
DWHをPureDataからIIASに移行した話
2020/06/19
ブックマーク
こんにちは！ ZOZOテクノロジーズの中坊（ e_tyubo ）です。 概要 私が所属しているマーケティングオートメーション（以下MA）を担当するチームでは、ユーザ毎にパーソナライズされた情報をメールやアプリのPush通知で配信しています。その際に利用するZOZOTOWNやWEARのデータは我々が管理する専用のデータベースに集約されています。このデータベースには日々のユーザ
近似最近傍探索Indexを作るワークフロー
2020/06/11
ブックマーク
はじめに こんにちは。ZOZO研究所の shikajiro です。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker
LighthouseをFirebase Functionsから毎日叩いて本番環境のパフォーマンスを計測してみた
2020/03/26
ブックマーク
スマートキャンプの笹原です。 みなさんはWebサイトの、特にフロントのパフォーマンス改善を日頃から行っていますか？ 常に意識しているという方もいれば、気が向いたときにたまに見てみるなんてこともあるんじゃないかと思います。 今回はそんなパフォーマンスに常に意識を配れるように、毎日Lighthouseを叩いてみたのでその構成を紹介したいと思います。 Lighthouse
CA × atmaCupに参加しました
2020/02/06
ブックマーク
はじめに こんにちは、初投稿になります。 今年の1月から エニグモ でデータサイエンティストをしている堀部と申します。 1/25(土)に行われたCA × atmaCup というオフラインのデータ コンペティション のイベントに参加しました。 【東京・大阪同時開催】CA × atmaCup - connpass 85チーム中、Public 12th/Private 5th *1 とKaggle Expertとしては
PythonによるSARIMAXモデルを使った「TVCMの効果検証」への挑戦
2019/12/25
ブックマーク
※この記事は LIFULL Advent Calender の20日目です こんにちは! LIFULLでデータアナリストをしている竹澤( @Akira Takezawa )です. 今回は, LIFULLの データアナリストチーム の取り組みを紹介します. 本記事はデータ分析に興味がある方を対象に, 「マーケティングの実務で生かせる時系列分析」をテーマに執筆しました. まず, なぜこの記事を書いたかを簡単に説明します.
第４回 Google Cloud INSIDE Digital に登壇しました。「ショッピングサイトにおける商品画像への Could Vision API の活用」
2019/12/13
ブックマーク
少しさかのぼりますが、11/1に「ここでしか聞けない AI 、 機械学習 サービスの活用例」をテーマに開催された 第４回 Google Cloud INSIDE Digital に 弊社エンジニアの木村が登壇しました。 弊社で運営しておりますショッピングサイトバイマへ出品された商品画像に 規約違反 となるような不適切なものが含まれる場合があるため、その検出に Cloud Vision API を活用した事例につい
データ集計基盤の改善でLooker導入に至ったワケ
2019/11/15
ブックマーク
こんにちは。開発部データエンジニアの遠藤です。現在、私はデータ×テクノロジーでZOZOグループのマーケティングを支援するデータチームに所属して、データ処理基盤の運用などに従事しています。 本記事では、Lookerを用いて運用中のデータ集計基盤をきれいなデータをスマートに取り出せる基盤に改良した件について報告します。 データ集計基盤で燻っていた問題 1.
Alexaを支えるAWS - アラートと分析とCloudFormation
2019/07/18
ブックマーク
こんにちは。音声UIの開発を担当している武田です。Alexaのスキル「 コーデ相談 by WEAR 」はスキルの応答から分析まで、ほぼ全てAmazon Web Services（以下、AWS）のみを使って構成されています。今回は処理の種類ごとにAWSの構成の内容を、 CloudFormation のコードとともに紹介していきます。 ユーザーに応答を返す AWS Lambda Amazon DynamoDB Amazon CloudWatch Amazon S3 CloudFormation 問題があっ
マーケターがredash&スプレッドシートでKPI管理してみた
2019/07/11
ブックマーク
スマートキャンプでマーケターをしている佐々木です。 最近は自販機でペットボトルを購入することにハマっています。 私は弊社の運営する資料請求サイト「ボクシル」のマッチング最適化を生業として生きているのですが、追うべきKPI・可視化したデータの共有にはスプレッドシートを好んで使っています。 SQLで取り出したデータであればRe:dashで共有するのがライト
データウェアハウスとして使う Amazon Redshift について
2019/07/01
ブックマーク
はじめに こんにちは。開発本部の阪本です。 今回は私が社内勉強会(TechLunch)にて Amazon Redshift(以下 Redshift)についてお話した内容を紹介させていただきます。 Redshift とは 概要 Redshift とは AWS サービスが提供しているデータウェアハウスで、高可用/高パフォーマンス/柔軟なスケーラビリティを実現しているのが特徴です。 競合としては BigQuery や Hadoop 、また同じ AWS サービ
LIFULL主催の技術勉強会「Ltech#7 Salesforce de 夜ふかし(22時完全撤収) 」開催レポート
2019/06/21
ブックマーク
LIFULLでエンジニアをしている清野です。 今回は2019年6月20日に行われた「Ltech#7 Salesforce de 夜ふかし(22時完全撤収)」のレポートを書いていきます。 lifull.connpass.com Ltechとは Ltech(エルテック)とは、LIFULLがお送りする、技術欲をFULLにするイベントです。 特定の技術に偏らず、様々な技術の話を展開していく予定です。 Ltech#7 Salesforce de 夜ふかし(22時完全撤収) 今回も最近のLtech
【試される大地】北海道でビジネス職の新卒向けにエンジニア研修をした話
2019/06/14
ブックマーク
こんにちは。今週はスマートキャンプ札幌オフィスに出張中の米元です。 北海道は空気がきれいで食べ物も美味しく、湿度が低くてとても過ごしやすいです。 また、オフィスの窓からは大通り公園の街路樹が見えて気持ちよく働けています。 本記事ではそんな素敵な札幌オフィスで約一ヶ月前に行われた新卒エンジニア研修の話をご紹介したいと思います！ 経緯 目的 1.
Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる
2019/06/06
ブックマーク
今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろあるかと思いますが、その中でも重要になるのが 個人情報などの見せられないデータ(機密情報) の扱いかな思っています