「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 526 - 540件目
dbt™️ CLIでデータ開発に自動テストを導入した話
2022/03/24
ブックマーク
はじめに 株式会社リクルートでデータエンジニアとして働いている大拔と申します。 カーセンサーのデータ基盤において、インフラ〜
【連載：Recruit 機械学習コンテスト】③学習環境・アカウント管理について
2022/03/23
ブックマーク
はじめに 本記事では、社内で開催したMLコンテストの計算環境の準備や権限管理に関する話をします。 コンテストの概要や問題設定
Cloud Storage(GCS)を徹底解説
2022/03/22
ブックマーク
G-genの杉村です。Google Cloud（旧称 GCP）の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 概要 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 Cloud Storage の料金の概要 料金体系 ストレージクラス 用語 バケット オブジェクト メタデータ パス フォルダ ロケーション（リージョン） 概要 選択基準 ター
スマキャンが新データ分析基盤のBIツールにLookerを選んだ理由
2022/03/18
ブックマーク
こんにちは！スマートキャンプエンジニアの井上（エース）です！ 皆さんは自社プロダクトに対してどのようにデータ分析をされていますか？ データ分析基盤は構築されているものの、少なからず課題を抱えている企業も多いかと思います。 今回は弊社の BOXIL SaaS に 新しいデータ分析基盤を導入することになった ので、その背景や導入にあたって課題だったこと、その
JAXによるスケーラブルな機械学習
2022/03/17
ブックマーク
はじめに こんにちは、 ZOZO NEXT ZOZO Research のSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中で JAX というライブラリを使用しています。JAXは高性能な機械学習のために設計
Google WorkspaceのBigQuery Exportでハマった件
2022/03/15
ブックマーク
G-genのすずたつです。 当記事では、Google Workspaceの利用ログを集計するためにBigQuery Exportを利用しようとしたところハマってしまった件について解説いたします。 Google WorkspaceのBigQuery Exportとは Google WorkspaceのBigQuery Exportの設定方法 データセット作成 BigQuery Export有効化 Exportされない Exportがされない理由と対応方法 Google WorkspaceのBigQuery Exportとは まずはGoogle WorkspaceにおけるB
Vertex Feature Storeの機械学習システムへの導入
2022/03/14
ブックマーク
こんにちは、データシステム部推薦基盤ブロックの寺崎（ @f6wbl6 ）です。現在、推薦基盤ブロックではデータサイエンス部MLOpsブロックのメンバーと協力しながらMLOps基盤の構築を進めています。本記事ではMLOps基盤構築の一環として進めている Vertex Feature Store の機械学習システムへの導入に関する知見およびVertex Feature Storeを導入する上での制限や課題をご紹介します。 M
【連載：Recruit 機械学習コンテスト】②コンテストデータ作成について
2022/03/03
ブックマーク
はじめに この記事では、2021年10月に社内で開催したMLコンテストの利用データ準備に関する話をします。 本コンテストは検
全文検索 MySQL FULLTEXTインデックスからElasticsearchへ切り替えた話
2022/02/28
ブックマーク
はじめに こんにちは、レバレジーズ フリーランスHub開発チームです。 現在、弊社が運営する フリーランスHub というサービスでは検索エンジンとしてElasticsearchを採用しています。 この記事では、エンジニアがサービスの成長速度と工数を考慮した上で、Elasticsearchを採用するに至った背景や理由、そして、MySQLからElasticsearchへ移行した結果どれくらいパフォーマンスが改
キャディでの Streamlit 活用事例
2022/02/25
ブックマーク
こんにちは。ソフトウェアエンジニアの江良です。 普段は Web アプリケーションのコードをせっせと書いて暮らしているのですが、AI Lab の誕生に伴い、 機械学習 を専門とするエンジニアと協業する機会も増えてきました。 今回は、 機械学習 の研究開発プロジェクトで導入した Streamlit という フレームワーク について紹介しようと思います。 Streamlit とは Streamlit は Pytho
Google Cloud（旧GCP）無料で使ってみた！クラウド初心者もかんたんに開設、始め方大解説（前編：説明編）
2022/02/24
ブックマーク
こんにちは、G-genの荒井（@arapote）です。みなさん、パブリッククラウドはご利用でしょうか？！既に利用されている企業様も多いかと思いますが、全国的にはまだまだオンプレミスを運用している企業も多くいらっしゃると思います。今回はそんな方々でも、かんたんにクラウドを体験していただけるよう、無料で Google Cloud（旧称 GCP）をご利用いただける方法をご紹介
GA4のアプリログ検証のため、SwfitUIでネイティブアプリを作成してみた
2022/02/18
ブックマーク
こんにちは、データアナリストの左海です。 最近アサインされたプロジェクトにてアプリ/WebのGoogle Analytics 4(以下GA4)での計測を検討していましたが、私自身アプリもGA4も知見がなかったため、SwiftUIでネイティブアプリを作成しログ検証を行うことにしました。 ※なお、Apple Developer Programを契約していないためiOS Simulatorを使用しています。 実行環境 XcodeのVersion：13.2.1 (13C1
BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み
2022/02/18
ブックマーク
こんにちは、データ基盤の開発・運用をしている谷口（ case-k ）です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と
Google Workspace レポートと監査ログを解説！プランによって何が違う？
2022/02/09
ブックマーク
こんにちは G-gen の渡邉@norry です。 Goole Workspace を運用する際に管理者が特に気になる事の一つとして、セキュリティー関連のレポートや監査ログがあるかと思います。 常日頃のガバナンス管理、有事の際での証跡として...今回は Google Workspace でどういったログが取れるのかのご案内と、プランによっては取得出来ないログもありますのでその点にも触れます。 Google Workspa
Looker LookML Developer試験対策マニュアル。出題傾向・勉強方法
2022/02/07
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Looker LookML Developer 試験 は、他の Google Cloud 認定試験とは一線を画し、かつては Google Cloud とは別プロダクトであった Looker の開発者向け認定資格です。 本投稿では試験の合格に役立つ情報を記載します。 ※ 当試験は 2022/04/01 をもって 廃止 となりました。しかしながら当記事は Looker の製品知識の取得に役立ててもらう