「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 421 - 435件目
ZOZOTOWNの検索サジェスト機能改善の取り組み紹介
2023/02/14
ブックマーク
こんにちは。検索基盤部の倉澤です。 ZOZOTOWNには、ユーザーが検索クエリを入力した際に、入力の続きを補完したキーワードを提示するサジェスト機能があります。この機能は一般に「Query Auto Completion」と呼ばれ、素早くユーザーの検索を完了させることを目的としています。 検索基盤部では、ZOZOTOWNの商品検索だけではなくサジェスト機能の改善にも取り組んでいます
Cloud Composerにデータマート集計基盤を移行しました
2023/02/13
ブックマーク
こんにちは、MLデータ部データ基盤ブロックの奥山（ @pokoyakazan ）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テ
VertexAIを利用した機械学習モデルにおける評価・分析パイプラインの構築
2023/02/10
ブックマーク
自己紹介 はじめまして、京都大学大学院エネルギー科学研究科に所属していますM1の下野祐太です。普段は、深層強化学習を利用し
Google Cloud Professional Machine Learning Engineer 合格体験記
2023/02/08
ブックマーク
こんにちは、タイミーのデータ統括部でデータサイエンティストをしている小関です。 タイミーのデータサイエンスチームでは、データ分析、 機械学習 モデル構築に加えて、 Google Cloudを主軸としたMLOps基盤の構築などの業務に日々取り組んでいます。 その中でも Google Cloudを主軸としたMLOps基盤の構築に関連して、 Google Cloud Professional Machine Learning Engineer認定資格 を社内
分間10万リクエストを捌く、メール/プッシュ通知 大量配信AWSアーキテクチャ
2023/02/02
ブックマーク
こんにちは。 株式会社ココナラで技術戦略室を担当しているKと申します。 本記事では、ココナラで使用しているメール/プッシュ通知の配信基盤についてお話ししたいと思います。 この基盤は2年ほど前に構築したものです。 今回記事に取り上げたのは、今後AWSにコストを抑えた上で高速に処理する仕組みを構築する際の参考になるかもしれないと思ったためです。 本記
機械学習初心者がVertex AI AutoMLで年収予測してみた(前編)
2023/02/01
ブックマーク
G-genの佐伯です。当記事では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説しながら、簡易的で且つ安価に予測データを収集できる手法を解説できればと考えます。前編では、Vertex AIのAutoML及びバッチ予測の基本的な操作方法を解説させていただきます。 Vertex AI AutoML とは 当記事で行う検証作業 検証作業内容 今回のトレーニングデータについて データの前処
初学者向けにBigQueryを解説
2023/01/31
ブックマーク
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する機会をいただきました。 本記事では、Google Cloud が誇る BigQuery について、初学者を対象にご紹介させていただきま
【図解】Google Cloud 初心者のためのVPCSC
2023/01/30
ブックマーク
こんにちは。クラウドエースのアイルトンです。 今年はGoogle Cloudのセキュリティ分野についての解説記事をたくさん(?)出せたらなーと思っています! 今回はVPCSCの解説記事です。 この記事を読めば、以下のようなことがわかると思います! VPCSCとはなにか VPCSCで保護したプロジェクトに、どのようにアクセスすればよいのか VPCSCってなに? 正式にはVPC Service Controlsといいます
Google Cloudを活用したキャリア事業のデータ分析基盤
2023/01/24
ブックマーク
はじめに エス・エム・エス BPR推進部カスタマーデータGrで、「 ナース人材バンク 」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発を担当しています、橘と申します。 私達カスタマーデータGrでは、Google CloudのBigQueryを中心としたデータ基盤を構築しており、社員がデータを利用して意思決定をする業務をサポートする役割を担っています。本記
Elasticsearch社にElastic Cloud Workshopを開催いただきました
2023/01/24
ブックマーク
こんにちは！ 株式会社ココナラのシステムプラットフォーム部インフラ・SREチームに所属しているかたぎりと申します。 本記事では2023年1月に参加したElastic Cloud Workshopについて紹介します。 背景 ココナラではElastic Cloudを利用しています。主に検索関連のプラットフォームとして使っていますが、今後はオブザーバビリティを強化していきたいと考えています。 いくつ
Google Compute Engineのセキュリティチェックポイント
2023/01/19
ブックマーク
はじめに クラウドエースの島田です。 本記事ではGoogle Compute Engine(以降、GCEと記述)のセキュリティチェックポイントを紹介します。 GCEを利用する際の参考にしていただければ幸いです。 以下のようなトピックになっています。 サービスアカウントとIAM ネットワーク GCEまわりの設定 本記事ではチェックポイントを紹介するだけにとどめます。 各項目の確認、修正方法は
BigQuery のコスト削減方法まとめ
2023/01/18
ブックマーク
G-gen の神谷です。本記事では Google Cloud (旧称 GCP) の BigQuery のコスト削減の方法をまとめます。 はじめに コスト削減の手法 BigQuery の料金体系 どこに料金がかかっているか調べる 調査ポイント 調査方法 テクニック SELECT * を使わず必要なカラムのみクエリする パーティションやクラスタリングを使う 不要なバックアップテーブルを削除 ストリーミングインサートを使わ
Elasticsearchの更新をGoogle Cloud DataflowとBigQuery+SQLで実現したい
2022/12/26
ブックマーク
はじめまして。 株式会社ココナラ R&Dグループ MLデータ基盤チームの北郷と申します。 MLデータ基盤チームではココナラにおける検索周りの機能拡張や運用を行なっています。 今回の記事は、現在導入を進めているGoogle CloudのDataflowについてです。 本記事は、2022/12/16時点で検証を行なっております。 GCP側の仕様変更により手順などが変わる可能性がある旨ご承知おき
Google AppSheet 触ってみた 2022冬
2022/12/23
ブックマーク
この記事は Enigmo Advent Calendar 2022 の23日目の記事です。 こんにちは、 エニグモ 嘉松です。 データ活用推進室というチームでリーダーをさせていただいています。 チームにはデータアナリスト３名、社内の業務システムを開発するGASエンジニア１名、そして私の計５名が所属しています。 目次 目次 エニグモを取り巻くIT環境 AppSheetとは AppSheetによるアプリの開発 AppSheet開
Vertex AI Workbench マネージドノートブックJupyterLab UIからBigQueryへアクセス
2022/12/22
ブックマーク
クラウドエースでデータ ML エンジニアをやっている篠田です。 2022 年 4 月 6 日に Google Cloud が提供しているVertex AI Workbenchが一般公開(GA)になりました。 本記事では、Vertex AI WorkbenchマネージドノートブックのJupyterLab UIから、どのような使用感でBigQueryへアクセスできるのかを紹介します。 Workbenchとは データサイエンスワークフロー全体に特化したJupyterノートブックベース