「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 226 - 240件目
BigQuery の SQL Translator の YAML 構成ファイルを試してみた
2024/01/22
ブックマーク
こんにちは！クラウドエース株式会社 データソリューション部所属の福家です。 クラウドエースのデータソリューション部は、クラウドエースの IT エンジニアリングを担うシステム開発統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 データソリューション部では活動の一環として、毎週 Goo
BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する
2024/01/22
ブックマーク
はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソ
Gemini Pro Vision による OCR を Cloud Functions で実行する
2024/01/22
ブックマーク
こんにちは、クラウドエースのデータソリューション部所属の坂田です。 2023 年 12 月に Google の新たな生成 AI モデルとして「Gemini」が発表されました。Gemini はテキストや画像など様々な入力に対応する「マルチモーダルモデル」です。 今回は、Gemini の性能や使用感を確かめるため、Gemini による OCR（光学的文字認識）の処理を Cloud Functions で実行する仕組みを作ってみた
BigQuery MLのML.GENERATE_TEXT関数を使ってテキストデータを要約してみた
2024/01/19
ブックマーク
こんにちは。SCSKの江木です。 Google Cloud Generative AI Summit Osakaでも紹介されていた、BigQuery MLのML.GENERATE_TEXT関数を使って、テキストのデータセットを要約してみたので、実装方法を紹介します。 Google Cloud Generative AI Summit Osakaでの詳しい内容は過去の記事をご確認いただけますと幸いです。 Google Cloud Generative AI Summit Osakaに参加してみた！ Google Cloud Generative AI Summit Osakaに参加し
SQL1つでレシート画像から商品名や金額をBigQueryのテーブルに出力する
2024/01/18
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の永山です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを
Vision-Launguageモデルで走行データベースと動画検索システムを作る
2024/01/17
ブックマーク
Turing株式会社の自動運転チームでインターンしている東大B3の大野です。 自動運転チームでは、完全自動運転の実現を目指して自動運転AIを開発しています。モデル開発の際に、「雨の日に高速を走っていて先行車がいない」や「交差点で歩行者がいる中、右折している」など、特定の状況の走行データが必要になることがあります。 今回私は、動画に対して天気や歩行
BigQueryのスナップショットとクローンを解説
2024/01/16
ブックマーク
G-gen の杉村です。BigQuery には スナップショット と クローン と呼ばれる機能があり、ストレージ料金を節約しつつテーブルを瞬時に複製することができます。これらの機能について解説します。 スナップショットとクローン スナップショットとは / クローンとは 共通の性質 コピーオンライト ユースケース スナップショット クローン 料金 利用と運用 スナップショット
BigQuery でパーティションスキューに関するクエリパフォーマンスの分析情報を確認できるようになりました
2024/01/15
ブックマーク
はじめに はじめに こんにちは、クラウドエース データソリューション部に所属の齋藤です。 データソリューション部では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開していま
Log Analytics で Google Cloud のログを可視化する
2024/01/09
ブックマーク
こんにちは、SREディビジョンの松島です。 本記事では Cloud Logging の機能の一つである Log Analytics について機能と利用方法を解説したのち、実践的な利用例を紹介していきます。 Log Analytics とは Log Analytics は Cloud Logging のログバケットに収集したログに対して SQL を利用してログの集計、可視化ができる機能です。 Log Analytics の GA 以前は集めたログに対する集計、可視化の
Vertex AI Feature Store による BigQuery 上の特徴量の管理とオンライン サービングでの利用
2023/12/27
ブックマーク
はじめに こんにちは、この度 Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データML ディビジョン所属の松本です。 クラウドエース データML ディビジョン について クラウドエースのITエンジニアリングを担う システム開発部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが デー
BigQuery ML の時系列予測の新機能（予測値の制限 ＆ カスタム休日）を試してみた
2023/12/27
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の ジェスター です。 データ ML ディビジョン では、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話
2023/12/26
ブックマーク
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールである Airbyte を導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次
BigQueryマニュアル「関数のベストプラクティス（Best practices for functions）」を試してみた結果（その１）
2023/12/25
ブックマーク
こんにちは、 エニグモ 嘉松です。 BUYMA のプロモーションや マーケティング を行っている事業部に所属、その中のデータ活用推進室という部署で会社のデータ活用の推進や マーケティング ・オートメーションツール（MAツール）を活用した販促支援、 CRM などを担当しています。 この記事は Enigmo Advent Calendar 2023 の 25 日目の記事です。 はじめに この記事では Google から
Looker StudioとBigQueryネイティブ統合を解説（プレビュー）
2023/12/25
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の宮崎です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
Looker StudioのデータソースにBigQueryのテーブルを使用する
2023/12/22
ブックマーク
本記事は 【Advent Calendar 2023】 22日目の記事②です。 🎄 21日目 ▶▶ 22日目記事① ▶▶ 本記事 ▶▶ 23日目 🎅 坂本です。 昨年に続いてAdvent Calendarに執筆させていただきました。 ※本記事は下記の2023-10-31に投稿した記事の続編になるため、ご覧になっていない方はまずこちらを参照していただけると幸いです。 Looker Studioのデータソースで BigQueryのカスタムクエリを使