TECH PLAY

Google BigQuery」に関連する技術ブログ

911 件中 1 - 15 件目
はじめに 本記事は、Luup Advent Calendar 2025の4日目の記事になります。 こんにちは、株式会社LuupのSoftware部でPlatform / Technology Enabling (Backend TL) を担当している安元(やっすー)です。 急遽2日連続で記事を作成することとなってしまったため、もし誤りがあればお気軽にコメントください🙏🔥 Luupのバックエンド開発では、Firebase (GoogleCloud) をメインに活用しており、Cloud Functionsを用
G-gen の齊間です。この記事では、Dataflow の Flex テンプレートジョブが VPC ネットワーク内のリソース(例:Compute Engine 上の Oracle DB)にアクセスする際に、ランチャー VM が原因でタイムアウトエラーとなる事象が発生しました。この事象の原因と実施した対処法について解説します。 事象 エラー内容 実行したコマンド 参考記事 原因 対処法 additional-experiments オプションの使用 ネットワークタグの設定 事象 エラー内容 Dataflow
はじめに こんにちは、データ推進室データマネジメント部でアナリティクスエンジニアをしている椎名、平野、町塚です。 私たちの所
G-gen の杉村です。Google Cloud や Google Workspace の、2025年11月に発表されたイチオシアップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud のアップデート Bigtable で Protocol Buffer を直接クエリできるように(Preview) BigQuery でクエリ結果ダウンロードのサイズ制限が 10 MB から 1 GB に Vertex AI Search で docx/p
はじめに 弊社では AWS を主軸としたインフラ構成をもってプロダクトを展開していますが、一部では AWS 以外にも Azure および Google Cloud も活用しています。それぞれの棲み分けは以下のようなものになります。 AWS :ほとんど全て コンピュート / ネットワーク / ストレージ / DB / セキュリティ etc. Azure: OCR 関連 Google Cloud:LLM を使う処理および OCR 関連 利用規模としては AWS >> Google Cloud &g
当記事は、ライオン株式会社様と株式会社G-genの 技術情報発信コラボレーション企画 『SAPと連携するデータ分析基盤の実践とTips』で執筆されたものです。 当企画について ライオンによる記事 1. ライオンのデータ基盤構築とSAPデータ活用体制 2. ライオンのデータマネジメント 3. ライオンのデータ基盤における分析環境 G-gen による記事 1. VPC Service Controls の境界の分割設計に関する考察 2. Security Command Center検出結果のPub/Subエ
はじめに Luupに所属している、ぐりもお(@gr1m0h)です。 2025年7月、私が所属していたInfra/SREチームとQAチームが統合し、新たにQualityチームが発足しました。この体制変更は、品質保証とサイト信頼性エンジニアリングを統合的に捉える試みであり、従来の組織サイロを超えた挑戦だと考えています。 本記事では、SREチームのメンバーとしての視点から、私の考えを整理してお伝えします。QAとSREをどのように統合するか、そしてSREのプラクティスを用いて品質と信頼性を一貫して確保していくかに
目次 はじめに データ分析の課題 データ分析基盤システム全体像 AI-Ready なデータ分析基盤の ...
こんにちは。SCSKの松渕です。 今回は、Google Cloudで VPC SC(VPC Service Controls)の設定 をしたいと思います。 概念だけは知っていましたが、実際に設定するのは初めてでした。 はじめに VPC Service Controlsとは VPC SC(VPC Service Controls) とは、Google Cloud リソースの周囲に 論理的な境界 を確立し、APIレベルでアクセスを制御する高度なセキュリティサービスです。IAMと組み合わせて 二重の防御 を構築
はじめに こんにちは、クラウドエースの高牟礼です。 僕は普段 Google Cloud をメインに使っているのですが、皆さんはこんな課題にぶつかったことはありますか? 「データ分析は BigQuery がある Google Cloud を使いたい、でもサービス本体は AWS 側にある。。。」 「別チームが AWS で立てたシステムと、 Google Cloud の VPC をセキュアに繋げたい」 Google Cloud コンソールは見慣れたものですが、いざ AWS と繋いでと言われると、どのサービスを使
.entry .entry-content ul > li > ul { display: none; } .entry-content td { text-align: left; } はじめに こんにちは、データ・AIシステム本部データシステム部データ基盤ブロックの栁澤( @i_125 )です。私はデータ基盤の安定化・効率化を目指しつつ、Analytics Engineerとしてデータ利活用領域にも踏み込み、データマート整備やLooker周辺の整備・サポートに取り組んでいます。本記事では、Looker
当記事は、ライオン株式会社様と株式会社G-genの 技術情報発信コラボレーション企画 『SAPと連携するデータ分析基盤の実践とTips』で執筆されたものです。 はじめに 当企画について 当記事について 目的と位置づけ、ユースケース なぜ分析環境が必要なのか? データ基盤における分析環境の位置づけ 分析環境のユースケース Notebook 環境のアーキテクチャ Vertex AI Workbench の利用 Google Cloud サービスへのプライベートアクセス JupyterLab のための追加設定
はじめに こんにちは。データシステム部・推薦基盤ブロックの上國料( @Kamiko20174481 )です。私たちのチームは、ZOZOTOWNの推薦システムを開発・運用し、ユーザー一人ひとりに最適な購買体験を届けることを目指しています。 これまでは施策ごとに推薦システムをゼロベースで構築していたため、施策実施までのリードタイムが長く、推薦システムの運用負荷も高まりやすいという課題がありました。この課題を解決するために、 ユーザーや商品をEmbedding(埋め込みベクトル)として表現し、それらを一元的に管
はじめに こんにちは。クラウドエース株式会社 第二開発部の劉です。 この記事では、BigQuery Data Transfer Service for Salesforce 機能を実際に検証し、設定手順や制限事項について詳しく解説します。Salesforce から BigQuery へのデータ転送を検討されている方の参考になれば幸いです。 1. BigQuery Data Transfer Service for Salesforce とは BigQuery Data Transfer Service f
どーも、AIの方のy.s.です! エンジニアやってると、いろんなデータ扱うけど、その中でも「会計データ」って、マジで特別扱いしなきゃヤバいやつ、って知ってた? 「売上データが1円ズレてたわw テヘ☆」が許されない世界。それが会計。 なぜなら、会計データ、特に「仕訳」とかって、「一度起きたビジネスの"事実"(Fact)」そのものだから。 今日は、この ⭐︎⭐︎⭐︎censored⭐︎⭐︎⭐︎ 大事な「事実」を、どうやってイケてる分析基盤(Datalake/Datamart)に落とし込むか。なんでBigQue