はじめに こんにちは、クラウドエース株式会社の技術本部に所属している池上有希乃です。 Google Cloud では様々な機械学習プロダクトが利用可能ですが、選択肢が多いので「どういった方針で、どのプロダクトを利用すればいいか」と迷ってしまうときがあります。そこで、この記事では Google Cloud で機械学習モデルを使う際のガイドをしていこうと思います。 ! 本記事は2024年12月1日時点の情報をもとに記述しています。 記事中には一般提供前 (プレビュー段階) の機能も含まれています。 Google Cloud の機械学習オプション選定のフローチャート 機械学習モデルの

はじめに こんにちは、クラウドエース株式会社 第一開発部所属の工藤です。 本記事では、執筆時点（2024年12月6日）において Gemini in BigQuery で何ができるのかをまとめました。Gemini が Duet AI（旧名）の頃（2023年10月あたり）に以下の記事を書いたのですが、当時よりもできることがかなり増えていました。 https://zenn.dev/cloud_ace/articles/204b163370b938 ちなみに上記記事のタイトルですが、今後は Duet AI（現 Gemini）を使いこなさないとデータエンジニアとして生き残れないかも、という意味

はじめに こんにちは。クラウドエース株式会社 第四開発部の相原です。 本記事では、Git のコミット間でどれだけコードが改修されたかを、「cloc」を使ってカウントする方法について解説します。cloc はコード行数を計測したり、変更差分を分析するのに役立つ便利なツールです。 この記事を通じて、リポジトリ内の変更をより効率的に把握できるようになり、プロジェクト管理やコードレビューに役立てていただければと思います。 環境 macOS Sonoma 14.4.1 Homebrew 4.4.6 cloc 2.02 対象となる読者 Git を日常的に使用している開発者 コードの変

はじめに こんにちは、クラウドエース第一開発部に所属しているドーリです。 今回は、Gemini for Google Cloud の基礎について、Gemini を初めて使う方向けの内容をお届けします。Gemini の基礎、使い方等について詳しく知りたい方、是非最後までお読みください！ Google Cloud とは Google Cloud は、Google が提供するクラウドコンピューティングサービスの総称です。 これには、インフラ管理、データベース、機械学習、アプリケーション開発など、多岐にわたるサービスが含まれています。 クラウドコンピューティングの強みは、インターネットを

はじめに こんにちは、クラウドエースの第一開発部に所属している申です。 今回は、 Stack Overflow についてご紹介します。 Stack Overflow プログラミングにおけるバグの一種であり、またこれを利用した攻撃方法です。 プログラムが実行される際に、入力された値がバッファ[1]を満たすだけでなく溢れ出し、バッファ以降の空間を侵害する現象です。簡単に言えば、バケツ（バッファ）に水（値）を入れるとき（入力時）に、水を多く入れすぎて床に溢れてしまうようなものと考えればよいです。 主に、プログラムがユーザーからデータ（主に文字列）を入力される際に、ユーザーが指示通りにせ

はじめに こんにちは。 クラウドエース株式会社 第四開発部の家野です。 Google Cloud を利用する上で、IAM による権限管理はセキュリティの基礎になります。 しかし、多くの方は、プロジェクト単位で権限を管理しているのではないでしょうか。 この記事では、よりきめ細やかな権限管理を実現する、リソース単位での IAM 権限付与について解説します。 この方法を理解することで、Google Cloud のセキュリティのレベルを 1 段階向上させることができます。 記事の目的 プロジェクト単位での IAM 権限管理の課題を理解し、リソース単位での権限管理の必要性を認識する

はじめに こんにちは、クラウドエースの第3開発部に所属している金です。 今回は、Vertex AI in Firebase SDK を使って、Next.js で簡単なチャット機能を実装する方法についてご紹介します。 対象読者 Firebase SDK の Vertex AI に興味がある方 簡単に Gemini API を使ってみたい方 Next.js での開発経験少しでもある方 事前準備 Firebase プロジェクトの作成 Next.js プロジェクトの作成 (本記事では ver. 14.2.12 を使用) サービスの概要 1. Vertex AI in

はじめに こんにちは。 クラウドエースの中野(大)と申します。 今回は以前執筆した記事 Google CloudのSLAについて表でまとめてみたの 2024 年 11 月時点での更新版となります。 この記事の位置付け 昨年、同様の記事をリリースした際に社内でも評判が良かったため、社外の Google Cloud エンジニアや Google Cloud を利用したいと考えている方々にも一定の需要があると考え、今年も執筆しました。 確認方法 昨年と同様、Google Cloud の公式サイトの Google Cloud プロダクトのドキュメントに記載のあるプロダクトを上から確認し

こんにちは。クラウドエース第一開発部の竹内です。 本記事では2024年10月30日にプレビュー版がリリースされた Eventarc Advanced について紹介します。 Eventarc Advanced を使用すると、さまざまなサービス、アプリ、システム間でメッセージを受信、フィルタリング、変換、ルーティング、配信できます。 はじめに: Eventarc とは Eventarc はソースからターゲットへイベントを非同期にルーティングする、スケーラブルなフルマネージドサービスで、イベント駆動型アーキテクチャの構築に役立ちます。 https://cloud.google.com/e

はじめに こんにちは、クラウドエース第一開発部所属の上原です。 本記事では、駆け出しデータエンジニアである私が、会社からの課題である データ分析基盤構築課題 (以下、基盤構築課題) に取り組む中で感じたり実践したりした おすすめの学習方法と、実際の課題への取り組みについて紹介していきます。 この記事の目的は、新規領域全般に触れる際のおすすめの学習方法を共有することです。 ただし、記事の全体として、筆者にとっての新規領域であるデータエンジニアリング (基盤構築課題) をベースとした内容になっています。 ! 紹介する内容はあくまで筆者個人が考えたり実践したものになりますので、 紹介される

はじめに こんにちは、クラウドエース第一開発部に所属している荒木です。 最近の動向として、コスト削減やベンダーロックインの回避を理由に、Oracle データベースからオープンソースのデータベースへ移行するケースが増えています。また、オンプレミス環境で稼働しているデータベースをクラウド環境のマネージドサービスへ移行して、スケーラビリティ、高可用性、障害復旧、管理工数削減などのメリットを享受しようとする流れも活発化しています。 今回は、Database Migration Service（以下 DMS）を使用して、Oracle データベースを Google Cloud 環境へ移行する方法

はじめに こんにちは、クラウドエース株式会社 第一事業部の梅木です。 今回紹介するのは、2024年9月30日に GA となった Dataplex の「Managed connectivity pipelines」についてです。 Managed connectivity pipelines により、サードパーティソースのデータベースから Dataplex Catalog へメタデータをインポートする Workflows のパイプライン テンプレートが提供されました。 サードパーティソースの場合、従来は、メタデータをインポートする処理をユーザー自身で一から構築する必要がありましたが、この

Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する はじめに こんにちは、クラウドエース第一開発部の谷です。 本記事では、2024年9月30日にリリースされた、「Google Cloud コンソールから直接マテリアライズドビューのレプリカを作成する方法」についてご紹介します。 また、同時にマテリアライズドビューのレプリカを作成するまでを検証します。 検証では以前から可能だった SQL を使用する方法と、今回のリリースで可能になったコンソールからの方法の両方を実施して比較します。 BigQuery 2024年9月30日リリースノート 注意事

こんにちは、クラウドエース株式会社 第一開発部の阿部です。 これまでは SRE 部に所属していましたが、当社の組織改編により所属部署が変わりました。今後ともよろしくお願いします。 さて、本記事では 2024 年 10 月 15 日に一般提供された Google Cloud Storage の階層型名前空間(フォルダ)について紹介します。 概要 Google Cloud Storage (以降、GCS) とは、 Google Cloud のオブジェクトストレージサービスです。 GCS は、非構造化データのオブジェクト(例えば画像データや動画データのファイル)の保存や、データベースのバッ

2024 年 11 月 更新 こんにちは、クラウドエース所属、Partner Top Engineer で\textcolor{red}{赤髪}がトレードマークの Shanks です。 2年前に Professional Cloud Security Engineer を取得した際の学習ポイントをまとめた記事として本記事は公開されました。 ありがたいことに社内外から数多くの参考情報としてご紹介いただき人気（？）記事となりました。 2024/11 に再受験をして無事に更新することができましたので、「Professional Cloud Security Engineer 完全攻略ガイド

こんにちは、クラウドエース第四開発部に所属している笠原です。 今回は BigQuery (以下、 BQ) のデータ連携について、案件で直面した課題に対し、調査の結果得た示唆を記載したいと思います。 リージョン間をまたぐデータセットの同期を取ろうとした時に、送信元と受信元のデータセットのリージョンと暗号化方式において、BigQuery Data Transfer Service (以下、BQ Transfer) が使用できるケースとそうでないケースがあり、その整理の内容を本記事で解説したいと思います。 はじめに プロジェクトで実装しようとした要件は、以下の図の内容です。 顧客の業務

こんにちは、クラウドエース第三開発部の丸山です。 本記事では、Google Cloud で提供されている Dataplex の機能の一部である 「データリネージ」機能をご紹介します。 データリネージとは データリネージ (Data Lineage) とは、システム内のデータの移動を追跡するプロセスのことを指します。 データの送信元、データの送信先、データに適用される変換など、データのライフサイクル全体を可視化することで、データの信頼性向上やエラー分析を支援します。 「リネージ」は、日本語では「血統」「家柄」を意味し、Google Cloud に留まらない一般的な用語として知られていま

はじめに こんにちは。クラウドエース株式会社の第三開発部に所属している小林真理子です。 元々オンプレミス環境サーバの設計・構築などの業務に携わってきましたが、クラウドエースに入社して、初めて Google Cloud に触れました。 そこでオンプレミス環境と Google Cloud とで感じたギャップなどを紹介できたら良いと思っています。 早速ですが皆さんはオンプレミス環境のサーバにログインする際、ユーザーをどのように管理していますか？ サーバごとにユーザーを作る、ID 管理システムを使う、もしくは Windows 環境なら Active Directory を利用しているかもしれ

こんにちは。 クラウドエース株式会社 第一開発部の髙木です。 私が入社してから半年が経ちました。オンボーディングで様々な Google Cloud のサービスに触り、苦労しながら知識を吸収してきました。 オンボーディング課題をこなしていく中で、仕様に悩まされた機能の 1 つである BigQuery のパーティショニングについて執筆します。 はじめに BigQuery のパーティションは、特定の順序データに基づいてテーブルを（内部的に）分割する機能です。現在、パーティションとして指定できる順序データは日時か整数のみです。 この分割により、フィルタクエリを実行したときのスキャンするデータ

はじめに こんにちは、クラウドエース 第 2 開発部の坂本です。 最近、Playwright で E2E テストを書いていて、ファイルアップロードのテストで少し詰まりました。 具体的には、react-dropzone を使用してファイルアップロードを実装している場合に、Playwright の 公式ドキュメント に記載されている filechooser イベントを使った方法で、タイムアウトが発生しました。 そこで、本記事ではこの問題の回避方法をご紹介します。 ! react-dropzone と Playwright を組み合わせたファイルアップロードのテストにおいて、 filech