こんにちは。 エンジニアの nobushi です。 今回は Python のマイグレーションツール Alembic を実際に運用してみたいと思います。 以前の ブログ で Alembic を紹介しましたが実際にどう運用するかについてまでは触れませんでした。 今回は GCP の CloudRun を主体としたシステムでの運用方法について紹介したいと思います。 CloudRun CloudRun は GCP のサーバーレスなコンテナ実行環境で、とても簡単にコンテナを実行することができます。 ロードバランサも内

G-gen の杉村です。当記事では、Google Cloud（旧称 GCP）と他のパブリッククラウドを専用線接続するサービスである Cross-Cloud Interconnect を詳細に解説します。 概要 Cross-Cloud Interconnect とは メリット 専用線サービス 対応クラウド 対応ロケーション 料金 ハブとしての Google Cloud 回線の手配の流れ 可用性 SLA SLA の適用条件 Financial Credit 注意点 概要 Cross-Cloud Interco

はじめに 5月からTuringに中途入社した棚橋です。リクルートで広告配信システムの開発や量子アニーリングに関する研究開発に関わっていました。現在、Turingのリサーチチームで完全自動運転システムの研究開発に取り組んでいます。 3行でまとめ 今月開催されるCVPR2023では約2400本もの論文が発表されるため、見るべき論文を事前に検索しておきたい。 社内で行われた大規模言語モデル（LLM）ハッカソンをきっかけに、LLMのEmbeddingを用いて論文の「検索・推薦・要約」システムを作成し公開した。 検

G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) が提供するメッセージングサービスである Cloud Pub/Sub の StreamingPull API と 順序指定キー を使用し、メッセージを Pub/Sub トピックに送信された順にリアルタイム処理する仕組みを実装していきます。 前提知識 Cloud Pub/Sub とは StreamingPull API とは Pub/Sub におけるメッセージの配信順序について 順序指定キーの特性 順序付け 再配信の一貫性 アフ

G-gen セキュリティスイート for Google Cloud とは ユースケース 実現できること 概要 機能例 提供体系 Terraform での提供 請求代行サービスへの付帯 プラン一覧 仕組み 使用する Google Cloud サービス スコープ お申し込み方法 G-gen セキュリティスイート for Google Cloud とは G-gen セキュリティスイート for Google Cloud は、Google Cloud を利用する際に必ず実装しておきたい セキュリティ設定をパッケー

こんにちは、メルカリのレコメンドチームで ML Engineer をしている ML_Bear です。 以前の記事 [1] では、item2vecと商品メタデータを用いた、メルカリのホーム画面のレコメンド改善のお話をさせていただきました。今回は商品詳細画面でレコメンド改善を行ったお話をさせていただきます。商品詳細画面の例は図1の通りです。ユーザーはアイテムの詳細な説明を見たいときにこの画面に来訪するため、同様の商品を推薦する自然な接点として非常に重要です。 まず、私たちが商品詳細画面で行った改善の概要を示し

クラウドエース北野です。 6月に入って、関東も梅雨入して、じめじめした天気が続きますが、体調はいかがでしょうか。 6月5~9日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 Compute Engine Hyperdisk Throughput の提供 (GA) Hyperdisk Throughputは柔軟な容量とスループットを提供するHyperdiskで、HadoopやK

G-gen の堂原です。Google Cloud (旧称 GCP) のマネージドなリモート開発環境である Cloud Workstations を解説します。 概要 Cloud Workstations とは 利用イメージ メリット コンポーネント 概要 Workstation cluster Workstation configuration Workstation 料金 種類 Compute Engine VM インスタンス 及び 永続ディスク Workstation 管理費用 クラスタ料金 コンテナ

Terraform で VPC を作成し、デフォルトルートを削除するオプションを有効にし再度実行した際、Terraform 上ではエラーとならないものの、実際のデフォルトルートのリソースは削除されませんでした。今回はその事象の原因と解決方法を紹介します。 前提知識 実施内容 やりたかったこと 初回の VPC 作成 デフォルトルート削除の試行 事象 原因 解決策 デフォルトルート削除による影響 インターネットアクセス 内部リソースへのアクセス 限定公開の Google アクセス 前提知識 VPC のルートに

G-genの荒井です。2023/04/10に Looker Studio へ実装された サンキーグラフ の使い方について解説します。非常にグラフィカルなグラフで視覚効果が高いので、一層訴求力の高いダッシュボード作成に役立つグラフです。 概要 サンキーグラフとは ユースケース 用語 ノード ソースノード ターゲットノード リンク サンキーグラフのデータソース 必要なカラム サンプルデータソース サンキーグラフの作成方法 グラフの選択 ディメンションの設定 指標の設定 作成完了 Tips 複数ノードからなるサ

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 Google Maps は Google の提供するサービスの中でもなじみ深いサービスの一つです。 Google Maps Platform では Google Maps の機能やデータを簡単に利用することができ、Google Cloud 選択のきっかけになるプロダクトです。 G-gen の佐々木です。当記事では、Google Cloud のサービスではなく、同じく Google によ

はじめに こんにちは、クラウドエースのシステム開発部/SREディビジョン所属の菊池と申します。 本記事では、インフラストラクチャのコード管理に Terraform を使用している場合に、セキュリティ上の問題を検出するためのスキャンツールとして、Trivy と Checkov を紹介します。 Trivy と Checkovは、どちらも OSS であり、コンテナイメージの脆弱性や IaC のミスコンフィギュレーションなどセキュリティに関する問題を検出するために使用されるツールです。 本記事では、IaC を用い

G-gen の杉村です。コネクテッドシートと BigQuery を使い、技術ブログの GA4 アクセス解析をしている事例について、技術的な観点でご紹介します。 はじめに 技術ブログと GA4 データ保持期間と BigQuery コネクテッドシートの利用 エクスポートされた GA4 データの特徴 構成 構成図 ビューの活用 ネストを解き集計するためのビュー利用 マテリアライズド・ビューは断念 BigQuery へのアクセス権限 実装 やろうとしたこと コネクテッドシート接続 VLOOKUP / SUMIF

潜在意識も刺激する、AIを用いたレコメンデーション 2023.6.2 株式会社Laboro.AI　リードマーケター　熊谷勇一 概　要 顧客に商品やサービス、コンテンツをおすすめする「レコメンデーション」。実店舗やウェブサイトを問わず、その形態はさまざまです。レコメンデーションエンジンが使われ、AIも多く活用されてきました。最近ではChatGPTを使ったレコメンデーションの在り方も注目され始めています。その基礎的技術や活用例を解説します。 目　次 ・ レコメンデーション、レコメンドとは 　・ パーソナライズ

G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の 応用編 です。BigQuery に初めて触れる方は、まず 基本編 の記事をご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル BigLake BigLake とは データソース 通常の外部テーブルとの違い 利点 権限の持たせ方 BigQuery コネクタ BigQuery