id,content
1,このスタイリッシュなノートパソコン（商品番号：B123）は、ビジネスシーンに最適です。
2,商品番号：D789 のオーブントースターは、様々な調理モードを搭載しています。
3,当店では、スマートフォン（商品番号：A123）の豊富なカラーバリエーションをご用意しております。
4,時短料理にも最適な、オーブントースター（商品番号：D789）は、忙しいあなたをサポートします。
5,商品番号：B123 のノートパソコンは、薄型軽量で持ち運びにも便利です。
6,清潔で快適な空間を、加湿空気清浄機（商品番号：E012）で実現しましょう。
7,革新的な技術を搭載した最新モデルのスマートフォン（商品番号：A123）です。
8,商品番号：C456 の4Kテレビは、高画質映像を迫力の大画面で楽しめます。
9,臨場感あふれる映像体験を提供する、4Kテレビ（商品番号：C456）です。
10,毎日の料理を楽しくする、多機能オーブントースター（商品番号：D789）です。
11,商品番号：E012 の加湿空気清浄機は、花粉やPM2.5を除去します。
12,ご自宅のリビングを映画館に変える、4Kテレビ（商品番号：C456）はいかがですか。
13,商品番号：A123 のスマートフォンは、高性能カメラと大容量バッテリーが魅力です。
14,ハイスペックなノートパソコン（商品番号：B123）で、あなたの創造性を解き放ちましょう。
15,お部屋の空気を快適にする、加湿空気清浄機（商品番号：E012）です。

export PROJECT_ID={project_id} #{project_id} は 利用する環境の Google Cloud プロジェクト ID を指定してください

gcloud services enable compute.googleapis.com aiplatform.googleapis.com storage.googleapis.com --project $PROJECT_ID

export LOCATION=us-central1
export BUCKET_URI=gs://$PROJECT_ID-hybridsearch-bucket

gsutil mb -l $LOCATION -p $PROJECT_ID $BUCKET_URI

pip install google-cloud-aiplatform pandas python-dotenv mecab-python3 scikit-learn

PROJECT_ID = "{project_id}" #{project_id} は 利用する環境の Google Cloud プロジェクト ID を指定してください
LOCATION = "us-central1"

import MeCab

def mecab_tokenizer(text):
    """日本語テキストを MeCab を用いてトークン化します。

    Args:
        text: トークン化する日本語テキスト

    Returns:
        トークンのリスト
    """
    # MeCab の Tagger（テキストを形態素解析するためのオブジェクト）を初期化
    mecab = MeCab.Tagger()

    # テキストを形態素解析してノードのリストを取得
    node = mecab.parseToNode(text)

    tokens = []

    # トークンを抽出
    while node:
        if node.surface != "":
            tokens.append(node.surface)
        node = node.next
    return tokens

text = "機械学習を活用した検索技術"
output = mecab_tokenizer(text)
print(output)

$ python mecab_tokenizer.py
['機械', '学習', 'を', '活用', 'し', 'た', '検索', '技術']

from sklearn.feature_extraction.text import TfidfVectorizer
from mecab_tokenizer import mecab_tokenizer

def text_to_tfidf(text):
    """
    テキストを TF-IDF ベクトルに変換します。

    Args:
        text: TF-IDF ベクトルに変換するテキスト

    Returns:
        疎なベクトル表現 (辞書型)
        {"values": TF-IDF値のリスト, "dimensions": 次元（単語ID)のリスト}
    """
    # TF-IDF ベクトル化器を初期化
    # tokenizer: トークン化関数として mecab_tokenizer（前述の MeCab） を指定
    # token_pattern: トークンパターンを無効化（tokenizer を使用するため）
    vectorizer = TfidfVectorizer(tokenizer=mecab_tokenizer, token_pattern=None)

    # テキストを TF-IDF ベクトルに変換
    # fit_transform は、テキストをベクトル化すると同時に、ベクトル化器に語彙情報を学習させる
    tfidf_vector = vectorizer.fit_transform([text])

    values = []
    dims = []

    # TF-IDF 値と次元を取り出す
    for i, tfidf_value in enumerate(tfidf_vector.data):
        values.append(float(tfidf_value))
        dims.append(int(tfidf_vector.indices[i]))
    return {"values": values, "dimensions": dims}

text = "機械学習を活用した検索技術"
output = text_to_tfidf(text)
print(output)

$ python text_to_tfidf.py
{'values': [0.35355339059327373, 0.35355339059327373, 0.35355339059327373, 0.35355339059327373, 0.35355339059327373, 0.35355339059327373, 0.35355339059327373, 0.35355339059327373], 'dimensions': [6, 3, 2, 7, 0, 1, 5, 4]}

import os
from dotenv import load_dotenv

import vertexai
from vertexai.language_models import TextEmbeddingModel, TextEmbeddingInput

load_dotenv()

PROJECT_ID = os.environ.get("PROJECT_ID")
LOCATION = os.environ.get("LOCATION")

DENSE_EMBEDDING_MODEL = "textembedding-gecko-multilingual@001"

vertexai.init(project=PROJECT_ID, location=LOCATION)

def text_to_dense_embedding(text, task_type="RETRIEVAL_QUERY"):
    """
    テキストを Vertex AI の Text Embedding API を用いて高密度ベクトルに変換します。

    Args:
        text: 埋め込みベクトルに変換するテキスト
        task_type: 埋め込みタスクのタイプ (デフォルトは "RETRIEVAL_QUERY")

    Returns:
        高密度ベクトル表現 (リスト）
    """
    # 事前学習済みのエンべディングモデルを読み込み
    model = TextEmbeddingModel.from_pretrained(DENSE_EMBEDDING_MODEL)

    # テキストのエンべディングを生成
    input = TextEmbeddingInput(text=text, task_type=task_type)
    return model.get_embeddings([input])[0].values

text = "機械学習を活用した検索技術"
output = text_to_dense_embedding(text)
print(output)

$ python text_to_dense_embedding.py
[0.011068560183048248, -0.05315188318490982, ・・・, 0.02082948014140129]

python embedding.py

gsutil cp embedded_items.json $BUCKET_URI

{
    "contentsDeltaUri": "gs://{project-id}-hybridsearch-bucket",
    "config": {
        "dimensions": 768,
        "approximateNeighborsCount": 20,
        "shardSize": "SHARD_SIZE_SMALL",
        "algorithm_config": {
            "treeAhConfig": {
                "leafNodeEmbeddingCount": 1000,
                "fractionLeafNodesToSearch": 0.05
            }
        }
    }
}

export LOCAL_PATH_TO_METADATA_FILE=index_metadata.json
export INDEX_NAME=hybridsearch-index

gcloud ai indexes create \
    --metadata-file=$LOCAL_PATH_TO_METADATA_FILE \
    --display-name=$INDEX_NAME \
    --region=$LOCATION \
    --project=$PROJECT_ID

export INDEX_ENDPOINT_NAME=hybridsearch-index-endpoint

gcloud ai index-endpoints create \
    --display-name=$INDEX_ENDPOINT_NAME \
    --public-endpoint-enabled \
    --region=$LOCATION \
    --project=$PROJECT_ID

export DEPLOYED_INDEX_NAME=deployed-hybridsearch-index
export DEPLOYED_INDEX_ID=deployed_hybridsearch_index
export INDEX_ID={先ほど作成したインデックス ID}
export INDEX_ENDPOINT_ID={先ほど作成したインデックスエンドポイント ID}
export MIN_REPLICA_COUNT=1
export MAX_REPLICA_COUNT=1

gcloud ai index-endpoints deploy-index $INDEX_ENDPOINT_ID \
    --deployed-index-id=$DEPLOYED_INDEX_ID \
    --display-name=$DEPLOYED_INDEX_NAME \
    --index=$INDEX_ID \
    --min-replica-count=$MIN_REPLICA_COUNT \
    --max-replica-count=$MAX_REPLICA_COUNT \
    --region=$LOCATION \
    --project=$PROJECT_ID

import os
import pandas as pd
from dotenv import load_dotenv

import argparse
import google.cloud.aiplatform as aiplatform

from embedding import text_to_tfidf, text_to_dense_embedding

load_dotenv()

PROJECT_ID = os.environ.get("PROJECT_ID")
LOCATION = os.environ.get("LOCATION")

INDEX_ENDPOINT_NAME={インデックスエンドポイントの ID を指定}
DEPLOYED_HYBRID_INDEX_ID="deployed_hybridsearch_index"

INPUT_FILE = "sample_data.csv"

aiplatform.init(project=PROJECT_ID, location=LOCATION)


def main(query_text):
    """
    指定されたクエリテキストに基づいて、ハイブリッド検索を実行し、結果を表示する。

    Args:
        query_text (str): 検索クエリテキスト。
    """
    # 検索クエリのテキストをエンべディング
    query_dense_emb = text_to_dense_embedding(query_text)
    query_sparse_emb = text_to_tfidf(query_text)

    # ハイブリッド検索用クエリを作成
    hybrid_queries = aiplatform.matching_engine.matching_engine_index_endpoint.HybridQuery(
        dense_embedding=query_dense_emb,
        sparse_embedding_dimensions=query_sparse_emb["dimensions"],
        sparse_embedding_values=query_sparse_emb["values"],
        rrf_ranking_alpha=0.7  # RRF (Rank-biased Reciprocal Fusion) のパラメータ
    )

    # クエリ対象のエンドポイントを指定
    my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint(
        index_endpoint_name=INDEX_ENDPOINT_NAME
    )

    # ハイブリッド検索を実行して結果を取得
    hybrid_resp = my_index_endpoint.find_neighbors(
            deployed_index_id=DEPLOYED_HYBRID_INDEX_ID,
            queries=[hybrid_queries],
            num_neighbors=10
    )

    # サンプルデータと検索結果をマージ
    df = pd.read_csv(INPUT_FILE, header=0)
    for idx, neighbor in enumerate(hybrid_resp[0]):
        id = int(neighbor.id) - 1
        content = df.content[id]
        dense_dist = neighbor.distance if neighbor.distance else 0.0
        sparse_dist = neighbor.sparse_distance if neighbor.sparse_distance else 0.0
        print(f"rank: {idx+1}, content: {content:<9}, dense_dist: {dense_dist:.3f}, sparse_dist: {sparse_dist:.3f}")


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument('query_text', type=str, help='The query text to process')
    args = parser.parse_args()
    main(args.query_text)

python hybrid_search.py "商品番号：B123 のノートパソコンを探しています。"

rank: 1, content: 商品番号：B123 のノートパソコンは、薄型軽量で持ち運びにも便利です。, dense_dist: 0.923, sparse_dist: 0.858
rank: 2, content: このスタイリッシュなノートパソコン（商品番号：B123）は、ビジネスシーンに最適です。, dense_dist: 0.885, sparse_dist: 0.837
rank: 3, content: 商品番号：A123 のスマートフォンは、高性能カメラと大容量バッテリーが魅力です。, dense_dist: 0.814, sparse_dist: 0.816
rank: 4, content: ハイスペックなノートパソコン（商品番号：B123）で、あなたの創造性を解き放ちましょう。, dense_dist: 0.881, sparse_dist: 0.798
rank: 5, content: 商品番号：D789 のオーブントースターは、様々な調理モードを搭載しています。, dense_dist: 0.710, sparse_dist: 0.816
rank: 6, content: 革新的な技術を搭載した最新モデルのスマートフォン（商品番号：A123）です。, dense_dist: 0.781, sparse_dist: 0.798
rank: 7, content: 清潔で快適な空間を、加湿空気清浄機（商品番号：E012）で実現しましょう。, dense_dist: 0.699, sparse_dist: 0.802
rank: 8, content: 毎日の料理を楽しくする、多機能オーブントースター（商品番号：D789）です。, dense_dist: 0.000, sparse_dist: 0.837
rank: 9, content: 当店では、スマートフォン（商品番号：A123）の豊富なカラーバリエーションをご用意しております。, dense_dist: 0.799, sparse_dist: 0.000
rank: 10, content: 臨場感あふれる映像体験を提供する、4Kテレビ（商品番号：C456）です。, dense_dist: 0.000, sparse_dist: 0.816

python hybrid_search.py "高性能なノートパソコンが欲しい。"

rank: 1, content: 商品番号：B123 のノートパソコンは、薄型軽量で持ち運びにも便利です。, dense_dist: 0.807, sparse_dist: 0.649
rank: 2, content: このスタイリッシュなノートパソコン（商品番号：B123）は、ビジネスシーンに最適です。, dense_dist: 0.781, sparse_dist: 0.632
rank: 3, content: 商品番号：A123 のスマートフォンは、高性能カメラと大容量バッテリーが魅力です。, dense_dist: 0.719, sparse_dist: 0.617
rank: 4, content: ハイスペックなノートパソコン（商品番号：B123）で、あなたの創造性を解き放ちましょう。, dense_dist: 0.833, sparse_dist: 0.603
rank: 5, content: 清潔で快適な空間を、加湿空気清浄機（商品番号：E012）で実現しましょう。, dense_dist: 0.686, sparse_dist: 0.636
rank: 6, content: 時短料理にも最適な、オーブントースター（商品番号：D789）は、忙しいあなたをサポートします。, dense_dist: 0.678, sparse_dist: 0.612
rank: 7, content: 商品番号：C456 の4Kテレビは、高画質映像を迫力の大画面で楽しめます。, dense_dist: 0.000, sparse_dist: 0.636
rank: 8, content: 毎日の料理を楽しくする、多機能オーブントースター（商品番号：D789）です。, dense_dist: 0.000, sparse_dist: 0.632
rank: 9, content: 革新的な技術を搭載した最新モデルのスマートフォン（商品番号：A123）です。, dense_dist: 0.710, sparse_dist: 0.000
rank: 10, content: 当店では、スマートフォン（商品番号：A123）の豊富なカラーバリエーションをご用意しております。, dense_dist: 0.702, sparse_dist: 0.000

rank: 1, content: 商品番号：B123 のノートパソコンは、薄型軽量で持ち運びにも便利です。, dense_dist: 0.807, sparse_dist: 0.649
rank: 2, content: ハイスペックなノートパソコン（商品番号：B123）で、あなたの創造性を解き放ちましょう。, dense_dist: 0.833, sparse_dist: 0.603
rank: 3, content: このスタイリッシュなノートパソコン（商品番号：B123）は、ビジネスシーンに最適です。, dense_dist: 0.781, sparse_dist: 0.632
rank: 4, content: 商品番号：A123 のスマートフォンは、高性能カメラと大容量バッテリーが魅力です。, dense_dist: 0.719, sparse_dist: 0.617
rank: 5, content: 清潔で快適な空間を、加湿空気清浄機（商品番号：E012）で実現しましょう。, dense_dist: 0.686, sparse_dist: 0.636
rank: 6, content: 時短料理にも最適な、オーブントースター（商品番号：D789）は、忙しいあなたをサポートします。, dense_dist: 0.678, sparse_dist: 0.612
rank: 7, content: 革新的な技術を搭載した最新モデルのスマートフォン（商品番号：A123）です。, dense_dist: 0.710, sparse_dist: 0.000
rank: 8, content: 当店では、スマートフォン（商品番号：A123）の豊富なカラーバリエーションをご用意しております。, dense_dist: 0.702, sparse_dist: 0.000
rank: 9, content: ご自宅のリビングを映画館に変える、4Kテレビ（商品番号：C456）はいかがですか。, dense_dist: 0.691, sparse_dist: 0.000
rank: 10, content: お部屋の空気を快適にする、加湿空気清浄機（商品番号：E012）です。, dense_dist: 0.682, sparse_dist: 0.000

python hybrid_search.py "料理が楽しくなる家電を教えて。"

rank: 1, content: 毎日の料理を楽しくする、多機能オーブントースター（商品番号：D789）です。, dense_dist: 0.785, sparse_dist: 0.671
rank: 2, content: 時短料理にも最適な、オーブントースター（商品番号：D789）は、忙しいあなたをサポートします。, dense_dist: 0.753, sparse_dist: 0.642
rank: 3, content: 商品番号：D789 のオーブントースターは、様々な調理モードを搭載しています。, dense_dist: 0.744, sparse_dist: 0.655
rank: 4, content: 清潔で快適な空間を、加湿空気清浄機（商品番号：E012）で実現しましょう。, dense_dist: 0.705, sparse_dist: 0.667
rank: 5, content: 臨場感あふれる映像体験を提供する、4Kテレビ（商品番号：C456）です。, dense_dist: 0.694, sparse_dist: 0.655
rank: 6, content: 商品番号：C456 の4Kテレビは、高画質映像を迫力の大画面で楽しめます。, dense_dist: 0.657, sparse_dist: 0.667
rank: 7, content: ハイスペックなノートパソコン（商品番号：B123）で、あなたの創造性を解き放ちましょう。, dense_dist: 0.654, sparse_dist: 0.640
rank: 8, content: ご自宅のリビングを映画館に変える、4Kテレビ（商品番号：C456）はいかがですか。, dense_dist: 0.731, sparse_dist: 0.000
rank: 9, content: お部屋の空気を快適にする、加湿空気清浄機（商品番号：E012）です。, dense_dist: 0.706, sparse_dist: 0.000
rank: 10, content: 商品番号：E012 の加湿空気清浄機は、花粉やPM2.5を除去します。, dense_dist: 0.669, sparse_dist: 0.000