サイオステクノロジー株式会社 Saman アラートは「何かが起きた」という通知にすぎません。「本当に攻撃なのか」「何をされたのか」を判断するには、アラートの前後に何が起きていたかを調査する必要があります。今回はTimelineを使って、ポートスキャンから始まりデータ持ち出しで終わる一連の攻撃を5つのフェーズに分けて追います。 シリーズの前の回 1回目 2回目 Elastic Securityで始める検知エンジニアリング — 環境構築とログの取り込み（第1回） これから5回に分けて、Elastic Securityを使ったセキュリティ監視の基礎を、手を動かしながら学んでいきます。第1回はデータの取り込みと、Discover・Securityの両方で見えるようにするまでの環境構築です。今後の予定本シ... elastic.sios.jp 2026.03.31 Elastic Securityで始める検知エンジニアリング — KQLでログを読んで最初のルールを作る（第2回） ログを読まずにルールは作れません。前回に続いて今回はDiscoverでイベントの中身を確認しながら、「ログイン失敗を検知する」最初のルールを正しい条件で作ります。ルール作成前にDiscoverで確認する習慣が、後々の誤検知を防ぐ最大のポイン... elastic.sios.jp 2026.04.01 目次 この記事を読むと何ができるか Timelineを開く 最初の絞り込み 攻撃の流れを読む：5つのフェーズ フェーズ1：偵察（UTC 10:01:05〜10:01:35） フェーズ2：初期アクセス（UTC 10:03:00〜10:03:06） フェーズ3：権限確認（UTC 10:03:30〜10:04:30） フェーズ4：永続化（UTC 10:05:00〜10:07:30） フェーズ5：データ持ち出し（UTC 10:06:30〜10:10:00） ピボットで視点を切り替える この章のまとめ 第3回チェックリスト この記事を読むと何ができるか Timelineを使ってアラートと生イベントをまとめて調査できる source.ip → user.name → destination.ip の順でピボットしながら攻撃の流れを追える このサンプルデータ（１回目のブログからダウンロードできます）で起きた攻撃を5つのフェーズで説明できる ※第1・2回を読んでいることを前提にしています。 Timelineを開く Elastic Security の Timeline は、複数のイベントを時系列で並べ、相互に関連付けながら調査できる、インタラクティブなワークスペースです。 手順： Security → Alerts を開き、時間範囲を「Last 2 years」にします source.ip: 192.168.1.100 に対応するアラート行（ user.name: admin_root 、 host.name: PROD-SRV-01 ）を探します アクションアイコンから 「Investigate in timeline」 をクリックします Alert detailsのフライアウトからも同じ操作が可能です。フライアウト右下の「Investigate in timeline」ボタンを使うと、アラートのコンテキストを引き継いだ状態でTimelineが開きます。 最初の絞り込み Timelineを開いたら、まず query builder で以下のフィルターを設定します。 host.name:"PROD-SRV-01" and source.ip:"192.168.1.100" 次に _id （1件1件のログに付く一意のID）を列から削除して表示を整理します。 画面左側のフィールドリストからフィールド名をクリックして列として追加します。追うべきフィールドは以下の通りです。 フィールド 何を見るか @timestamp いつ起きたか event.action 何をしたか event.outcome 成功か失敗か user.name 誰として動いたか process.name どのプロセスが実行されたか source.ip どこから来たか destination.ip どこへ出たか destination.port どのポートへ network.bytes 何バイト転送したか rule.name どのルールで検知されたか @timestampを古いから新しい方にソートします。 rule.name が空欄のイベントは「通常のログ（生イベント）」です。攻撃チェーンは検知されたイベントだけでは完成しません。その間にある生イベントも含めて読むことで、初めて全体像が見えます。 補足：なぜ user.name:"admin_root" で絞り込まないのか ポートスキャン段階（UTC 10:01台）の connection-attempt イベントには user.name が入っていません。 user.name で絞ると攻撃の最初のフェーズが見えなくなります。 攻撃の流れを読む：5つのフェーズ このサンプルデータには、教科書的な攻撃の5つのフェーズがすべて含まれています。各フェーズの詳細を順番に見ていきます。 フェーズ1：偵察（UTC 10:01:05〜10:01:35） event.action: connection-attempt event.outcome: failure rule.name: Port Scan Detected 192.168.1.100 から 172.16.0.1 に向けて、ポート445・139・80・3389・22への接続試行失敗が30秒間に5件並びます。接続が拒否されてもそれ自体が情報になります。どのサービスが動いているかがわかれば、次のステップを選べます。 UTC destination.port event.outcome 10:01:05 445（SMB） failure 10:01:06 139（NetBIOS） failure 10:01:07 80（HTTP） failure 10:01:20 3389（RDP） failure 10:01:35 22（SSH） failure フェーズ2：初期アクセス（UTC 10:03:00〜10:03:06） event.action: user-login rule.name: Brute Force Attempt → Brute Force Success わずか6秒の間に、ログイン失敗4件とログイン成功1件が連続します。 UTC user.name event.outcome 10:03:00 admin_root failure 10:03:02 admin_root failure 10:03:04 admin_root failure 10:03:05 administrator failure 10:03:06 admin_root success 「失敗の連続 → 突然の成功」というパターンは、ブルートフォース攻撃の典型的な痕跡です。 見落としやすいポイント：10:03:06の成功イベントにはルール名が入っていますが、もしこのルールが存在しなかった場合、Alertsテーブルには失敗のアラートしか表示されません。ログイン成功は「異常ではない」として見落とされやすく、これが侵入を気づかれにくくする要因の1つです。 フェーズ3：権限確認（UTC 10:03:30〜10:04:30） event.action: process-created rule.name: Suspicious CMD Execution, Domain Enumeration, Privilege Enumeration ログイン成功の直後、 admin_root として3つのプロセスが連続して実行されます。 UTC process.name process.command_line 意味 10:03:30 cmd.exe cmd.exe /c whoami && ipconfig /all 自分が誰か・どの環境かを確認 10:04:00 net.exe net user /domain ドメインユーザー一覧を取得 10:04:30 net.exe net localgroup administrators 管理者グループのメンバーを確認 「どの権限で入れたか」「他にどんなユーザーがいるか」を把握することで、次の行動を計画します。 フェーズ4：永続化（UTC 10:05:00〜10:07:30） event.action: process-created rule.name: Scheduled Task Created, Suspicious PowerShell Encoded Command, Registry Persistence UTC process.name 意味 10:05:00 schtasks.exe スケジュールタスクを作成（再起動後も実行され続ける仕掛け） 10:06:00 powershell.exe Base64エンコードされたコマンドを実行（内容を難読化して検知を回避） 10:07:30 reg.exe レジストリのRunキーに追記（ログイン時に自動実行される仕掛け） この段階は「侵入後に居続けるための準備」です。Base64でコマンドを難読化しているのは、シグネチャベースの検知ツールの目をくらませる典型的な手口です。 「永続化」とは：攻撃者が「1回侵入できた」だけで終わらせず、再起動後やパスワード変更後にも再び接続できる状態を作ることです。スケジュールタスク・レジストリRunキー・サービスの登録などがよく使われます。 フェーズ5：データ持ち出し（UTC 10:06:30〜10:10:00） event.action: connected, data-transfer rule.name: C2 Connection Attempt, Large Data Exfiltration UTC event.action destination.ip network.bytes 意味 10:06:30 connected 103.10.10.100:443 512 外部サーバーへの接続確立（C2通信） 10:09:45 process-created — — Compress-Archiveでデータを圧縮・準備 10:10:00 data-transfer 103.10.10.100 85,000,000 85MBのデータを外部へ送信 「接続確立 → データ圧縮・準備 → 大量送信」という順番がTimelineで一目でわかります。 443番ポートへの通信が見逃されやすい理由：443番ポートはHTTPSの標準ポートです。多くのファイアウォールは443番を業務上の正常通信として許可しているため、C2通信はこのポートを意図的に使うことがあります。ポート番号だけで判断せず、接続先IPアドレスが既知サーバーかどうかも確認することが重要です。 ピボットで視点を切り替える Timelineの強みは「見つけた値をその場で次の絞り込みに使える」ことです。攻撃者の行動（user.name）から外部への通信（destination.ip）という流れに沿って、以下の順でピボットすることで調査が深まります。 ピボット1： user.name で絞り込む（侵害アカウントの視点） host.name:"PROD-SRV-01" and user.name:"admin_root" 攻撃者が admin_root でログインした後、どのプロセスを実行し、どこへ通信したかが一本線で見えます。「侵入後に何をされたか」を把握したいときに有効です。 ピボット2： destination.ip で絞り込む（外部通信の視点） destination.ip:"103.10.10.100" source.ip の条件を取り除き、外部サーバーへの通信だけを見ます。「いつ・どのユーザーが・何バイト送ったか」が圧縮されて表示されます。 この章のまとめ Timelineはアラートと生イベントをまとめて追う調査画面である rule.name が空のイベント（生ログ）も含めて読むことで、攻撃の全体像が見える source.ip → user.name → destination.ip の順でピボットすると、攻撃を立体的に理解できる このデータの攻撃は「ポートスキャン → ブルートフォース → 権限確認 → 永続化 → データ持ち出し」の5フェーズで構成されている アラートだけでは攻撃の全体像は見えない。アラートは「調査の入口」である 第3回チェックリスト [ ] Timelineを source.ip: 192.168.1.100 で絞り込み、5つのフェーズが時系列で見えている [ ] user.name: admin_root でピボットし、侵入後の活動が追えている [ ] destination.ip: 103.10.10.100 でピボットし、C2通信と持ち出しの流れが見えている [ ] 攻撃の流れを自分の言葉で5フェーズに整理して説明できる 次回は： EQLのsequenceで攻撃パターンを自動検出し、ES|QLで「どのIPが最も危険か」を数値で把握する方法を紹介します。目でログを追う調査の次のステップです。 The post Elastic Securityで始める検知エンジニアリングー Timelineで攻撃の全体像を追う(第3回) first appeared on Elastic Portal .

サイオステクノロジー株式会社 Saman 2026年3月末、広く使われているHTTPライブラリ Axios がサプライチェーン攻撃の標的になりました。 サプライチェーン攻撃とは、利用者が普段から信頼しているソフトウェアや配布経路を悪用して、マルウェアを届ける手口です。今回の事件は「有名なライブラリが乗っ取られた」という単純な話ではなく、現代のソフトウェア開発が持つ構造的な脆弱性を突いた、非常に巧妙なものでした。 本記事は、Elastic Security Labsが公開した調査・分析レポートを中心にもとにまとめています。技術的な詳細や検知ルールについては、ぜひ Elastic Security Labsの公式記事 またはElasticのJoe Desimoneさんが Github Gist で公開しているものを直接ご参照ください。 目次 何が起きたのか なぜこれほど危険だったのか Elasticはどう検知していたのか 1つの設計思想から生まれた攻撃 感染が疑われる場合の対応 この事例が示すもの 何が起きたのか 攻撃者はAxiosメンテナーのnpmアカウントを乗っ取り、悪意あるバージョン（ axios@1.14.1 と axios@0.30.4 ）をnpmに公開しました。通常、Axiosは GitHub Actions を経由した公開フローを採用していますが、今回は通常とは異なる公開経路が使われた可能性があり、直接CLIから公開されたとみられています。 この悪意あるバージョンには、 plain-crypto-js@4.2.1 という不正な依存パッケージが仕込まれていました。パッケージには postinstall という仕組みがあり、インストール完了後に自動でコードを実行できます。今回はこれを悪用して setup.js が自動起動し、攻撃者のコードが走る状態になっていました。 つまり、利用者は npm installをしただけで、知らぬ間に攻撃者のコードを実行してしまう可能性がありました。 Huntressの観測によると、パッケージ公開からわずか 89秒後 に最初の感染が確認されています。公開時間が短くても、被害は十分に広がることが証明されました。 なお、問題はAxiosそのものではなく、配布経路が一時的に侵害された点にあります。 なぜこれほど危険だったのか ① 自分でAxiosを入れていなくても感染する Axiosは非常に広く使われているため、別のパッケージが内部で依存しているケース（トランジティブ依存）も多くあります。「自分のプロジェクトにAxiosはない」と思っていても、気づかないうちに入っていた、というケースが起こり得ます。 ② バグでも脆弱性でもない攻撃だった 今回はCVEやゼロデイ脆弱性を突いたものではありません。信頼された公開経路そのものが武器にされた事件です。どれだけコードが安全でも、配布フローが侵害されれば意味をなしません。 ③ Windows・macOS・Linuxすべてが対象 setup.js は難読化されており、実行時にOSを判別してそれぞれに対応したマルウェアを起動します。開発者のPC、CI/CDパイプライン、本番サーバーまで、環境を問わず標的になり得ました。 Elasticはどう検知していたのか Elastic Security Labsが注目したのは、ドメイン名やファイルハッシュではなく、 プロセスの実行チェーン です。これはエンドポイント上の振る舞い（EDR的な観点）に基づく検知であり、「何が実行されたか」ではなく「どのように実行されたか」に着目しています。 node 起動 → OSコマンド実行 → 外部からファイル取得 → 実行 正規のパッケージインストールでは、このような流れは通常起きません。攻撃者はドメイン名やファイル名を変えることはできますが、npm install 直後のこの不自然な実行の連鎖はそう簡単には変えられない、という考え方です。 OSごとの検知シグナルも具体的に示されています。Linuxでは node 後の sh/curl 起動とPythonスクリプトの実行、Windowsではエンコードされた PowerShell の実行と永続化の試み、macOSでは osascript の利用や不審なパスへのファイル配置が観測されました。 さらにElasticは、この問題を把握した後に GitHub Security Advisory を提出し、検知ルールと詳細分析を公開するなど、情報共有にも積極的に動いていました。 1つの設計思想から生まれた攻撃 Elasticの詳細分析（”One RAT to Rule Them All”）によると、OS別に異なるマルウェアが使われていたように見えて、実際には通信構造とコマンド体系が共通していました。 実装言語はOSごとに違っても、攻撃者は クロスプラットフォームで動く1つの統一されたRAT（遠隔操作マルウェア）運用 を設計していたと考えられます。これは場当たり的な攻撃ではなく、計画的・組織的に準備された攻撃であることを示しています。 感染が疑われる場合の対応 Huntressは、影響を受けたバージョンを導入していた場合、 ファイルを削除して終わりにしてはいけない と強く警告しています。 RATが一度動いてしまうと、何が参照・持ち出されたかを完全に特定することは困難です。推奨される対応は以下の通りです。 資格情報・トークンのローテーション 影響範囲の徹底調査 必要に応じた環境の再構築 「マルウェアを消した」ことと「安全が戻った」ことは別物です。特にシークレットやアクセストークンが置かれるCI/CD環境では、侵害前提の対応が求められます。 この事例が示すもの 今回のAxios事件は、オープンソースを使うこと自体が危険だという話ではありません。むしろ、依存関係が当たり前になった現代の開発では、 守るべき対象も「コードの品質」から「サプライチェーン全体の信頼性」へと広がっている ことを示した事件です。 89秒で感染が始まるスピードは、人手による確認だけでは対応が追いつかないことを如実に示しています。固定のIOCに頼るだけでなく、インストール直後の不自然な実行チェーンを監視する仕組みを持てているかどうか、今一度見直すきっかけにしてください。 参考元 Elastic Security Labs, Elastic releases detections for the Axios supply chain compromise Elastic Security Labs, Inside the Axios supply chain compromise – one RAT to rule them all Huntress, Supply Chain Compromise of axios npm Package Joe Desimone, axios_compromise.md (GitHub Gist) The post Axiosサプライチェーン攻撃速報：Elasticはこの攻撃をどう検知したのか first appeared on Elastic Portal .

Saman ログを読まずにルールは作れません。 前回 に続いて今回はDiscoverでイベントの中身を確認しながら、「ログイン失敗を検知する」最初のルールを正しい条件で作ります。ルール作成前にDiscoverで確認する習慣が、後々の誤検知を防ぐ最大のポイントです。 ※本シリーズで使用するデータセットは、 第1回 の記事 からダウンロードできます。 Elastic Securityで始める検知エンジニアリング — 環境構築とログの取り込み（第1回） これから5回に分けて、Elastic Securityを使ったセキュリティ監視の基礎を、手を動かしながら学んでいきます。第1回はデータの取り込みと、Discover・Securityの両方で見えるようにするまでの環境構築です。今後の予定本シ... elastic.sios.jp 2026.03.31 目次 この記事を読むと何ができるか Step 1：Discoverでイベントの中身を確認する Step 2：ログイン失敗だけに絞り込む Step 3：このサンプルデータに含まれる2つのシナリオ Step 4：ルールタイプを選ぶ Step 5：ルールを作る Step 6：過去データに対してルールを確認する アラートが見えないときの確認手順 生成されたアラートから読み取れること サマリー画面で全体傾向を把握する テーブルで個別アラートを確認する この章のまとめ 第2回チェックリスト この記事を読むと何ができるか event.outcome:"failure" に複数種類の失敗が混在していることを理解できる event.action:"user-login" and event.outcome:"failure" でログイン失敗だけを正確に絞り込める Failed Login Detection (Basic Rule) という名前の検知ルールが動いている状態になる 過去データの確認に Rule preview と manual run を使い分けられる Step 1：Discoverでイベントの中身を確認する Discoverを開き、左上のData Viewが training-security-logs になっていることを確認します。時間範囲は「Last 2 years」に変更してください。 まず次のフィールドを列として追加します。フィールド名の横の「+」アイコンをクリックすると列に追加できます。 フィールド 何を見るか @timestamp いつ起きたか event.action 何のイベントか event.outcome 成功か失敗か user.name 対象ユーザー source.ip 送信元IP host.name 対象ホスト Step 2：ログイン失敗だけに絞り込む まず次のKQLを実行します。 event.outcome:"failure" 18件ヒットします。ここで event.action 列に注目してください。 event.outcome:"failure" は「失敗したイベント全般」を返します。ログイン失敗だけでなく、ポートスキャン時の接続失敗も含まれます。「Failed Login Detection」という名前のルールをこの条件で作ると、名前と実態がずれたルールになってしまいます。 event.action 件数 意味 connection-attempt 6件 ポートへの接続試行が失敗 user-login 12件 ログイン試行が失敗 次のKQLを実行します。 event.action:"user-login" and event.outcome:"failure" 12件に絞られます。 connection-attempt の失敗が消え、純粋にログイン失敗だけが残っているはずです。 確認ポイント： event.action がすべて user-login になっているか event.outcome がすべて failure になっているか connection-attempt のようなネットワーク失敗が混ざっていないか 混ざっていなければ、この条件がルールのKQLとして使えます。 event.category をルール条件に使う際の注意点 event.category はマルチバリューフィールドです。1件のイベントが ["iam", "authentication"] のように複数の値を持てる設計になっています。Elastic SecurityのCustom query ruleでこのフィールドをルール条件に使うと、「The event.category field cannot be used for…」というエラーが表示される場合があります。ルールのKQL条件では event.action や event.outcome のようなシングルバリューフィールドを使い、 event.category はDiscover での確認用として使うのが安全です。 ※ Discoverでフィールドの統計量を確認できる。 Step 3：このサンプルデータに含まれる2つのシナリオ 絞り込んだ12件を時系列で見ると、2つの独立した攻撃シナリオが含まれています。この章では両方のシナリオを拾う「一般的なログイン失敗の監視ルール」を作ります。シナリオAの攻撃チェーンを詳しく追う調査は第3回で行います。 シナリオA：内部ネットワークからの侵害の可能性（source.ip: 192.168.1.100） UTC 10:03 台に、 192.168.1.100 から PROD-SRV-01 に対して admin_root と administrator へのログイン失敗が複数回続き、その直後に成功しています。 このような「短時間の連続失敗の後に成功する」挙動は、ブルートフォース攻撃による認証突破の可能性を示す典型的なパターンです。ただし、ユーザーの入力ミスによる正常なログインの可能性もあるため、追加の調査が必要です。 シナリオB：外部からのブルートフォース（source.ip: 45.33.21.11） UTC 10:14〜10:17 台に、外部 IP 45.33.21.11 から PROD-SRV-01 に対して guest・admin・root・administrator など複数のユーザー名でログイン失敗が連続して発生しています。 これは、一般的なアカウント名を順に試す典型的なブルートフォース攻撃の挙動です。 Step 4：ルールタイプを選ぶ Elastic Securityには複数のルールタイプがあります。 ルールタイプ 何を見るか 向いているケース Custom query 条件に一致する1件1件のイベント 1件でも起きたら知らせたい Threshold 一致したイベントの件数 5回以上失敗したら知らせたい ES|QL 集計・加工した結果 合計転送量が閾値を超えたら Event Correlation イベントの順序・パターン AのあとにBが起きたら 今回は「1件のログイン失敗が起きたら知らせたい」ので Custom query を選びます。Threshold は「何回失敗したか」を数えるためのものであり、1件ずつ検知したい今回の目的には向きません。Threshold の使い方は第5回で扱います。 Step 5：ルールを作る Security → Rules → Detection rules (SIEM) → Create new rule を開きます。 ルールタイプの選択画面で「Custom query」を選んで「Selected」にします。 Define rule の設定： データソースとして「Data View」タブを選び、 training-security-logs を指定します。Custom query 欄に次を入力します。 event.action:"user-login" and event.outcome:"failure" 保存前に必ずDiscoverで確認する ルールを保存する前に、同じKQLをDiscoverで実行して「期待したイベントだけが返ってくるか」を必ず確認してください。この確認を省くと、想定外のイベントを拾うルールや、何もヒットしないルールを本番環境に入れてしまうリスクがあります。 About rule の設定： 項目 設定値 Name Failed Login Detection (Basic Rule) Description training-security-logs 内のログイン失敗イベントを検知する Severity Low Risk score 21 Schedule の設定： 項目 設定値 Runs every 5 minutes Additional look-back time 1 minute 「Continue」をクリックし、「Create & enable rule」で保存します。 ※ノイズ削減（重複アラートの圧縮や正常動作の除外）は別の回で扱います。 Step 6：過去データに対してルールを確認する このサンプルは2025-03-18の過去データです。ルールを有効化しても、ルールは「現在時刻からの直近ウィンドウ」を見るため、今すぐアラートが自動生成されることはありません。これは故障ではなく正常な動作です。 過去データを確認するための2つの方法を使い分けます。 Rule preview の手順： ルール編集画面右上の「Rule preview」をクリック 時間範囲を設定する 開始： 2025-03-18 10:00:00 （UTC）/ 画面表示では 19:00:00 JST 終了： 2025-03-18 10:30:30 （UTC）/ 画面表示では 19:30:30 JST 「Refresh」をクリック 期待値：12件のアラートが表示される（内部侵害4件 + 外部ブルートフォース8件） Manual run の手順： ルール詳細画面の右上メニューから「Manual run」を選ぶ 時間範囲を過去データの期間に合わせて指定する 「Run」をクリック Security → Alerts を開き、Alerts画面の時間範囲も「Last 2 years」などに広げる ※Additional look-back timeをかなり長くとる方法も合います アラートが見えないときの確認手順 手順 確認内容 ① Discoverで同じKQLを実行してヒットするか確認する ② 各画面の時間範囲が過去データに合っているか確認する ③ securitySolution:defaultIndex に training-security-logs が入っているか確認する（第1回参照） ④ ルール詳細の「Execution results」タブを確認する。「Succeeded」はクエリが正常終了したことを意味するだけで、ヒット件数がゼロのまま正常終了することがある 生成されたアラートから読み取れること Manual run後に Security → Alerts を開くと、次の状況が確認できます。 サマリー画面で全体傾向を把握する 画面上部の Summary タブでは、検知結果の全体傾向が一目でわかります。 確認項目 このデータでの期待値 Severity levels すべて「Low」、計12件 Alerts by name Failed Login Detection (Basic Rule)：12件 Top alerts by source.ip 45.33.21.11（約66%）、192.168.1.100（約33%） 「どの送信元からの攻撃が多いか」がひと目でわかります。 テーブルで個別アラートを確認する テーブルビューで確認すべき主なフィールドは次のとおりです。 フィールド 確認すること @timestamp いつ発生したか（時間が集中していないか） Rule どのルールで検知されたか Severity / Risk Score 重要度（今回は Low / 21） host.name 攻撃対象のホスト（PROD-SRV-01） user.name 試されたユーザー名（admin_root, guest など） 今回の12件のアラートから、次の状況が推測できます。 同一ホスト（ PROD-SRV-01 ）に対して 複数のユーザー名（ admin_root ・ administrator ・ guest ・ admin ・ root ）で 複数回のログイン失敗が発生している 送信元IPが2つあり、 45.33.21.11 が大多数を占める これはブルートフォース攻撃の典型的な兆候です。ただしこの時点では「疑いがある」という段階です。次の第3回でTimelineを使って攻撃の流れを詳しく追います。 この章のまとめ event.outcome:"failure" だけでは、ログイン失敗以外の失敗イベントも含まれる event.action:"user-login" and event.outcome:"failure" で、ログイン失敗だけを正確に絞れる event.category はマルチバリューフィールドのため、ルールのKQL条件に使うとエラーになる場合がある 最初のルールには Custom query を使い、件数ではなく1件1件を検知する 過去データの確認には、Rule preview（シミュレーション）と manual run（本番実行）を使い分ける 第2回チェックリスト [ ] event.outcome:"failure" で18件、 event.action:"user-login" and event.outcome:"failure" で12件ヒットする [ ] Failed Login Detection (Basic Rule) が作成され、有効化されている [ ] Rule preview または manual run でアラートが確認できている [ ] Alertsのサマリーで 45.33.21.11 と 192.168.1.100 の2つの送信元が見えている 次回は： Timelineを使って、 192.168.1.100 からの攻撃をポートスキャンからデータ持ち出しまで1本の時系列で読み解きます。「アラートを見る」から「攻撃の流れを説明できる」へ進みます。 The post Elastic Securityで始める検知エンジニアリング — KQLでログを読んで最初のルールを作る（第2回） first appeared on Elastic Portal .

サイオステクノロジー株式会社 Saman これから5回に分けて、Elastic Securityを使ったセキュリティ監視の基礎を、手を動かしながら学んでいきます。第1回はデータの取り込みと、Discover・Securityの両方で見えるようにするまでの環境構築です。 今後の予定 本シリーズでは、以下の流れでステップアップしていきます。 第2回：KQLでログを読み、最初の検知ルールを作る 第3回：Timelineで攻撃の全体像を追う 第4回：EQL / ES|QLで攻撃を自動検出・集計する 第5回：ノイズを減らし、運用できるルールにする 本ブログでは、ローカル環境に構築した Elastic Stack v9.3 を使用して、実際に手を動かしながら検証・解説を行っています。 Elastic Stack はオープンソースとして利用可能であり、クラウド版（Elastic Cloud）も無料トライアルで試すことができます。 Elastic Stack（ダウンロード） https://www.elastic.co/jp/downloads/ Elastic Cloud（無料トライアル） https://www.elastic.co/jp/cloud/cloud-trial-overview 目次 この記事を読むと何ができるか まず覚えておく5つの用語 演習データについて Step 1：ファイルをアップロードする Step 2：インデックス名を確認する Step 3：マッピングを設定する Step 4：Security画面でもデータを見えるようにする Step 5：時間範囲の調整 取り込みの確認 よくあるつまずきポイント この章のまとめ 第1回チェックリスト この記事を読むと何ができるか サンプルデータ82件をElasticsearchに正しく取り込める Discoverでイベントを確認できる Elastic Securityの画面でも同じデータが見える状態になる まず覚えておく5つの用語 このシリーズ全体で繰り返し登場します。最初に整理しておきます。 イベント ：1件のログです。「ログイン成功」「プロセス起動」「外部への通信」など、「何かが起きた記録」です。このガイドでは 82件のイベントを使います。 ルール ：イベントを条件で監視し、怪しいものを自動で見つけるための設定です。「ログイン失敗が起きたら知らせる」という定義がルールです。 アラート ：ルールの条件に一致した結果です。イベントは「原材料」、アラートは「調査が必要かもしれない、という通知」です。アラートが出たからといって、必ずしもインシデントではありません。 Timeline ：複数のイベントを時系列で並べながら、攻撃の流れを追う調査画面です。第3章で詳しく使います。 Case ：調査メモ、担当者のアサイン、証拠をひとまとめにする入れ物です。チームで調査内容を共有するために使います。 演習データについて 今回使うサンプルデータ security_sample_v2.ndjson の概要です。 項目 値 形式 NDJSON（1行1イベント） 件数 82件 時間範囲 2025-03-18 09:45:00 〜 10:30:00（UTC） 取り込み先インデックス名 training-security-logs このデータはElastic Securityの学習用に設計されたサンプルです。完全な本番用ECSデータではありませんが、Discover・検知ルール・Timelineの練習には十分使えます。 ECS（Elastic Common Schema）とは 異なるログソース間でフィールド名を統一するための共通ルールです。WindowsイベントログでもLinux syslogでも、「ログイン失敗」は event.outcome: "failure" と書く、という約束事です。この共通化によって、複数製品のログを横断して検索・分析できるようになります。 Step 1：ファイルをアップロードする KibanaのIntegrationメニューから「Upload file」を開きます。画面遷移はバージョン差が出ることがあるので、迷ったら Global Search で検索して開いてください。 またはKibanaのホーム画面から「Upload a file」を選んでもかまいません。 security_sample_v2.ndjson を画面にドラッグ&ドロップします。Kibanaがファイルを自動解析します（数秒かかります）。 インデックス名を logs-training-security に指定します。 Step 2：インデックス名を確認する 「Advanced options」を展開し、「Create data view」にチェックが入っていることを確認します。このチェックが入っていると、取り込みと同時にDiscover用のデータビューが自動で作成されます。 training-security-logs ⚠️ このインデックス名は正確に入力してください 第2回以降の手順でこの名前を前提にしています。別の名前で取り込むと、後の手順がすべて動作しません。 Step 3：マッピングを設定する 「Mappings」欄に次のJSONを入力します。マッピングとは「このフィールドを日付として扱う」「これをIPアドレスとして扱う」という型の定義です。省略すると集計や範囲検索が正しく動かなくなります。 { "properties": { "@timestamp": { "type": "date" }, "agent.type": { "type": "keyword" }, "ecs.version": { "type": "keyword" }, "event.kind": { "type": "keyword" }, "event.type": { "type": "keyword" }, "event.category": { "type": "keyword" }, "event.action": { "type": "keyword" }, "event.outcome": { "type": "keyword" }, "source.ip": { "type": "ip" }, "destination.ip": { "type": "ip" }, "destination.port": { "type": "integer" }, "network.bytes": { "type": "long" }, "network.transport": { "type": "keyword" }, "network.protocol": { "type": "keyword" }, "user.name": { "type": "keyword" }, "host.name": { "type": "keyword" }, "process.name": { "type": "keyword" }, "process.pid": { "type": "integer" }, "process.command_line": { "type": "wildcard" }, "process.parent.name": { "type": "keyword" }, "dns.question.name": { "type": "keyword" }, "rule.name": { "type": "keyword" } } } マッピングが重要な理由： @timestamp が date 型でないと、時間範囲で絞り込めない network.bytes が long 型でないと、合計・最大値の集計ができない source.ip が ip 型でないと、CIDRなどのIP範囲検索が使えない 設定を確認したら「Import」をクリックします。「Import complete」と表示されれば成功です。 Step 4：Security画面でもデータを見えるようにする Data Viewを作っただけでは、SecurityアプリはこのインデックスをElastic Securityが使うインデックス一覧に含みません。 securitySolution:defaultIndex という設定にインデックス名を追加する必要があります。 Stack Management → Advanced Settings → securitySolution:defaultIndex 現在の値の末尾に training-security-logs を追加して「Save changes」をクリックし、ページをリロードします。 なぜこの設定が必要か Elastic Securityはデフォルトで logs-* 、 metrics-* などの決まったパターンのインデックスしか見ません。 training-security-logs はそのパターンに含まれないため、明示的に追加する必要があります。本番環境でも、カスタムインデックスを使う場合は同じ手順が必要になります。 ⚠️ バージョンについての注意 securitySolution:defaultIndex の設定箇所はElasticのバージョンによって異なる場合があります。公式ドキュメントも合わせて確認してください。 Step 5：時間範囲の調整 このサンプルデータは 2025-03-18 のタイムスタンプを持っています。Kibanaのデフォルト表示は「直近15分」や「Today」なので、そのままではデータが空に見えることがあります。取り込み失敗ではなく、単に時間範囲が合っていないだけです。 方法 操作 ざっくり確認したい 画面右上の時間範囲ピッカーで「Last 2 years」を選択 正確に指定したい 「Absolute」で開始 2025-03-18 09:45:00 、終了 2025-03-18 10:30:00 を入力 UTC と日本時間（JST）のズレに注意 サンプルデータのタイムスタンプはUTCで記録されています。Kibanaの表示はブラウザのタイムゾーン（日本環境ではJST = UTC+9）で表示されるため、画面上では 18:45〜19:30 のように見えます。このシリーズでは時刻をUTCで記述します。画面上の表示が9時間ずれていても異常ではありません。 取り込みの確認 取り込みが完了したら、次の3つで正しく入ったか確認します。 確認1：件数確認 Dev Tools（Console）で実行します。 GET training-security-logs/_count 期待値： 82 確認2：時間範囲確認 POST _query { "query": """ FROM training-security-logs | STATS total = COUNT(*), earliest = MIN(@timestamp), latest = MAX(@timestamp) """ } 期待値： total = 82 earliest = 2025-03-18T09:45:00.000Z latest = 2025-03-18T10:30:00.000Z 確認3：数値フィールドの型確認 POST _query { "query": """ FROM training-security-logs | WHERE network.bytes IS NOT NULL | STATS max_bytes = MAX(network.bytes), sum_bytes = SUM(network.bytes) """ } 期待値： max_bytes = 120000000 （120MB） この値が返ってくれば、 network.bytes が数値型として正しく取り込まれています。文字列型で取り込まれていると、この集計はエラーになります。 確認4：データ種別確認 POST _query { "query": """ FROM training-security-logs | STATS count = COUNT(*) BY agent.type | SORT count DESC """ } 期待値： winlogbeat = 53 packetbeat = 29 よくあるつまずきポイント 取り込んだはずなのにDiscoverに何も表示されない場合は、次を順番に確認してください。 時間範囲が「Last 15 minutes」になっていないか ：「Last 2 years」に変更する Data Viewが training-security-logs になっているか ：左上のドロップダウンで確認 インデックス名にタイポがないか ： training-security-log （sなし）は別のインデックス Discoverでは見えるのにSecurityでは見えない場合は、Step 4の securitySolution:defaultIndex の設定を再確認してください。 この章のまとめ やったこと なぜ必要か インデックス名を training-security-logs に指定 後の章の全手順がこの名前を前提にしているため マッピングに型を明示 時間検索・数値集計・IP検索を正しく動かすため securitySolution:defaultIndex に追加 Security画面でこのデータを使えるようにするため 時間範囲を調整 2025-03-18の過去データを画面に表示するため 第1回チェックリスト [ ] GET training-security-logs/_count が 82 を返す [ ] Discoverで training-security-logs データビューを開き、イベントが見える [ ] Security → Rules 画面を開いたときにエラーが出ていない 次回は： KQLでログの中身を読みながら、最初の検知ルールを正しい条件で作ります。 event.outcome:"failure" だけでは何が起きるか、第2回で確認します。 The post Elastic Securityで始める検知エンジニアリング — 環境構築とログの取り込み（第1回） first appeared on Elastic Portal .

Elastic Inference Service (EIS) を使った「ベクトル検索」と「生成AIによる回答（RAG）」について、全2回にわたって解説します。 第2回となる今回は「実践編」として、EIS を通じてモデルを呼び出し、「ベクトル検索」と「生成AIによる回答（RAG）」を実際に動かしてみます。 目次 前提条件 テストデータ、各種スクリプト 検索データのアップロード インデックスとパイプラインの作成 1. インデックスの作成 2. マッピングの定義 3. エイリアスの作成 4. インジェストパイプラインの作成 5. データの Reindex（ベクトル化の実行） 各種検索 キーワード検索（全文検索） ベクトル検索 (kNN) Reciprocal Rank Fusion (RRF) によるハイブリッド検索 セマンティックリランク 生成AIによる回答 技術的な補足 モデル名の指定 RRF とセマンティックリランクの役割 waganeko_tmp インデックス 参考リンク まとめ 前提条件 前回の「 準備編 」での設定が完了していることを前提とします。 テストデータ、各種スクリプト このサンプルで使用するテストデータおよび各種スクリプトは、下記の GitHub リポジトリで公開しています。 elastic-blogs/2026-03-eis at main · SIOS-Technology-Inc/elastic-blogs A sample code for blogs about Elastic. Contribute to SIOS-Technology-Inc/elastic-blogs development by creating an accoun... github.com 検索データのアップロード 今回のデモデータには、夏目漱石の『吾輩は猫である』を使用します。 青空文庫のデータ を元に、ルビを削除して NDJSON 形式に加工したファイルを用意しました。 データファイル: no_ruby_wagahai_wa_neko_dearu.ndjson アップロード手順:  README.md  を参照し、Self-Managed の Elasticsearch 上の waganeko_tmp インデックスへアップロードしてください。 インデックスとパイプラインの作成 1. インデックスの作成 まずは、形態素解析（icu/kuromoji）の設定を施した waganeko_2026_03 インデックスを作成します。 a2_create_index.md のスクリプトを Dev Tools の Console から実行してください。 2. マッピングの定義 a3_create_index_mapping.md を Self-Managed の Dev Tool の Console から実行し、waganeko_2026_03 インデックスへフィールドを作成します。 「吾輩は猫である」の本文を content フィールドに、本文から生成される密ベクトルを content_embedding フィールドへ格納するようにしています。 密ベクトルの type には、bbq_disk を指定しています。今回のデータは少量なので bbq_disk を使わなくてもよいのですが、bbq_disk の検証も兼ねて bbq_disk を使用しています。 3. エイリアスの作成 運用の利便性を高めるため、waganeko_2026_03 に対して waganeko というエイリアスを付与します。 a4_create_alias.md を実行してください。 4. インジェストパイプラインの作成 ここが EIS の真骨頂です。 a5_create_ingest_pipeline.md を実行します。 パイプライン内で指定している .jina-embeddings-v5-text-nano モデルは、Self-Managed 側にはインストールされていません。 EIS を経由することで、外部モデルをあたかもローカルモデルのように利用できます。 このパイプラインをデータ取り込み時に通過させることで、content フィールドの内容に応じた密ベクトルを生成し、content_embedding フィールドへ格納できるようになります。 5. データの Reindex（ベクトル化の実行） a6_reindex.md を実行し、waganeko_tmp から waganeko へデータをコピーします。 この際、前述のパイプラインにより自動的にベクトル化が行われます。 各種検索 ここからは、ES|QL を用いて異なる検索手法を試していきます。 キーワード検索（全文検索） まずは、従来の全部検索です。スクリプトは下記にも掲載しています。 a7_keyword_search.md POST /_query { "query": """ FROM waganeko METADATA _score, _id, _index | WHERE MATCH(content, ?query) | KEEP chunk_no, content, _score | SORT _score DESC | LIMIT 20 """, "params": [ { "query": "吾輩が生まれた場所は?" } ] } 検索結果：「場所」という単語に引っ張られ、必ずしも意図した回答（冒頭の一節）が上位に来るとは限りません。 ... "values": [ [ 1217, "しばらくは爺さんの方へ気を取られて他の化物の事は全く忘れていたのみならず、苦しそうにすくんでいた主人さえ記憶の中から消え去った時突然流しと板の間の中間で大きな声を出すものがある。見ると紛れもなき苦沙弥先生である。主人の声の図抜けて大いなるのと、その濁って聴き苦しいのは今日に始まった事ではないが場所が場所だけに吾輩は少からず驚ろいた。", 8.456548690795898 ], [ 213, "「なるほど仲居は茶屋に隷属するもので、遣手は娼家に起臥する者ですね。次に見番と云うのは人間ですかまたは一定の場所を指すのですか、もし人間とすれば男ですか女ですか」「見番は何でも男の人間だと思います」「何を司どっているんですかな」「さあそこまではまだ調べが届いておりません。その内調べて見ましょう」これで懸合をやった日には頓珍漢なものが出来るだろうと吾輩は主人の顔をちょっと見上げた。", 6.545511245727539 ], ... ] ... ベクトル検索 (kNN) 次にベクトル検索(kNN)を行ってみます。スクリプトは下記にも掲載しています。 a8_vector_search.md POST /_query { "query": """ FROM waganeko METADATA _score, _id, _index | WHERE KNN(content_embedding, TEXT_EMBEDDING(?query, ".jina-embeddings-v5-text-nano")) | KEEP chunk_no, content, _score | SORT _score DESC | LIMIT 20 """, "params": [ { "query": "吾輩が生まれた場所は?" } ] } クエリーから密ベクトルを生成するモデルには、”.jina-embeddings-v5-text-nano” を指定します。 検索結果：「どこで生れたかとんと見当がつかぬ…」という有名な冒頭部分が 1 位にランクインしました。 ... "values": [ [ 2, "どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。しかしその当時は何という考もなかったから別段恐しいとも思わなかった。", 0.7278214693069458 ], [ 1039, "ちょうど三日目の暁方に、隣の家で赤ん坊がおぎゃあと泣いた声を聞いて、うんそうだと豁然大悟して、それから早速長い髪を切って男の着物をきて Hierophilus の講義をききに行った。首尾よく講義をきき終せて、もう大丈夫と云うところでもって、いよいよ産婆を開業した。ところが、奥さん流行りましたね。あちらでもおぎゃあと生れるこちらでもおぎゃあと生れる。", 0.7182090282440186 ], ... ] ... Reciprocal Rank Fusion (RRF) によるハイブリッド検索 さきほどのキーワード検索結果とベクトル検索結果を RRF により融合してみます。スクリプトは下記にも掲載しています。 a9_rrf.md POST /_query { "query": """ FROM waganeko METADATA _score, _id, _index | FORK (WHERE KNN(content_embedding, TEXT_EMBEDDING(?query, ".jina-embeddings-v5-text-nano")) | SORT _score DESC | LIMIT 20) (WHERE MATCH(content, ?query) | SORT _score DESC | LIMIT 20) | DROP content_embedding | FUSE | KEEP chunk_no, content, _score | SORT _score DESC | LIMIT 10 """, "params": [ { "query": "吾輩が生まれた場所は?" } ] } ES|QL の FUSE を使って RRF によるランキング融合を行っています。 ES|QL FUSE command | Elasticsearch Reference www.elastic.co 検索結果：今回は、欲しかったドキュメントのキーワード検索での順位が低かったために、RRF での結果では欲しかったドキュメントが第2位になっています。 ... "values": [ [ 1462, "今日何人あばたに出逢って、その主は男か女か、その場所は小川町の勧工場であるか、上野の公園であるか、ことごとく彼の日記につけ込んである。彼はあばたに関する智識においては決して誰にも譲るまいと確信している。せんだってある洋行帰りの友人が来た折なぞは、「君西洋人にはあばたがあるかな」と聞いたくらいだ。", 0.028958333333333336 ], [ 2, "どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。しかしその当時は何という考もなかったから別段恐しいとも思わなかった。", 0.01639344262295082 ], ... ] ... セマンティックリランク さきほどの RRF により候補を絞り込んだ後に、セマンティックリランクを行ってみます。 セマンティックリランクに利用するモデルは、”.jina-reranker-v3″ です。 スクリプトは下記にも掲載しています。 a10_rrf_semantic_rerank.md POST /_query { "query": """ FROM waganeko METADATA _score, _id, _index | FORK (WHERE MATCH(content, ?query) | SORT _score DESC | LIMIT 20) (WHERE KNN(content_embedding, TEXT_EMBEDDING(?query, ".jina-embeddings-v5-text-nano")) | SORT _score DESC | LIMIT 20) | DROP content_embedding | FUSE | SORT _score DESC | LIMIT 10 | RERANK ?query ON content WITH { "inference_id" : ".jina-reranker-v3" } | KEEP chunk_no, content, _score | SORT _score DESC """, "params": [ { "query": "吾輩が生まれた場所は?" } ] } ES|QL の RERANK コマンドを使ってセマンティックリランクを行います。 ES|QL RERANK command | Elasticsearch Reference www.elastic.co 注目してほしいのは、Self-Managed の Elasticsearch には .jina-reranker-v3 をインストールしていないにもかかわらず、利用できる点です。 検索結果：欲しかったドキュメントが第1位になりました。 ... "values": [ [ 2, "どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。しかしその当時は何という考もなかったから別段恐しいとも思わなかった。", 0.33165714144706726 ], [ 1217, "しばらくは爺さんの方へ気を取られて他の化物の事は全く忘れていたのみならず、苦しそうにすくんでいた主人さえ記憶の中から消え去った時突然流しと板の間の中間で大きな声を出すものがある。見ると紛れもなき苦沙弥先生である。主人の声の図抜けて大いなるのと、その濁って聴き苦しいのは今日に始まった事ではないが場所が場所だけに吾輩は少からず驚ろいた。", 0.08227790892124176 ], ... ] ... 生成AIによる回答 最後に、検索結果のコンテキストを LLM に渡し、自然言語で回答を生成させます。 やや乱暴ですが、セマンティックリランクの結果の第1位のドキュメントの内容を元にして、生成AI に質問に回答するよう依頼してみます。 回答に使用するモデルは、.openai-gpt-oss-120b-completion です。 スクリプトは下記にも掲載しています。 a11_completion.md POST /_query { "query": """ FROM waganeko METADATA _score, _id, _index | FORK (WHERE MATCH(content, ?query) | SORT _score DESC | LIMIT 20) (WHERE KNN(content_embedding, TEXT_EMBEDDING(?query, ".jina-embeddings-v5-text-nano")) | SORT _score DESC | LIMIT 20) | DROP content_embedding | FUSE | SORT _score DESC | LIMIT 10 | RERANK ?query ON content WITH { "inference_id" : ".jina-reranker-v3" } | SORT _score DESC | KEEP content | LIMIT 1 | COMPLETION CONCAT("Answer in Japanese the following question ", ?query, " based on:\n", content) WITH { "inference_id" : ".openai-gpt-oss-120b-completion" } """, "params": [ { "query": "吾輩が生まれた場所は?" } ] } ES|QL の COMPLETION コマンドを利用しています。 ES|QL COMPLETION command | Elasticsearch Reference www.elastic.co 注目してほしいのは、Self-Managed の Elasticsearch には .openai-gpt-oss-120b-completion をインストールしていないにもかかわらず、利用できる点です。 回答結果の例 吾輩は「薄暗く湿った所」、すなわち暗くてじめじめした場所で生まれました。 （「どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。」という記述に基づく。） 合っているようです。 技術的な補足 モデル名の指定 EIS で利用するモデル名は、Elastic Cloud の Relevance > Inference endpoints 画面に表示される Endpoint を使用します。 RRF とセマンティックリランクの役割 本サンプルでは、RRF とセマンティックリランクを併用しています。 Reciprocal Rank Fusion (RRF): キーワードとベクトルの異なる検索手法を統合し、候補を漏れなく抽出する「絞り込み」のフェーズ。 セマンティックリランク: 絞り込まれた上位ドキュメントに対し、LLM 的な文脈理解で「真の回答」を最上位に持ってくる「仕上げ」のフェーズ。 waganeko_tmp インデックス waganeko_tmp インデックスの内容を waganeko インデックスへ reindex した後は、waganeko_tmp インデックスは不要となります。 必要なければ、削除してかまいません。 参考リンク Cloud Connect を利用した場合の追加費用については、下記を参照してください。 https://cloud.elastic.co/cloud-pricing-table?productType=cloud_connect まとめ Self-Managed の Elasticsearch であっても、Elastic Inference Service (EIS）を活用することで、 重い推論モデルを自前で管理・運用することなく、ベクトル検索やセマンティックリランク、生成AIによる回答を極めてシンプルに実装できました。 ぜひ、皆さんの環境でも EIS を活用した高度な検索体験を試してみてください。 The post Elastic Inference Service (EIS) を使った「ベクトル検索」および「生成AIによる回答（RAG）」（実践編） first appeared on Elastic Portal .

Elastic Inference Service (EIS) を使った「ベクトル検索」と「生成AIによる回答（RAG）」について、全2回にわたって解説します。 第1回となる今回は「準備編」として、環境構築からクラウド連携までを詳しく説明します。 目次 Elastic Inference Service (EIS) とは？ 本連載で実現できること システム構成イメージ 動作確認環境 サンプルコード ベクトル検索のための準備作業 1. 環境変数の準備 2. コンテナの起動 3. Elastic Cloud 連携 (Cloud Connect) 3.1. Self-Managed Kibana へのログイン 3.2. Cloud Connect 画面への移動 3.3. Elastic Cloud へのログインと接続 次回予告 Elastic Inference Service (EIS) とは？ Elastic Inference Service (EIS) は、Elastic Cloud 上で推論モデルをホスト・運用するためのマネージドサービスです。 従来、Self-Managed（オンプレミスや独自インスタンス）の Elasticsearch でベクトル検索やAI回答を行うには、自前で推論用ノードを構築・管理する必要がありました。EIS を活用することで、インフラ管理の手間を抑えつつ、強力なベクトル検索機能を Self-Managed 環境に組み込むことが可能になります。 公式ドキュメント: Elastic Inference Service (EIS) | Elastic Docs 本連載で実現できること 今回と次回の記事を通して、以下の機能を実装します。 Embedding: 外部モデルによるベクトル生成およびベクトル検索 Rerank: セマンティック・リランクによる検索精度の向上 Completion: LLM（OpenAI等）を利用した RAG（生成AI回答）の実現 システム構成イメージ 今回の構成は、Self-Managed 側のリソースを抑えつつ、計算負荷の高い推論処理を Elastic Cloud に委託するハイブリッドな構成です。 [Self-Managed Elasticsearch] <--- Elastic Cloud Connect ---> [Elastic Cloud (EIS)] Self-Managed 側に重いモデルをデプロイする必要がないため、既存環境への導入ハードルが低いのが特徴です。 [!CAUTION] 課金に関する注意 モデルの使用量に応じて、Elastic Cloud の利用料が発生します。検証の際は、トークン消費量やモデルの起動時間に十分ご注意ください。 動作確認環境 記事の執筆にあたり、以下の環境で動作を確認しています。 Elastic Cloud: Enterprise License Self-Managed Elasticsearch: v9.3.2 (Trial License) OS/Tool: Windows版 Rancher Desktop v1.20.1 利用モデル: Jina-embeddings-v5-text-nano Jina-reranker-v3 OpenAI-gpt-oss-120b-completion サンプルコード 本記事で使用するスクリプトや設定ファイルは、以下の GitHub リポジトリで公開しています。 GitHub:  SIOS-Technology-Inc/elastic-blogs/2026-03-eis ベクトル検索のための準備作業 ※作業には、ログイン可能な Elastic Cloud アカウントがあらかじめ必要です。 1. 環境変数の準備 リポジトリ内の  .env.sample  をコピーして .env を作成し、各項目を環境に合わせて編集します。 cp .env.sample .env 主な設定項目: ELASTIC_PASSWORD: Elasticsearch の elastic ユーザ用パスワード SAVEDOBJECTS_ENCRYPTIONKEY: 32文字以上のランダムな文字列（Kibana用） ES01_MEM_LIMIT: es01 コンテナに割り当てるメモリサイズ KIBANA_MEM_LIMIT: kibana コンテナに割り当てるメモリサイズ 2. コンテナの起動 Rancher Desktop 等の Docker ランタイムが起動していることを確認します。 docker-compose.yml  ファイル、および、  Dockerfile-es01  ファイルがあるディレクトリ上で以下のコマンドを実行します。 docker-compose up -d --build ※初回起動時はプラグインのインストールが走るため、完了まで数分かかります。 ※本構成は検証用のため、シングルノード構成となっています。 3. Elastic Cloud 連携 (Cloud Connect) 3.1. Self-Managed Kibana へのログイン ブラウザで  http://localhost:5601  にアクセスします。 User: elastic Password: .env で設定した ELASTIC_PASSWORD 3.2. Cloud Connect 画面への移動 Home > Management > Cloud Connect を選択します。 3.3. Elastic Cloud へのログインと接続 画面の指示に従い、Elastic Cloud へログインします。 Elastic Cloud にログイン後、Cloud Connect API Key を発行・コピーします。 取得したキーを Self-Managed 側の Kibana 画面に貼り付け、[Connect] をクリックします。 ステータスが正常になれば、Self-Managed 環境と Elastic Cloud の連携は完了です！ 次回予告 今回は、Cloud Connect を利用して Self-Managed Elasticsearch と Elastic Cloud を橋渡しする手順を解説しました。 次回（実践編）は、いよいよ EIS を通じてモデルを呼び出し、「ベクトル検索」と「生成AIによる回答（RAG）」を実際に動かしてみます。お楽しみに！ The post Elastic Inference Service (EIS) を使った「ベクトル検索」および「生成AIによる回答（RAG）」（準備編） first appeared on Elastic Portal .

SIOS Technology, Inc. Saman 本記事では、 Elastic Security Labs が公開しているレポートを紹介します。こちらのレポートは、単なる「新種マルウェア発見のお知らせ」ではなく、攻撃の全体像を丁寧に解体し、防御側が何をすべきかを具体的に示しています。 目次 攻撃の概要：5段階で忍び込む「ClickFix」キャンペーン 「怪しい外国語のサイトだから気づける」はもう通用しない MIMICRATとは何か 「正面玄関」を使われると、ドアは閉められない Elastic Security Labsの研究が示した重要な学び まとめ 用語集 攻撃の概要：5段階で忍び込む「ClickFix」キャンペーン Elastic Security Labsが発見したこのキャンペーン、通称「ClickFix」は、 ソーシャルエンジニアリング主導型の攻撃 です。システムの脆弱性ではなく「人の心理」を利用して騙す手法で、自前の悪意あるサイトを用意するのではなく、実在する正規サイトに不正スクリプトをひそかに埋め込みます。 たとえるなら、本物の企業サイトに「偽の案内ポップアップ」をこっそり貼り付けるようなイメージです。見た目は本物なので疑われにくいのが特徴です。 攻撃の流れはこうです： 正規ウェブサイトへの不正侵入 偽の「PCに問題があります」メッセージを表示 ユーザー自身がPowerShellコマンドを貼り付けて実行 複数のローダー（次の処理を呼び出す起動係）がメモリ上で連鎖動作 最終ペイロード「MIMICRAT」が展開される ここで特筆すべきは、 脆弱性の悪用もゼロデイ攻撃も使っていない という点です。必要なのは「このコマンドを実行してください」という一言だけ。技術ではなく、人間心理を突く設計になっています。 「怪しい外国語のサイトだから気づける」はもう通用しない このキャンペーンがさらに厄介なのは、 言語の壁を取り払っている 点です。攻撃プログラムはアクセス者のブラウザ言語設定を自動的に読み取り、偽のエラー画面をその言語で表示します。日本語環境なら日本語で、英語環境なら英語で。対応言語は日本語・英語・中国語・韓国語を含む17言語に及びます。 対応言語リストに「Japanese（日本語）」が明記されている以上、日本に住む私たちも攻撃者の射程圏内です。 ただし、攻撃者は特定の企業や国を狙い撃ちしているわけではありません。「母国語で表示して安心させ、世界中の誰でもいいから騙す」という日和見主義的な戦略です。標的を絞らないからこそ、逆に誰もが対象になりえます。 つまり、「普段使っている言葉で自然に罠にかかる」危険性があるということです。 MIMICRATとは何か MIMICRATはC/C++で書かれたカスタムRAT（Remote Access Trojan）、つまり感染したPCを遠隔操作できるマルウェアです。 感染したマシン上で攻撃者ができることは多岐にわたります。 Windowsログイントークンの窃取 — パスワードなしでなりすましが可能になるデジタル証明書のような情報を盗む 任意コマンドの実行 — 遠隔から操作命令を送ることができる ファイルの読み書き SOCKS5プロキシトンネルの確立 — 感染PCを”踏み台”として外部通信に利用する そして最大の特徴が、攻撃者との通信（C2通信）に HTTPS/ポート443 を使用していることです。 「正面玄関」を使われると、ドアは閉められない 会社のビルに「正面玄関」があるとします。社員も来客も配達員も、みんなそこを使います。インターネットでいえば、これがHTTPS/ポート443です。 MIMICRATも、このまったく同じドアを使います。裏口を探さない。窓を割らない。普通の顔をして、正面から堂々と歩いてくる。 当然、セキュリティチームはこのドアを閉めることができません。閉めれば、インターネット全体が止まります。 では、どうやって見破るのか。 答えは**「行動の異常を観察すること」です。従来型のセキュリティは、過去に確認された”指紋”と一致するかを見るシグネチャベース検出**が中心でした。しかし今回はそれが通用しません。 代わりに必要なのは、たとえば次のような視点です。 普段PowerShellを使わないPCが突然スクリプトを実行している 深夜に30秒ごと特定サーバーへ通信している 通常触らないシステムファイルへアクセスしている これが**振る舞い検知（Behavioral Detection）**の考え方です。「これは既知の悪いものか？」ではなく、「これは普段と違う動きをしているか？」を見るのです。 では、その“行動の異常”をどうやって見つけるのか。 ここで重要になるのが、エンドポイントやネットワークのテレメトリを一元的に収集し、通常時の振る舞いと比較できる仕組みです。 Elastic Securityは、エンドポイント・ネットワーク・ログを横断して可視化し、振る舞いベースで検出ルールを構築できる設計になっています。単なる「ウイルス検知」ではなく、攻撃の流れを追える点が特徴です。 Elastic Security Labsの研究が示した重要な学び Elastic Security Labsは、マルウェアを特定しただけではありません。今回の分析から、防御側にとって重要な示唆がいくつか得られています。 攻撃は「単発イベント」ではなく「連鎖」である 。1つのステップだけを見ても全体像は見えません。攻撃チェーン全体を追える視点が必要です。 「監視カメラ」を止めてから動く 。MIMICRATはAMSI（スクリプトのウイルス検査機能）とETW（Windowsのログ記録機能）を無効化します。こうしたログ無効化の動きは単体では見逃されがちですが、プロセス実行履歴・スクリプトログ・メモリ挙動を横断的に分析すれば、攻撃の痕跡は残ります。 ファイルに痕跡を残さない 。MIMICRATは主にメモリ上で動作し、ディスクにファイルを残しません。そのため従来型のアンチウイルスによる検出が難しく、振る舞いベースの監視が欠かせません。 現代でも人間が最大の侵入口 。ゼロデイも高度な侵入技術も不要でした。必要だったのは「ユーザーにコマンドを貼り付けさせる」だけです。 まとめ MIMICRATは高度です。しかし、どの段階にも痕跡は残ります。 重要なのは、ファイル単体ではなく 攻撃の流れを見る視点 です。マルウェアは常に変わりますが、攻撃の進め方のパターンは急には変わりません。 Elastic Securityは、エンドポイント・ネットワーク・ログを横断して可視化し、振る舞いベースで検出ルールを構築できる設計になっています。単なる「ウイルス検知」ではなく、攻撃の流れを追える点が特徴です。 用語集 用語 意味 RAT 遠隔操作が可能なマルウェア C2（Command & Control） 感染PCと攻撃者をつなぐ通信回線 PowerShell Windowsに標準搭載された管理用コマンドツール ローダー 次のプログラムを起動する小さなプログラム ゼロデイ攻撃 まだ修正されていない未知の脆弱性を突く攻撃 AMSI Windowsのスクリプト検査機能 ETW Windowsのログ記録機能 HTTPS / ポート443 通常の安全なウェブ通信 シグネチャベース検出 既知のウイルスの”指紋”と一致するかを見る方式 振る舞い検知 通常と異なる行動パターンを検出する方式 テレメトリ PCの動作ログや行動記録データ The post 改ざんされた正規サイトから拡散：ClickFixキャンペーンが配布するカスタムRAT「MIMICRAT」の実態 first appeared on Elastic Portal .

SIOS Technology, Inc. Saman 目次 はじめに：この記事で解決できること 問題の本質：フルスキャン前提の設計 解決策の発想：Elasticsearch Transformsとは何か Transformの構造を理解する サンプルデータで効果を検証する 実験①：高cardinalityキーでの集約（clientip × 1時間） 実験②：低cardinalityキーでの集約（response × 1時間） Transformが生む2種類の圧縮 ① 縦方向の圧縮（行を減らす） ② 横方向の圧縮（列を減らす） 実行手順 まとめと設計指針 はじめに：この記事で解決できること 数十億件規模のElasticsearchで、ダッシュボード表示のたびに数十秒待つ、そんな問題を抱えているなら、原因はクエリではなく 設計 にあるかもしれません。 本記事では、SIOS Technologyのサマンが実務で直面した問題とその解決策として、 Elasticsearch Transforms を使った事前計算パターンを説明します。サンプルデータを使った実験結果も含め、実際に得られる効果を再現できる手順を紹介します。 問題の本質：フルスキャン前提の設計 以前担当したプロジェクトでは、Kibanaダッシュボードを開くたびにタイムアウトが発生していました。最初はクエリチューニングやノード増強を検討しましたが、根本原因は runtime fieldを使ったフルスキャン前提の設計 にありました。 実装していたES|QLクエリはこのようなものです。 FROM <巨大インデックス> | EVAL metric = GREATEST(fieldA, fieldB) | STATS MAX(metric) BY group_id 理論上は正しいクエリです。しかし数十億件に対してこれを毎回実行すると、全期間スキャン→全行で演算→高cardinalityフィールドで集約という処理をダッシュボード表示のたびに繰り返すことになります。 「これはクエリの問題ではなく、設計の問題だ」 と気づいたことが解決の出発点でした。 解決策の発想：Elasticsearch Transformsとは何か Elasticsearch Transformsは、生データを別インデックスに事前集計して保存する機能です。 生データインデックス → Transform → サマリーインデックス ダッシュボードやアラートは軽量なサマリーインデックスだけを参照するため、検索のたびに重い計算を繰り返す必要がなくなります。 重要な点として、**Transformは「クエリを速くするツール」ではなく「データ構造を再設計するツール」**です。効果の大小は、 group_by の設計——何をキーにまとめるか——に直接依存します。 Transformの構造を理解する 実験の前に、Transformがどういう構造を持つかを把握しておきましょう。 PUT _transform/<name> { "source": { ... }, "pivot": { ... }, "dest": { ... }, "settings": { ... } } source ：読み込むインデックスを指定します。クエリフィルターを加えることで、不要なデータを事前に除外できます。 "source": { "index": "kibana_sample_data_logs", "query": { "range": { "@timestamp": { "gte": "now-90d" } } } } pivot ：最も重要なブロックです。group_byでどの粒度にまとめるかを、aggregationsで何を計算するかを定義します。設計ミスはほぼここで起きます。 "pivot": { "group_by": { "timestamp_hour": { "date_histogram": { "field": "@timestamp", "calendar_interval": "1h" } }, "response": { "terms": { "field": "response.keyword" } } }, "aggregations": { "request_count": { "value_count": { "field": "bytes" } }, "total_bytes": { "sum": { "field": "bytes" } } } } dest ：出力先インデックスを指定します。以後のダッシュボードやアラートはこのインデックスだけを参照します。 settings ：大規模環境では必須の安全装置です。max_page_search_sizeは一度に処理するドキュメント数を制御し、メモリ枯渇を防ぎます。値はクラスタのヒープメモリに応じて調整が必要です（デフォルトは500。余裕がなければ100〜200程度から始めるのが無難です）。 "settings": { "max_page_search_size": 100 } サンプルデータで効果を検証する ここからはElasticでデフォルトで入っているkibana_sample_data_logs（約14,000件、約8.4MB）を使って、group_by設計の違いがどれほど結果に影響するかを確認します。 実験①：高cardinalityキーでの集約（clientip × 1時間） clientipはほぼリクエストごとに異なるIPアドレスです。これを1時間単位と組み合わせてgroup_byに使うと、グループがほとんど1件ずつになり、まとめる対象がありません。 PUT _transform/sample-ip-hourly-v1 { "source": { "index": "kibana_sample_data_logs" }, "pivot": { "group_by": { "timestamp_hour": { "date_histogram": { "field": "@timestamp", "calendar_interval": "1h" } }, "clientip": { "terms": { "field": "clientip" } } }, "aggregations": { "total_bytes": { "sum": { "field": "bytes" } }, "request_count": { "value_count": { "field": "bytes" } }, "error_count": { "filter": { "term": { "response.keyword": "404" } } }, "error_rate": { "bucket_script": { "buckets_path": { "errors": "error_count._count", "total": "request_count" }, "script": "params.total > 0 ? (params.errors / params.total) * 100 : 0" } } } }, "dest": { "index": "summary-ip-hourly" } } POST _transform/sample-ip-hourly-v1/_start 結果： ドキュメント数：13,844件（元データとほぼ同数） サイズ：約2.7MB Transformは実行されていますが、圧縮効果はほぼゼロです。 cardinalityが高いキーは、まとめるべき単位として機能しません。 実験②：低cardinalityキーでの集約（response × 1時間） response（HTTPステータスコード）は200、404、503など数種類しかありません。これを1時間単位でまとめると、同じ時間帯の同じレスポンスコードが大量にひとつのドキュメントに集約されます。 PUT _transform/sample-response-hourly-v1 { "source": { "index": "kibana_sample_data_logs" }, "pivot": { "group_by": { "timestamp_hour": { "date_histogram": { "field": "@timestamp", "calendar_interval": "1h" } }, "response": { "terms": { "field": "response.keyword" } } }, "aggregations": { "request_count": { "value_count": { "field": "bytes" } }, "total_bytes": { "sum": { "field": "bytes" } }, "error_flag_count": { "filter": { "range": { "response.keyword": { "gte": "400" } } } }, "error_rate": { "bucket_script": { "buckets_path": { "errors": "error_flag_count._count", "total": "request_count" }, "script": "params.total > 0 ? (params.errors / params.total) * 100 : 0" } } } }, "dest": { "index": "summary-response-hourly" } } POST _transform/sample-response-hourly-v1/_start 結果： ドキュメント数：2,005件（ 約85%削減 ） サイズ：約405KB（ 約95%削減 ） サイズを確認するには、summary-response-hourly/*stats を実行し、レスポンス内の “store” フィールドにある “size_in_bytes” の値を確認できます。 この劇的な差はどこから来るのでしょうか。 Transformが生む2種類の圧縮 Transformが実現する圧縮は、実は2方向で同時にやります。 ① 縦方向の圧縮（行を減らす） 元ログ： 時刻 response bytes 10:01 200 1000 10:05 200 2000 10:10 200 1500 10:15 404 300 10:20 404 500 5行あります。 これを 1時間 × response でまとめると： 時間 response total_bytes 10:00 200 4500 10:00 404 800 5行 → 2行 これが縦方向の圧縮です。 同じカテゴリが繰り返し出るほど効果は大きくなります。 ② 横方向の圧縮（列を減らす） 元ログには多くのフィールドがあります。 message agent geo request referer tags …… でも、集約に必要なのは： 時間 response bytes だけ。 Transform後のインデックスには、不要なフィールドは存在しません。 つまり、列が消える。 今回サイズが95%削減された理由はここにあります。 実行手順 # 1. Transformを作成 PUT _transform/summary-response-hourly { ... } # 2. 実行前にプレビューで確認（大規模環境では必須） POST _transform/summary-response-hourly/_preview # 3. 起動 POST _transform/summary-response-hourly/_start # 4. 状態確認 GET _transform/summary-response-hourly/_stats # 5. 必要に応じて停止・削除 POST _transform/summary-response-hourly/_stop DELETE _transform/summary-response-hourly まとめと設計指針 Transformsを導入する前に、以下の問いに答えてみてください。 この計算は、本当に検索時にやる必要がありますか？ 答えがNoであれば、Transformは有効な選択肢です。設計時には以下の点に注意してください。 group_byのcardinalityを下げる ことが効果の前提条件。高cardinalityキーは原則として避ける 必要なフィールドだけを残す 設計にすることで、横方向の圧縮も最大化できる _preview で必ず事前検証 してから本番適用する max_page_search_sizeはクラスタのリソースに合わせて調整する スケールが大きくなるほどTransformの効果は大きくなります。数億・数十億件規模の時系列データを扱っているなら、「事前計算+サマリーインデックス」という設計パターンは真っ先に検討すべき選択肢です。 The post Elasticsearch Transforms入門ガイド｜重い集計クエリを事前計算で解決する方法 first appeared on Elastic Portal .

目次 はじめに 開発環境 構成図 事前準備 リポジトリの取得と展開 環境変数の設定 コンテナの起動 EDOT Collector の設定 5.1. Python コンテナへの接続 5.2. EDOT Collector のダウンロード Elasticsearch との連携設定 6.1. System OpenTelemetry Assets の有効化 6.2. API Key の生成 6.3. otel.yml の編集 6.4. EDOT Collector の起動 Python アプリのトレース取得 7.1 appuser で Python コンテナへ接続する 7.2. 計装 (Instrumentation) の準備 7.3. Python アプリの実行 観測データの確認 8.1. Dashboard の表示 8.2. Logs の表示 8.3. トレースの表示 まとめ 参考URL はじめに これまで Elastic Observability でフルスタックな観測を実現するには、Fleet Server や Elastic Agent、および各 Integration（System, APM等）の個別設定が必要でした。 しかし、最新の Elastic Observability (v9.2以降) では、OpenTelemetry (OTel) をネイティブにサポート。 これにより、独自エージェントの複雑な管理をスキップして、より標準的かつ柔軟にデータを集約できるようになりました。 本記事では、この新しい機能の使い方を解説します。 開発環境 Elasticsearch / Kibana: v9.2.4 Basic License Python : v3.14 Docker環境 : 筆者は Windows 上の Rancher Deskop 1.20.1 を利用 ※ステータス: OpenTelemetry Integration は、Elasticsearch 9.2 時点で Preview です。 構成図 今回の構成では、Pythonアプリケーションが稼働するコンテナ内に EDOT (Elastic Distribution of OpenTelemetry) Collector を配置し、そこから直接 Elasticsearch へデータを送信します。 事前準備 リポジトリの取得と展開 まずは検証用コードをダウンロードします。 https://github.com/SIOS-Technology-Inc/elastic-blogs/tags  にアクセスします。 release-2026-02-02 をクリックします。 Assets の Source code (zip) をクリックします。 elastic-blogs-release-2026-02-02.zip がダウンロードされます。 elastic-blogs-release-2026-02-02.zip を解凍します。 環境変数の設定 Windows などでターミナルを開きます。 2026-02-otel/app フォルダに移動します。 cd 2026-02-otel/app .env.sample をコピーして、パスワードやメモリ制限などの環境変数を設定します。 cp .env.sample .env メモ帳などで .env ファイルを編集します。 ... ELASTIC_PASSWORD=... (Elasticsearchのパスワードを設定します。) KIBANA_PASSEORD=... (Kibana用の内部パスワードを設定します。) ... SAVEDOBJECTS_ENCRYPTIONKEY=... (SavedObjects用の暗号化キーを設定します。) ... ES01_MEM_LIMIT=... (Elasticsearchのメモリ上限を設定します。) KB_MEM_LIMIT=... (Kibanaのメモリ上限を設定します。) コンテナの起動 docker compose -f docker-compose-es-kibana-python.yml up -d EDOT Collector の設定 5.1. Python コンテナへの接続 ※今回は、Python を動かすコンテナに Elastic Distribution of OpenTelemetry (EDOT) Collector をインストールするので、Python コンテナへ接続します。 root 権限でインストールおよび実行するので、-u 0 を指定します。 docker exec -itu 0 app-python-app-1 /bin/bash 5.2. EDOT Collector のダウンロード 下記で Elastic 9.2.4 用の EDOT Collector をダウンロードします。 wget https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-9.2.4-linux-x86_64.tar.gz tar xvfz elastic-agent-9.2.4-linux-x86_64.tar.gz cd elastic-agent-9.2.4-linux-x86_64 # 設定用ディレクトリの作成とサンプルのコピー mkdir data/otel cp ../otel.yml.sample otel.yml otel.yml.sample は、あらかじめ elastic-agent-9.2.4-linux-x86_64 内の otel.yml.sample を抽出し、改変したものです。 exporters/elasticsearch/otel/tls などを改変しています。 ※otel.yml の編集は、後で行います。 Elasticsearch との連携設定 6.1. System OpenTelemetry Assets の有効化 Web ブラウザから  http://localhost:5601  へアクセスし、 ユーザーID: elastic パスワード: 4.2. で ELASTIC_PASSWORD に設定した文字列 で Kibana にログインします。 Management / Integrations 画面を表示します。 Display: beta integrations を ON にします(※System OpenTelemetry Assets は、Elastic 9.2.4 の時点では Preview 版のため)。 System OpenTelemetry Assets を検索し、クリックします。 右上の [↓ Install System OpenTelemetry Assets] ボタンをクリックします。 Install System OpenTelemetry Assets のダイアログが表示されるので、右下の [Install System OpenTelemetry Assets] ボタンをクリックします。 ※Assets欄にあるダッシュボードがインストールされます。 6.2. API Key の生成 EDOT Collector から Elasticsearch へ書き込むための API Key を生成し、控えておきます。 Kibana の Home 画面から Elasticsearch アイコンをクリックします。 [Create API key ] ボタンをクリックします。 Name : otel と入力し、[Create API key] をクリックします。 API Key が生成されるので、コピーしておきます（メモ帳などに一時的にペーストしておきます）。 6.3. otel.yml の編集 Python を動作させているコンテナ上で作業します。 vi otel.yml 取得した API Key を 5.2. で配置した otel.yml に反映させます。 ... exportes: elasticsearch/otel: endpoints: ["https;//es01:9200"] api_key: "YOUR_API_KEY_HERE" ... 6.4. EDOT Collector の起動 今回は、あくまでも検証用のための実行なので、ターミナルからバックグラウンドで実行します。 ./otelcol --config ./otel.yml >> /var/log/otelcol.log 2>&1 & これで、Python コンテナのログやメトリクスが Elasticsearch へ送信されるようになります。 このコンテナからは、exit して OK です。 Python アプリのトレース取得 7.1 appuser で Python コンテナへ接続する docker exec -it app-python-app-1 /bin/bash 7.2. 計装 (Instrumentation) の準備 OpenTelemetry のライブラリをインストールします。 edot-bootstrap --action=install opentelemetry-bootstrap -a install 7.3. Python アプリの実行 コードに Elastic 専用の処理を書く必要はありません。 opentelemetry-instrument を冠して実行するだけで、自動的にトレースが送信されます。 実行する Python アプリ (src/test.py) のソースコード 3回ループするだけの単純な Python コードです。 import time from opentelemetry import trace def func1_sub(tracer): with tracer.start_as_current_span("func1_sub"): print ("Hello") time.sleep(1) def func1(tracer): with tracer.start_as_current_span("func1"): i = 0 while i < 3: func1_sub(tracer) i += 1 if __name__ == "__main__": tracer = trace.get_tracer(__name__) func1(tracer) Python アプリを実行します。 opentelemetry-instrument python src/test.py このコンテナからは exit して OK です。 観測データの確認 8.1. Dashboard の表示 Kibana の Analytics / Dashboard からダッシュボードを表示してみます。 [Otel] Hosts Overview ※このダッシュボードは、6.1 で追加されたものです。 EDOT Collector を動作させているホストの稼働状況が可視化されます。 [Otel] Host Details – Metrics EDOT Collector を動作させているホストの CPU や Memory, Network など各種メトリクスが可視化されます。 8.2. Logs の表示 Kibana の Discover から logs-* を表示してみます。 EDOT Collector を動作させているホストの /var/log/*.log の内容が表示されます。 ※ログが表示されない場合、表示対象期間を調整してみてください。 8.3. トレースの表示 Kibana の Observability / Application 画面を表示します。 Service inventory 画面が表示されます。 my-python-script を選択します。 “my-python-script” という名前は、python/Dockerfile に OTEL_SERVICE_NAME として記載していたものです。 my-python-script の Overview が表示されます。 Transactions をクリックします。 src/test.py のトランザクションに関する情報が表示されます。 画面の下の方の Transactions の func1 をクリックします。 func1 の trace 情報が表示されます。 func1 内で func1_sub が3回実行され、実行時間はそれぞれ、3秒、1秒となっていることがわかります。 ※ “func1” や “func1_sub” といった名前は、src/test.py 内に記載したものです。 まとめ OpenTelemetry を採用することで、以下の大きなメリットが得られます。 運用の簡素化: Fleet Server や複雑な Agent 管理から解放されます。 脱ベンダーロックイン: 業界標準のプロトコル（OTLP）を使用するため、将来的なプラットフォームの移行や併用が容易になります。 ポータビリティ: Elastic 固有のコードをアプリに埋め込む必要がなくなり、コードの純粋性を保てます。 現在 Preview 機能ですが、今後の Observability のデファクトスタンダードになることが予想されます。ぜひ今のうちに触れてみてください。 参考URL https://qiita.com/takeo-furukubo/items/2747bdf3e28037b1870b https://qiita.com/takeo-furukubo/items/5f5322977daf6d48fc8c https://www.elastic.co/docs/solutions/observability/get-started/opentelemetry/quickstart/self-managed/hosts_vms https://github.com/SIOS-Technology-Inc/elastic-blogs The post OpenTelemetry を使って Elastic Observability にログ、メトリクス、トレースを取り込んでみよう。 first appeared on Elastic Portal .

目次 はじめに 開発環境 事前準備 メインデータの用意（Sample web logs） 国マスタのインポート Lookup Index への変換 【実践】ES|QL での集計比較 Lookup Join なし（国コードのみ） Lookup Join あり（国名を結合） まとめ 参考資料 添付資料：country_list.csv はじめに これまで Elasticsearch で「メインのインデックスに、別インデックスの情報を紐付けて表示したい」場合、Enrich Processor を使用して、取り込み（Ingest）フェーズであらかじめデータを結合しておくのが一般的でした。 しかし、この方法ではデータの更新のたびに Enrich Policy の再実行が必要になるなど、運用の手間がかかる側面がありました。 最新の Elasticsearch では、ES|QL の LOOKUP JOIN 機能が登場し、クエリ実行時にリアルタイムで別インデックスの情報を参照できるようになりました。本記事では、この便利な新機能の使い方を紹介します。 開発環境 Elasticsearch / Kibana: v9.2.4 Chrome ※注意事項: LOOKUP JOIN … ON … == … の記法は、Elasticsearch 9.2 時点で Preview です。 事前準備 メインデータの用意（Sample web logs） 今回は Kibana に標準で用意されている「Sample web logs」を使用します。 まだ取り込んでいない場合は、Kibana ホームの「Add data」から Sample web logs を追加してください。 参考: https://elastic.sios.jp/blog/elasticsearch-esql-introduction-log-analysis/ 国マスタのインポート この記事の末尾に記載している country_list.csv を使用して、マスタデータを作成します。 ※筆者は、Webブラウザに Chrome を使用しました。 Kibana の Home > Upload a file を開きます。 country_list.csv をアップロードし、設定を以下のように変更します。 Index name: country_list Advanced options > Data view: off（マスタなので Data view は不要です） [Import] をクリックします。 Lookup Index への変換 ES|QL の Lookup Join を利用するには、通常のインデックスを「Lookup 用」に変換する必要があります。 Stack Management > Index Management から country_list を選択します。 2. Manage ボタンから Convert to lookup index をクリックします。 3. Lookup index name に lookup-country_list と入力し、Convert を実行します。 Note: この操作により、インメモリで高速に結合可能な特殊なインデックスが生成されます。元の country_list もそのまま残ります。 【実践】ES|QL での集計比較 Lookup Join なし（国コードのみ） まずは、通常の集計を行ってみます。 Kibana の Discover を開き、上部の [Try ES|QL] をクリックします。 以下のクエリを入力して実行します。 FROM kibana_sample_data_logs | STATS bytes_sum = sum(bytes) BY geo.dest | KEEP geo.dest, bytes_sum | SORT bytes_sum DESC | LIMIT 8 集計対象の期間は、適当に調整してください。下記の例では、Last 24 hours を指定しています。 結果: geo.dest 項目に CN や US といった 2 桁の国コードが表示されます。これだけでは、直感的にどの国か分かりにくいですよね。 Lookup Join あり（国名を結合） 次に、LOOKUP JOIN を使って国マスタから国名を引っ張ってきます。 FROM kibana_sample_data_logs | STATS bytes_sum = sum(bytes) BY geo.dest | LOOKUP JOIN lookup-country_list ON geo.dest == country_code | KEEP country_name, bytes_sum | SORT bytes_sum DESC | LIMIT 8 結果: country_name が結合され、「CHINA」「UNITED STATES」といった具体的な国名が表示されるようになります！ まとめ ES|QL の LOOKUP JOIN を使うメリットは以下の通りです。 運用の簡略化: Enrich Policy を管理・更新する手間が省ける。 直感的な記述: SQL の JOIN に近い感覚で、クエリ内で動的に結合できる。 柔軟性: 必要なときだけマスタ情報を付与できる。 現在は Preview 機能ですが、将来的に Elasticsearch でのログ分析やレポート作成において、欠かせない機能になるはずです。 参考資料 Elastic公式: LOOKUP JOIN command https://www.elastic.co/docs/reference/query-languages/esql/commands/lookup-join 添付資料：country_list.csv 国マスタのCSVです。 ※このデータは、 https://www.e-tax.nta.go.jp/toiawase/qa/crs/countrycode.htm を元に生成したものです。 country_code,country_name AF,AFGHANISTAN AX,ALAND ISLANDS AL,ALBANIA DZ,ALGERIA AS,AMERICAN SAMOA AD,ANDORRA AO,ANGOLA AI,ANGUILLA AQ,ANTARCTICA AG,ANTIGUA AND BARBUDA AR,ARGENTINA AM,ARMENIA AW,ARUBA AU,AUSTRALIA AT,AUSTRIA AZ,AZERBAIJAN BS,BAHAMAS BH,BAHRAIN BD,BANGLADESH BB,BARBADOS BY,BELARUS BE,BELGIUM BZ,BELIZE BJ,BENIN BM,BERMUDA BT,BHUTAN BO,"BOLIVIA, PLURINATIONAL STATE OF" BQ,"BONAIRE, SINT EUSTATIUS AND SABA" BA,BOSNIA AND HERZEGOVINA BW,BOTSWANA BV,BOUVET ISLAND BR,BRAZIL IO,BRITISH INDIAN OCEAN TERRITORY BN,BRUNEI DARUSSALAM BG,BULGARIA BF,BURKINA FASO BI,BURUNDI KH,CAMBODIA CM,CAMEROON CA,CANADA CV,CABO VERDE KY,CAYMAN ISLANDS CF,CENTRAL AFRICAN REPUBLIC TD,CHAD CL,CHILE CN,CHINA CX,CHRISTMAS ISLAND CC,COCOS (KEELING) ISLANDS CO,COLOMBIA KM,COMOROS CG,CONGO CD,"CONGO, THE DEMOCRATIC REPUBLIC OF THE" CK,COOK ISLANDS CR,COSTA RICA CI,COTE D'IVOIRE HR,CROATIA CU,CUBA CW,CURACAO CY,CYPRUS CZ,CZECHIA DK,DENMARK DJ,DJIBOUTI DM,DOMINICA DO,DOMINICAN REPUBLIC EC,ECUADOR EG,EGYPT SV,EL SALVADOR GQ,EQUATORIAL GUINEA ER,ERITREA EE,ESTONIA ET,ETHIOPIA FK,FALKLAND ISLANDS (MALVINAS) FO,FAROE ISLANDS FJ,FIJI FI,FINLAND FR,FRANCE GF,FRENCH GUIANA PF,FRENCH POLYNESIA TF,FRENCH SOUTHERN TERRITORIES GA,GABON GM,GAMBIA GE,GEORGIA DE,GERMANY GH,GHANA GI,GIBRALTAR GR,GREECE GL,GREENLAND GD,GRENADA GP,GUADELOUPE GU,GUAM GT,GUATEMALA GG,GUERNSEY GN,GUINEA GW,GUINEA-BISSAU GY,GUYANA HT,HAITI HM,HEARD ISLAND AND MCDONALD ISLANDS VA,HOLY SEE (VATICAN CITY STATE) HN,HONDURAS HK,HONG KONG HU,HUNGARY IS,ICELAND IN,INDIA ID,INDONESIA IR,"IRAN, ISLAMIC REPUBLIC OF" IQ,IRAQ IE,IRELAND IM,ISLE OF MAN IL,ISRAEL IT,ITALY JM,JAMAICA JP,JAPAN JE,JERSEY JO,JORDAN KZ,KAZAKHSTAN KE,KENYA KI,KIRIBATI KP,"KOREA, DEMOCRATIC PEOPLE'S REPUBLIC OF" KR,"KOREA, REPUBLIC OF" KW,KUWAIT KG,KYRGYZSTAN LA,LAO PEOPLE'S DEMOCRATIC REPUBLIC LV,LATVIA LB,LEBANON LS,LESOTHO LR,LIBERIA LY,LIBYA LI,LIECHTENSTEIN LT,LITHUANIA LU,LUXEMBOURG MO,MACAO MK,NORTH MACEDONIA MG,MADAGASCAR MW,MALAWI MY,MALAYSIA MV,MALDIVES ML,MALI MT,MALTA MH,MARSHALL ISLANDS MQ,MARTINIQUE MR,MAURITANIA MU,MAURITIUS YT,MAYOTTE MX,MEXICO FM,"MICRONESIA, FEDERATED STATES OF" MD,"MOLDOVA, REPUBLIC OF" MC,MONACO MN,MONGOLIA ME,MONTENEGRO MS,MONTSERRAT MA,MOROCCO MZ,MOZAMBIQUE MM,MYANMAR NA,NAMIBIA NR,NAURU NP,NEPAL NL,NETHERLANDS NC,NEW CALEDONIA NZ,NEW ZEALAND NI,NICARAGUA NE,NIGER NG,NIGERIA NU,NIUE NF,NORFOLK ISLAND MP,NORTHERN MARIANA ISLANDS NO,NORWAY OM,OMAN PK,PAKISTAN PW,PALAU PS,"PALESTINE, STATE OF" PA,PANAMA PG,PAPUA NEW GUINEA PY,PARAGUAY PE,PERU PH,PHILIPPINES PN,PITCAIRN PL,POLAND PT,PORTUGAL PR,PUERTO RICO QA,QATAR RE,REUNION RO,ROMANIA RU,RUSSIAN FEDERATION RW,RWANDA BL,SAINT BARTHELEMY SH,"SAINT HELENA, ASCENSION AND TRISTAN DA CUNHA" KN,SAINT KITTS AND NEVIS LC,SAINT LUCIA MF,SAINT MARTIN (FRENCH PART) PM,SAINT PIERRE AND MIQUELON VC,SAINT VINCENT AND THE GRENADINES WS,SAMOA SM,SAN MARINO ST,SAO TOME AND PRINCIPE SA,SAUDI ARABIA SN,SENEGAL RS,SERBIA SC,SEYCHELLES SL,SIERRA LEONE SG,SINGAPORE SX,SINT MAARTEN (DUTCH PART) SK,SLOVAKIA SI,SLOVENIA SB,SOLOMON ISLANDS SO,SOMALIA ZA,SOUTH AFRICA GS,SOUTH GEORGIA AND THE SOUTH SANDWICH ISLANDS SS,SOUTH SUDAN ES,SPAIN LK,SRI LANKA SD,SUDAN SR,SURINAME SJ,SVALBARD AND JAN MAYEN SZ,ESWATINI SE,SWEDEN CH,SWITZERLAND SY,SYRIAN ARAB REPUBLIC TW,"TAIWAN, PROVINCE OF CHINA" TJ,TAJIKISTAN TZ,"TANZANIA, UNITED REPUBLIC OF" TH,THAILAND TL,TIMOR-LESTE TG,TOGO TK,TOKELAU TO,TONGA TT,TRINIDAD AND TOBAGO TN,TUNISIA TR,TURKEY TM,TURKMENISTAN TC,TURKS AND CAICOS ISLANDS TV,TUVALU UG,UGANDA UA,UKRAINE AE,UNITED ARAB EMIRATES GB,UNITED KINGDOM OF GREAT BRITAIN AND NORTHERN IRELAND US,UNITED STATES UM,UNITED STATES MINOR OUTLYING ISLANDS UY,URUGUAY UZ,UZBEKISTAN VU,VANUATU VE,"VENEZUELA, BOLIVARIAN REPUBLIC OF" VN,VIET NAM VG,"VIRGIN ISLANDS, BRITISH" VI,"VIRGIN ISLANDS, U.S." WF,WALLIS AND FUTUNA EH,WESTERN SAHARA YE,YEMEN ZM,ZAMBIA ZW,ZIMBABWE XK,KOSOVO The post ES|QL の Lookup Join でインデックス結合が驚くほど簡単に first appeared on Elastic Portal .

情報源: Elastic公式サイト – ブラジル警察機関の顧客事例 目次 はじめに 導入前の課題 時間のかかるデータベース検索 スケーラビリティの問題 Elasticsearch導入によるソリューション ベクトルデータベースを活用した顔認証システム カスタムモバイル・ウェブアプリケーションとElasticsearchの連携 導入効果 検索時間の大幅な短縮 犯罪者の迅速な特定と逮捕 市民サービスの向上 現場での捜査活動の強化 技術的アーキテクチャの特徴 大規模データ処理能力 高速ベクトル検索 まとめ はじめに 300万人以上の住民を抱えるブラジルの大都市圏において、警察機関が最先端の技術を活用した捜査システムを導入しました。Elasticsearchのベクトルデータベースを中心とした顔認証技術により、犯罪捜査の効率が大幅に改善し、市民の安全確保に大きく貢献しています。本記事では、この取り組みについてご紹介します。 ※ベクトルデータベースとは、画像や文章の特徴を数値（ベクトル）として保存し、似ているものを高速に探せる仕組みです。 導入前の課題 時間のかかるデータベース検索 導入前、警察官は膨大なデータベースを検索するために 数時間から数日 を要していました。このデータベースには、文書、写真、動画など、数十億件もの情報が含まれており、効率的な検索システムの構築が急務でした。 本プロジェクトを担当した技術責任者は次のように語っています、「警察官たちはデータベースの検索に多くの時間を費やし、本来の犯罪防止や現場対応向上という任務から離れてしまっていました。私たちは検索時間を数分、あるいは数秒にまで短縮する必要があったのです」 スケーラビリティの問題 都市の成長と共に、データ量は増加の一途を辿っていました。数百万件の検索クエリと数テラバイトの写真、文書、デジタルメディアを処理できる、スケーラブルなアーキテクチャが求められていました。 Elasticsearch導入によるソリューション ベクトルデータベースを活用した顔認証システム ブラジルの警察機関は、 Elasticsearchのベクトルデータベース を顔認証技術の基盤として採用しました。このシステムにより、警察官は現場で撮影した写真を使って、迅速かつ正確にデータベース検索を実行できるようになりました。 カスタムモバイル・ウェブアプリケーションとElasticsearchの連携 ブラジルの公共安全組織は、警察官が簡単に写真を撮影・アップロードできるよう、専用のモバイルアプリケーションとウェブアプリケーションを開発しました。このアプリと画像データベースの橋渡しをするために、強力なベクトル検索機能を持つElasticsearchが採用されています。 導入効果 検索時間の大幅な短縮 以前は数時間から数日かかっていたデータベース検索が、現在では 数分から数秒 で完了するようになりました。これにより、警察官は迅速な意思決定を行い、事件現場でより効果的に対応できるようになっています。 犯罪者の迅速な特定と逮捕 導入初期段階から、顕著な成果が現れています。従来のシステムでは、データベース検索に時間がかかりすぎるため、その間に容疑者が現場から逃走してしまうケースがありました。しかし、Elasticsearchの導入後は、現場で撮影した写真を使って数秒から数分で容疑者を特定できるようになり、その場で逮捕に至るケースが増えています。 市民サービスの向上 顔認証技術は、犯罪捜査だけでなく、市民支援にも活用されています。 印象的な事例: ある警察官が、約2週間行方不明になっていたアルツハイマー病の高齢男性を発見しました。警察官が写真を撮影し、行方不明者データベースで検索したところ、すぐに男性の名前と連絡先が判明しました。 技術責任者によると、「ご家族は非常に喜び、ほっとされています。数日間希望を持って待っていたご家族に、この良い知らせを伝えることができました。」 また、犯罪被害者の迅速な身元確認により、遺族や愛する人々に確実な情報と心の安らぎを提供することも可能になっています。 現場での捜査活動の強化 Elasticsearchの導入により、警察官はコンピュータの前で過ごす時間が減り、地域社会での重要な捜査活動により多くの時間を割けるようになりました。これは、犯罪予防と公共の安全において、極めて重要な改善です。 技術的アーキテクチャの特徴 大規模データ処理能力 Elasticsearchのベクトルデータベースを採用したアーキテクチャは、以下の能力を備えています。 導入規模: 13ノードで構成される大規模なElasticsearchベクトルデータベース 6テラバイトの膨大なデータを保管 このシステムは、数百万件の検索クエリと数テラバイトの写真、文書、デジタルメディアを処理できる高いスケーラビリティと拡張性を実現しています。 高速ベクトル検索 ベクトル検索技術により、画像の特徴を数値化し、類似画像を高速で検索することが可能になっています。これが、顔認証システムの高速化と精度向上の鍵となっています。 まとめ ブラジルの警察機関によるElasticsearchの導入事例は、最先端のテクノロジーが公共安全の分野でどのように活用されているかを示す優れた例です。これは、決して特別な国・特別な事情だから成立したわけではありません。同じ構造の課題は、日本の自治体や公共機関にも数多く存在します。 たとえば、日本では次のようなデータが日々蓄積されています。 防犯カメラの画像・動画データ 行方不明者や高齢者に関する記録 災害時の被災者情報、安否確認情報 住民対応の履歴、問い合わせ記録 これらは「量が多い」「形式がバラバラ」「必要なときにすぐ探せない」という共通の課題を抱えています。 Elasticsearchを検索基盤として使うと、これらの バラバラなデータを一元的に検索・分析 できるようになります。 テキスト(記録・報告書・メモ) ログ(システム・アクセス履歴) 画像や動画から抽出した特徴データ を1つの検索エンジンでまとめて探せるため、 迅速な横断検索 が可能になります。これは日本の自治体、警察、消防、防災部門にとっても非常に現実的で、かつ導入効果を説明しやすい価値といえます。 本記事は、Elastic社の公式カスタマー事例を基に作成されました。詳細については、 Elastic公式サイト をご覧ください。 The post 警察機関におけるElasticsearch活用事例 first appeared on Elastic Portal .

目次 はじめに 再帰チャンキング (Recursive Chunking) とは 概略 分割のイメージ Recursive Chunkingによる分割結果 参考URL 実践：インデキシング 1. 準備 2. Inference Endpoint の作成 3. インデックスの作成 4. マッピングの追加 5. ドキュメントの取り込み 6. データの反映 実践：検索と結果検証 ケース1. 表データの検索 考察 比較：Sentence Chunking の場合 ケース2. 階層が深いブロックの検索 比較：Word Chunking の場合 採用時の重要な注意点 まとめ はじめに RAG（Retrieval-Augmented Generation）や検索アプリケーションの構築において、Markdown文書の「チャンキング戦略」に頭を悩ませたことはありませんか？ 従来、Markdown文書に対して単純な word（単語数）や sentence（文）単位でのチャンキングを行うと、見出しと本文が分離してしまったり、文脈が複数のブロックに分断されたりするケースが多々ありました。その結果、検索結果にノイズが含まれ、回答精度の低下を招く要因となっていました。 Elasticsearch 8.19.0 および 9.1.0 では、この課題を解決する新たな戦略として 再帰チャンキング（Recursive Chunking） が追加されました。 本記事では、この再帰チャンキングの仕組みと、実際に有価証券報告書（Markdown形式）を用いたインデキシングおよび検索実験の結果をご紹介します。 ※補足: 本ブログで使用したスクリプトやテストデータは、下記のリポジトリで公開しています。 https://github.com/sios-elastic-tech/blogs/tree/main/2025-12-recursive-chunking 再帰チャンキング (Recursive Chunking) とは 概略 再帰チャンキングは、定義されたセパレーター（区切り文字）のリストに基づいて、文書を階層的かつ再帰的に分割する手法です。 Markdownの見出し構造（#, ##, ###…）をセパレーターとして定義することで、文書の論理構造を保ったままチャンクを生成できます。 例: "chunking_settings": { "strategy": "recursive", "max_chunk_size": 300, "separators": [ "\n# ", "\n## ", "\n### ", "\n#### ", "\n##### ", "\n###### ", "\n^(?!\\s*$).*\\n-{1,}\\n", "\n^(?!\\s*$).*\\n={1,}\\n" ] } ※ “separators” の指定は、 “separator_group” : “markdown” と書くことも可能ですが、 ここではカスタマイズ性を重視し、 “separators” を明示的に記述する形式で解説します。 分割のイメージ この戦略を用いると、Markdown文書は以下のように構造的に分割されます。 元の Markdown 文書 # 1. 企業の概況 ## 1.1. 主要な経営指標 ### 1.1.1. 売上高の推移 （本文テキスト...） ### 1.1.2. 利益の推移 （本文テキスト...） ## 1.2. 沿革 （本文テキスト...） # 2. 事業の内容 （本文テキスト...） Recursive Chunkingによる分割結果 チャンク1 # 1. 企業の概況 ## 1.1. 主要な経営指標 ### 1.1.1. 売上高の推移 （本文テキスト...） チャンク2 ### 1.1.2. 利益の推移 （本文テキスト...） チャンク3 ## 1.2. 沿革 （本文テキスト...） チャンク4 # 2. 事業の内容 （本文テキスト...） ※重要なポイント: 構造を無視した分割（例：1.1.2. の途中から始まり、1.2. の冒頭が含まれるなど）が発生しません。 見出しの階層が変わるタイミングで適切に分割されるため、各チャンクが「意味のあるまとまり」を持ちます。 参考URL Recursive chunking in Elasticsearch for structured documents - Elasticsearch Labs Learn how to configure recursive chunking in Elasticsearch with chunk size, separator groups, and custom separator lists... www.elastic.co Chunking strategies: Elasticsearch chunking & its strategies - Elasticsearch Labs Learn the fundamentals of document chunking in Elasticsearch, compare different chunking strategies, and discover how yo... www.elastic.co Elasticsearch chunking: Set up chunking for inference endpoints - Elasticsearch Labs Explore Elasticsearch chunking strategies, learn how Elasticsearch chunks text, and how to configure chunking settings f... www.elastic.co Inference integrations | Elastic Docs Elasticsearch provides a machine learning inference API to create and manage inference endpoints that integrate with ser... www.elastic.co 実践：インデキシング 実際に Elasticsearch を用いて、Markdown文書の取り込みとベクトル化を行います。 ※使用するデータについて テストデータとして、サイオス株式会社の2024年12月期の有価証券報告書を使用します。 出典: https://www.sios.com/ja/ir/news/docs/20250328houkokusho.pdf 本検証作業では、上記の PDF の内容を抜粋、改変して markdown 化したものを利用します。 https://github.com/sios-elastic-tech/blogs/blob/main/2025-12-recursive-chunking/input_data/ir_report_20250328.md 1. 準備 Elasticsearch のバージョン 8.19.0 以上、または 9.1.0 以上 (Enterprise License) （本記事での検証環境: Docker 上の Elasticsearch 9.2.2 ） 必要なプラグイン analysis-icu https://www.elastic.co/docs/reference/elasticsearch/plugins/analysis-icu analysis-kuromoji https://www.elastic.co/docs/reference/elasticsearch/plugins/analysis-kuromoji モデルのデプロイ 今回は、.multilingual-e5-small_linux-x86_64 を使用します。 参考手順: https://www.elastic.co/search-labs/jp/blog/multilingual-embedding-model-deployment-elasticsearch のステップ3 2. Inference Endpoint の作成 ドキュメント取り込み時に「チャンク分割」と「密ベクトル生成」を行うための inference endpoint を作成します。 ここで strategy: “recursive” を指定します。 参考URL: https://www.elastic.co/docs/api/doc/elasticsearch/operation/operation-inference-put-elasticsearch Kibana の Dev Tools (Console) から次のリクエストを発行します。 PUT _inference/text_embedding/e5_chunk_recursive { "service": "elasticsearch", "service_settings": { "num_allocations": 1, "num_threads": 1, "model_id": ".multilingual-e5-small_linux-x86_64" }, "chunking_settings": { "strategy": "recursive", "max_chunk_size": 300, "separators": [ "\n# ", "\n## ", "\n### ", "\n#### ", "\n##### ", "\n###### " ] } } ※今回のテストデータでは、— や === による区切りは使用していないので、separators から除外してシンプルにしています。 3. インデックスの作成 日本語検索に最適化するため、kuromoji と icu_normalizer を設定したインデックスを作成します。 PUT /ir_report_2024_chunk_recursive { "settings": { "index": { "number_of_shards": 1, "number_of_replicas": 1, "refresh_interval": "3600s" }, "analysis": { "char_filter": { "ja_normalizer": { "type": "icu_normalizer", "name": "nfkc_cf", "mode": "compose" } }, "tokenizer": { "ja_kuromoji_tokenizer": { "mode": "search", "type": "kuromoji_tokenizer", "discard_compound_token": true } }, "analyzer": { "ja_kuromoji_index_analyzer": { "type": "custom", "char_filter": [ "ja_normalizer", "kuromoji_iteration_mark" ], "tokenizer": "ja_kuromoji_tokenizer", "filter": [ "kuromoji_baseform", "kuromoji_part_of_speech", "cjk_width", "ja_stop", "kuromoji_number", "kuromoji_stemmer" ] }, "ja_kuromoji_search_analyzer": { "type": "custom", "char_filter": [ "ja_normalizer", "kuromoji_iteration_mark" ], "tokenizer": "ja_kuromoji_tokenizer", "filter": [ "kuromoji_baseform", "kuromoji_part_of_speech", "cjk_width", "ja_stop", "kuromoji_number", "kuromoji_stemmer" ] } } } } } 4. マッピングの追加 作成したエンドポイント (e5_chunk_recursive) を使用するようにマッピングを定義します。 semantic_text 型を利用することで、テキスト処理とベクトル化を自動化します。 PUT /ir_report_2024_chunk_recursive/_mappings { "dynamic": false, "_source": { "excludes": [ "content.text_embedding" ] }, "properties": { "content": { "type": "text", "analyzer": "ja_kuromoji_index_analyzer", "search_analyzer": "ja_kuromoji_search_analyzer", "fields": { "text_embedding": { "type": "semantic_text", "inference_id": "e5_chunk_recursive" } } } } } 5. ドキュメントの取り込み Markdown化した有価証券報告書データを取り込みます。（以下は抜粋です） POST /ir_report_2024_chunk_recursive/_doc { "content": """ # 第１ 【企業の概況】 ## １ 【主要な経営指標等の推移】 ### (1) 連結経営指標等 | 回次 | 第24期 | 第25期 | 第26期 | 第27期 | 第28期 | |:--|:--|:--|:--|:--|:--:| | 決算年月 | 2020年12月 | 2021年12月 | 2022年12月 | 2023年12月 | 2024年12月 | | 売上高(千円) | 14,841,739 | 15,725,371 | 14,420,269 | 15,889,487 | 20,561,583 | ... 当連結会計年度におきましては、個別決算において関係会社株式の減損による特別損失の計上を行うことから、利 益剰余金が大幅に減少することになり、誠に遺憾ではございますが、期末配当を無配とさせていただきたいと存じま す。 """ } 全文は、下記を参照してください。 File not found ?? sios-elastic-tech/blogs A sample code for blogs about elasticsearch. Contribute to sios-elastic-tech/blogs development by creating an account on... github.com 6. データの反映 データを検索可能にするため、リフレッシュを行います。 POST /ir_report_2024_chunk_recursive/_refresh 実践：検索と結果検証 取り込んだデータに対してセマンティック検索を行い、再帰チャンキングの効果を確認します。 ケース1. 表データの検索 クエリ: “2024年度の有給休暇取得率” GET /ir_report_2024_chunk_recursive/_search { "_source": false, "query": { "semantic": { "field": "content.text_embedding", "query": "2024年度の有給休暇取得率" } }, "highlight": { "fields": { "content.text_embedding": { "order": "score", "number_of_fragments": 1 } } } } 検索結果 """ ### (3) 指標及び目標 当社グループは、上記の「(2)①人材の多様性の確保を含む人材の育成に関する方針」及び「(2)②社内環境整備に 関する方針」について、次の指標を用いています。当該指標に関する目標及び実績は、次の通りです。 | 指標 | 2023年度実績 | 2024年度実績 | 目標 | |:--|:--|:--|:--:| | 管理職に占める女性労働者の割合 | 15.5％ | 10.5％ | 20％（2025年度） | | 男性労働者の育児休業取得率 | 38.5％ | 100.0％ | 100％（2025年度） | | 労働者の男女の賃金の差異 | 76.3％ | 78.4％ | 80％（2025年度） | | 有給休暇取得率 | 74.9％ | 69.8％ | 80％（2025年度） | | 離職率 | 6.4％ | 7.7％ | 5％以下（毎年） | | 月平均所定外残業時間 | 14.3時間 | 14.1時間 | − | | 障がい者雇用率 | 2.96％ | 2.48％ | − | (注) 1.国内グループ会社（当社、サンプルテクノロジー株式会社）を対象に計算しています。 2.当社グループでは定年制を廃止しているため、離職率については、すべての退職者を含めて 計算しています。 3.目標の「−」は、設定がないことを示しています。 """ 考察 Markdownの表全体が一つのチャンクとして綺麗に取得できており、必要な文脈（表のヘッダーや注釈）が保持されています。 LLM にこのテキストを渡した場合でも、表構造を正しく解釈できると思われます。 比較：Sentence Chunking の場合 一方で、sentence 戦略を用いた場合、表の途中でチャンクが分割されてしまい、ヘッダー情報が欠落するケースが見られました。 Sentence Chunking での検索結果の抜粋: """（100-999人）では管理職を除く55歳以上のシニア世代がいきいきと働く企業として、3位に選出されました。 ### (3) 指標及び目標 当社グループは、上記の「(2)①人材の多様性の確保を含む人材の育成に関する方針」及び「(2)②社内環境整備に 関する方針」について、次の指標を用いています。当該指標に関する目標及び実績は、次の通りです。 | 指標 | 2023年度実績 | 2024年度実績 | 目標 | |:--|:--|:--|:--:| | 管理職に占める女性労働者の割合 | 15.5％ | 10.5％ | 20％（2025年度） | | 男性労働者の育児休業取得率 | 38.5％ | 100.0％ | 100％（2025年度） | """, """| 労働者の男女の賃金の差異 | 76.3％ | 78.4％ | 80％（2025年度） | | 有給休暇取得率 | 74.9％ | 69.8％ | 80％（2025年度） | | 離職率 | 6.4％ | 7.7％ | 5％以下（毎年） | | 月平均所定外残業時間 | 14.3時間 | 14.1時間 | − | | 障がい者雇用率 | 2.96％ | 2.48％ | − | (注) 1.国内グループ会社（当社、サンプルテクノロジー株式会社）を対象に計算しています。 2.当社グループでは定年制を廃止しているため、離職率については、すべての退職者を含めて 計算しています。 3.目標の「−」は、設定がないことを示しています。 ## ３ 【事業等のリスク】 """ このようにヘッダーとデータ行が分断されると、数値だけがヒットしても 「それが何の数値か（2023年度の実績なのか、それとも、2024年度の実績なのか）」を正しく理解できず、 回答精度の低下に直結します。 ケース2. 階層が深いブロックの検索 クエリ: “当連結会計年度のアプリケーション事業の販売実績” GET /ir_report_2024_chunk_recursive/_search { "_source": false, "query": { "semantic": { "field": "content.text_embedding", "query": "当連結会計年度のアプリケーション事業の販売実績" } }, "highlight": { "fields": { "content.text_embedding": { "order": "score", "number_of_fragments": 1 } } } } 検索結果 """ ##### (d) 販売実績 当連結会計年度の販売実績をセグメントごとに示すと、次のとおりであります。 | セグメントの名称 | 当連結会計年度(自2024年１月１日至2024年12月31日) | 前年同期比(％) | |:--|:--|:--:| | オープンシステム基盤事業(千円) | 14,573,839 | 147.1 | | アプリケーション事業(千円) | 5,986,143 | 100.3 | | 合計(千円) | 20,559,983 | 129.5 | (注)1.セグメント間の内部売上高又は振替高を除いた外部顧客に対する売上高を記載しております。 2.最近２連結会計年度の主要な販売先及び当該販売実績の総販売実績に対する割合は次のとおりであります。 | 販売先 | 前連結会計年度(自2023年１月１日至2023年12月31日) | | 当連結会計年度(自2024年１月１日至2024年12月31日) | | |:--|:--|:--|:--|:--:| | | 金額(千円) | 割合(％) | 金額(千円) | 割合(％) | | 株式会社＊＊＊ | 4,229,893 | 26.6 | 6,067,031 | 29.5 | | 株式会社＊＊＊ | 2,026,750 | 12.8 | 2,599,494 | 12.6 | """ ピンポイントで検索したいブロック（見出し (d) 販売実績 配下）のみがヒットしています。 比較：Word Chunking の場合 一方で、word 戦略を用いた場合、単純な単語数で区切るため、目的のブロックの前に直前のセクション の残骸が含まれたり、取得したい情報が途中で切れたりする現象が発生しました。 Word Chunking での検索結果の抜粋: """(前年同期は157百万円の使用)となりました。 #### ③ 生産、受注及び販売の状況 ##### (a) 生産実績 当連結会計年度の生産実績をセグメントごとに示すと、次のとおりであります。 | セグメントの名称 | 当連結会計年度(自2024年１月１日至2024年12月31日) | 前年同期比(％) | |:--|:--|:--:| | オープンシステム基盤事業(千円) | 894,022 | 128.9 | | アプリケーション事業(千円) | 1,979,893 | 88.3 | | 合計(千円) | 2,873,915 | 97.9 | ##### (b) 仕入実績 当連結会計年度の仕入実績をセグメントごとに示すと、次のとおりであります。 | セグメントの名称 | 当連結会計年度(自2024年１月１日至2024年12月31日) | 前年同期比(％) | |:--|:--|:--:| | オープンシステム基盤事業(千円) | 11,053,511 | 165.7 | | アプリケーション事業(千円) | 1,303,180 | 123.3 | | 合計(千円) | 12,356,691 | 159.9 | ##### (c) 受注実績 当連結会計年度の受注実績をセグメントごとに示すと、次のとおりであります。 | セグメントの名称 | 受注高(千円) | 前年同期比(％) | 受注残高(千円) | 前年同期比(％) | |:--|:--|:--|:--|:--:| | オープンシステム基盤事業 | 14,871,485 | 141.6 | 2,742,583 | 112.2 | | アプリケーション事業 | 6,400,717 | 115.5 | 2,477,333 | 120.1 | | 合計 | 21,272,202 | 132.6 | 5,219,917 | 115.8 | ##### (d) 販売実績 当連結会計年度の販売実績をセグメントごとに示すと、次のとおりであります。 | セグメントの名称 | 当連結会計年度(自2024年１月１日至2024年12月31日) | 前年同期比(％) | |:--|:--|:--:| | オープンシステム基盤事業(千円) | 14,573,839 | 147.1 | | アプリケーション事業(千円) | 5,986,143 | 100.3 | | 合計(千円) | 20,559,983 | 129.5 | (注)1.セグメント間の内部売上高又は振替高を除いた外部顧客に対する売上高を記載しております。 2.最近２連結会計年度の主要な販売先及び当該 """ 採用時の重要な注意点 Elasticsearch の chunking_settings (Inference API) を使用してチャンキングを行った場合、 データ構造は以下のようになります。 content (text 型) content.text_embedding (semantic_text 型) 複数の密ベクトル (分割されたチャンクの数だけ生成される) この構造下では、「チャンク単位でのキーワード検索 + ベクトル検索（ハイブリッド検索）」を行うことが困難です。 標準のキーワード検索（Match Queryなど）を行うと、ドキュメント全体（content フィールド）に対してマッチングが行われるため、ベクトル検索でヒットしたチャンクとは無関係の箇所にあるキーワードにも反応してしまいます。 もし、「チャンクごとに、厳密なキーワード検索とベクトル検索を組み合わせたい」 という要件がある場合は、Elasticsearch 側での自動チャンキング機能（Inference API の chunking）は使用せず、以下のアプローチを検討してください。 LangChain などの外部ライブラリを使用して、アプリケーション側で事前に Markdown を分割する。 分割した各チャンクを、それぞれ独立した Elasticsearch ドキュメントとしてインデックスする。 こうすることで、1つのドキュメントに対して「1つのテキスト」と「1つのベクトル」が対応するシンプルな構造となり、チャンク単位でのハイブリッド検索が容易になります。 まとめ 検証の結果、Markdown 文書に対して Recursive Chunking（再帰チャンキング） を適用することで、以下のメリットが確認できました。 文脈の保持: 見出しや表などの論理的なまとまりが維持される。 ノイズの削減: 無関係なセクションの混入を防ぎ、検索精度の向上に寄与する。 RAGへの最適化: LLMに渡すコンテキストとして、より意味の通った情報を提供できる。 Markdown形式のドキュメント（技術仕様書、社内Wiki、レポートなど）を検索対象とする場合、 Elasticsearchの再帰チャンキング（Recursive Chunking）は非常に強力な選択肢となります。ぜひ一度お試しください。 The post Markdown 文書のための再帰チャンキング入門 — Elasticsearch での実践と比較 first appeared on Elastic Portal .

Elasticsearch を使っていると、クエリ記述には KQL や ES|QL、Query DSLなどいくつかの書き方が登場します。しかし、そのすべての 下で動いているのは Apache Lucene の検索エンジン です。 Luceneを「高性能なエンジン」だとすれば、Elasticsearchはそのエンジンを搭載した「高級車」のようなものです。Lucene を一言でいうと、 テキストを検索しやすい形に変えて、素早く答えてくれるエンジン です。 この記事では、Kibanaにデフォルトで入っている Kibana Sample Data Logs を使い、Lucene クエリの基本とよく使う構文を整理します。 目次 Luceneモードへの切り替え 基本クエリ 1. フリーテキスト検索 2. キーワード検索 3. Wildcard Matching 4. Proximity Matching（近接検索） 5. Range Searches（範囲検索） 6. Fuzzy Searches（あいまい検索） 7. Boosts（スコアの重み付け） 8. Boolean Operators & Grouping（論理演算とグループ化） よくある落とし穴 まとめ Luceneモードへの切り替え Kibanaの検索バーは現在、デフォルトで KQL (Kibana Query Language) になっています。この記事で紹介するクエリ（特に ~ を使う近接検索や TO を使う範囲指定）を正しく動作させるには、以下の手順でモードを切り替えてください。 基本クエリ 検索のやり方として２つあります。 1. フリーテキスト検索 フリーテキスト検索を実行するには、テキスト文字列を入力するだけです。たとえば、Web サーバーのログを検索する場合、safari と入力してすべてのフィールドを検索できます。 2. キーワード検索 特定のフィールドが特定の値と一致するものを探します。 クエリ 説明 response: 404 ステータスコードが 404 のログのみを検索します。 machine.os: “win 8” OSが “win 8” というフレーズと完全に一致するものを検索します。 geo.src: US -geo.dest: US アクセス元がアメリカで、かつ目的地がアメリカ ではない ものを検索します（マイナス記号  – は除外を意味します）。 3. Wildcard Matching 文字の一部が不明な場合や、パターン検索に使用します。 クエリ 説明 agent: Mozilla* User Agentが “Mozilla” で始まるすべてのログを検索します。 extension: d* 拡張子が “d” で始まるファイル（debなど）へのアクセスを検索します。 referer: *twitter* リファラー（参照元URL）の中間に “twitter” が含まれるログを検索します。 ⚠️ 注意: 先頭に * を置く検索（例： *name ）は、全インデックスを走査するため非常に遅くなる可能性があり、推奨されません。 4. Proximity Matching（近接検索） 2つの単語が互いに指定した距離（単語数）以内で出現するドキュメントを探します。 クエリ 説明 “beats HTTP”~4 メッセージ内で “beats” と “HTTP” が 4単語以内 の距離にあるものを検索します。単なるAND検索よりも文脈の強いつながりを見つけられます。 5. Range Searches（範囲検索） 数値や日付の範囲を指定します。 クエリ 説明 bytes: [10000 TO *] 転送量が 10,000バイト以上 のログを検索します（* は上限なし）。 response: [500 TO 599] ステータスコードが 500番台 (サーバーエラー) の範囲にあるログを検索します。 bytes: {0 TO 100} 転送量が0より大きく100未満を検索します。[] は境界値を含み（以上・以下）、{} は境界値を含みません（より大きい・より小さい）。 6. Fuzzy Searches（あいまい検索） スペルミスや表記ゆれを許容して検索します。 クエリ 説明 index:kibana_smple_dat_logs スペルミスを許容して検索します（例: “kibana_sample_data_logs” にヒットします）。 index:kibana_smple_dat_logs~1 1文字違いまで許容します（例: 1文字までなのでkibana_sample_data_logsにヒットしません）。 💡 ポイント: ~ は単語の後ろにつけるとFuzzy（roan~）、フレーズの後ろにつけるとProximity（”foo bar”~4）として機能します。 7. Boosts（スコアの重み付け） 特定の条件に合致するドキュメントの検索スコア（関連度）を高くします。 クエリ 説明 response:404^2 OR response:503 404エラーの重要度（スコア）を2倍にして検索します。関連度順に並べた際、404エラーの方が上位に来やすくなります。 8. Boolean Operators & Grouping（論理演算とグループ化） 複雑な条件を組み合わせます。Lucene の演算子（AND, OR, NOT）は 大文字 が必須です。小文字にすることで、特定の文字が演算子としてではなく、単語として認識されます。 クエリ 説明 NOT response: 200 ステータスコードが 200 (成功) ではない (=エラーやリダイレクト) ログをすべて表示します。 geo.src: US AND response: 404 アメリカからのアクセス かつ 404エラーだったログを検索します。 (extension: rmp OR extension:deb) AND geo.dest:GB グループ化: 「拡張子がrmpかdeb」という条件を優先し、かつイギリスからのアクセスであるものを検索します。 よくある落とし穴 Luceneクエリが思ったように動かない場合、以下の原因が考えられます。 KeywordフィールドでのFuzzy検索: keyword 型のフィールドは解析（Analyzer処理）されないため、Fuzzy検索（~）が効きません。 句読点や記号の消失: データ取り込み時に Standard Analyzer を通っている場合、記号が削除されていることがあります。「検索できない」と思ったら、元のテキストがどうトークン化されているか確認が必要です。 特殊文字のエスケープ: + – && || ! ( ) { } [ ] ^ ” ~ * ? : \ などの文字を検索値として含める場合は、直前にバックスラッシュ \ を置いてエスケープする必要があります（例：file_name:report\-2025\.pdf）。 まとめ 全文検索、ログ検索、アラート条件、検索パフォーマンス — すべての土台は Lucene にあります。 KQL: Kibanaでの日常的な利用に最適（簡単・安全）。 Lucene: 複雑な検索（正規表現、Fuzzy、Proximity）を行いたい時に利用。 まずはSample Dataを使って、Luceneならではの柔軟な検索を体験してみてください。 The post ElasticsearchのためのLuceneクエリ入門ガイド first appeared on Elastic Portal .

目次 はじめに 準備作業 環境 サンプルデータの取り込み ダッシュボードの作成 1. ダッシュボードの新規作成 2. Variable control の作成 3. グラフと Variable control の紐づけ 動作確認 まとめ はじめに Elastic の Kibana では、これまでグラフごとに集計項目を固定して作成する必要がありました。 しかし、Elastic Stack 8.18 以降（または 9.0 以降）で強化された「Variable control」機能と ES|QL を組み合わせることで、一つのパネルで集計項目を動的に切り替えることが可能になりました。 ダッシュボード上でプルダウンメニューを操作するだけで集計項目を変えられるため、似たようなグラフを何個も作る必要がなくなり、分析の柔軟性が大幅に向上します。本記事では、その具体的な実装手順をご紹介します。 準備作業 環境 以下の環境を使用します。 Elasticsearch / Kibana : 8.18以降 または 9.0以降   – 本記事では、バージョン 9.2.0 で検証しています。 サンプルデータの取り込み 下記の記事などを参考に、「Sample web logs」データを Kibana に取り込んでください。 参考: https://elastic.sios.jp/blog/elasticsearch-esql-introduction-log-analysis/ ダッシュボードの作成 1. ダッシュボードの新規作成 1.1. メインメニューの Analytics / Dashboards をクリックし、Dashboard 一覧画面へ遷移します。 1.2. 右上の [+ Create dashboard] をクリックします。 ダッシュボードの新規作成画面へ遷移します。 1.3. 対象期間を調整します。（例: Last 15 minutes を、Last 7 days に変更） 1.4. [(+) Add] > New Panel を選択します。 1.5. パネルの種類として、ES|QL を選択します。 ES|QLの入力画面に切り替わります。 1.6. ES|QL の入力欄に以下のクエリーを貼り付けます。 まずは、ベースとなるグラフを作成するため、geo.dest （宛先地域）ごとのアクセス数を集計するクエリーを入力します。 FROM kibana_sample_data_logs | STATS count = count() BY geo.dest | SORT count DESC | LIMIT 10 1.7. 右上の [▷ Run Query] をクリックし、グラフが描画されることを確認します。 1.8. 右下の [✓ Apply and close] をクリックします。 2. Variable control の作成 次に、先ほどのグラフの集計項目を簡単に変更できるようにするための Variable control を追加します。 2.1. 画面上部の [(+) Add] をクリックし、Controls > Variable control を選択します。 Variable control の新規作成画面が表示されます。 2.2. Variable control の設定画面で以下のように入力します。 Type を Values from a query から Static values に変更します。 Name を ??stats_field に変更します。 Values に集計対象としたいフィールド名を入力していきます。 agent clientip geo.dest host machine.os response tags url 2.3. 右下の [Save] をクリックします。ダッシュボードに stats_field の control が追加されます。 3. グラフと Variable control の紐づけ 作成した Variable control の値に応じてグラフが変化するように、クエリーを修正します。 3.1. 作成したグラフパネルの右上のオプションから鉛筆アイコンをクリックします。 グラフ部分の編集画面へ遷移します。 3.2. ES|QL クエリー内の geo.dest 部分を削除します。 | STATS count = count() BY geo.dest   <-- この geo.dest を削除 3.3. 削除した箇所でキーボードのスペースバーを押すと、候補が表示されます。 選択肢の中から、先ほど作成した、 ??stats_field を選択します。 3.4. [▷ Run query] をクリックします。グラフの Horizontal axis （横軸）が ??stats_field に変わり、グラフが再描画されます。 3.5. 右下の [✓ Apply and close] をクリックします。 3.6. ダッシュボード右上の [Save] をクリックし、タイトル（例：”variable control test”）を入力して保存します。 動作確認 実際に Variable control を操作してみましょう。 ダッシュボード上の stats_field プルダウンを clientip に変更すると、クライアント IP ごとの集計結果に切り替わります。 同様に、stats_field を、geo.dest, host, machine.os, response, tags, url に変えると、それぞれのフィールドに基づいた集計結果が即座に表示されます。 まとめ Variable control を活用することで、1つのグラフパネルであっても多角的な視点での分析が可能になることがお分かりいただけたかと思います。これにより、ダッシュボードの表示領域を節約しつつ、インタラクティブなデータ探索が可能になります。 今回は「集計フィールド（BY句）」を変数化する例を紹介しましたが、この機能は「集計関数（STATS句）」や「フィルタ条件（WHERE句）」などにも応用可能です。ぜひ皆さんの環境でも試してみてください。 参考URL: https://www.elastic.co/search-labs/blog/kibana-dashboard-interactivity-variable-controls-overview The post 【Kibana】ES|QLとVariable control で実現！ 集計項目を動的に切り替えるダッシュボード作成術 first appeared on Elastic Portal .

Elasticは、データを素早く検索・分析するための強力な基盤として長年活用されてきました。しかし、クラウドネイティブな環境が標準となるにつれ、従来のデータ管理手法である「ステートフル」モデルでは対応しきれない課題も顕在化しています。 これまでのElasticは、データ処理を行う「コンピューティング」と、データを保存する「ストレージ」が一体となった構成でした。この方式は確かな実績を持つ一方で、システムの拡張や管理運用において、手間やコストが増大しやすいという側面がありました。 そこで新たに登場したのが、「サーバーレス」アーキテクチャです。本稿では、これら二つの方式を比較しながら、サーバーレスアーキテクチャが実現する「コンピューティングとストレージの分離」が、いかにして高い運用効率、柔軟な拡張性、そして優れたコスト効率をもたらすのかを解説します。 目次 従来のステートフルアーキテクチャのレビュー 基本構成とデータ階層化 運用上の課題 サーバーレスアーキテクチャの登場 中核概念：コンピューティングとストレージの分離 「スィンシャード（Thin Shards）」による効率化 シャード再配置問題の解決 詳細なプロセス比較：インデックス作成と検索 ステートフルモデルのデータフロー サーバーレスモデルのデータフロー 最適化：バッチコミット 運用の変革：自動スケーリングとコスト効率 負荷に応じた自動スケーリング コストモデルの最適化 現状の考慮事項と制限 サービス提供開始時期と日本での利用について Elastic Cloud Serverless についてのよくある質問 料金と提供地域 データ管理 セキュリティ、準拠、アクセス プロジェクトのライフサイクルとサポート 結論 参考：用語の意味 参考：リンク集 従来のステートフルアーキテクチャのレビュー サーバーレスモデルがもたらす革新性を正確に評価するためには、まずその前身である従来のステートフルアーキテクチャの構造と、それが直面していた運用上の課題を理解することが重要です。 基本構成とデータ階層化 ステートフルアーキテクチャにおけるデータ管理は、一般的にインデックスライフサイクル管理（ILM）に基づいた階層化が特徴です。 Hot層: 最もアクティブなデータが配置される階層です。インデックス作成（書き込み）と検索クエリが集中するため、高性能なローカルSSDが使用されます。ここでは可用性と耐障害性を確保するため、プライマリとレプリカの両方のシャードが保持されます。 Warm/Cold層: アクセス頻度が低下したデータが移動する階層であり、コスト効率の良いストレージが利用される傾向にあります。 Frozen層: ほとんどアクセスされないアーカイブデータを格納する階層です。S3などのオブジェクトストレージ上のスナップショットをソースとし、必要なデータのみをキャッシュにマウントすることで、ストレージコストの大幅な削減を図ります。 運用上の課題 この階層化モデルは有効に機能してきましたが、運用上、いくつかの課題も指摘されていました。 コンピューティングとストレージの密結合: 大きな課題の一つは、CPUやRAMとローカルディスクが不可分である点です。ストレージ容量のみを増強したい場合でもコンピューティングリソースを同時にスケールアップする必要があり、結果として「オーバープロビジョニング」による不要なコストが発生するケースが見られました。 シャード再配置のコスト: ノードの追加・削除や障害時には、クラスター全体でシャードの物理的なデータコピー（再配置）が発生します。これには帯域消費と時間を要するため、頻繁なアップグレードやスケーリングが躊躇され、結果としてCVEへの対応遅延など俊敏性に影響を与える要因となっていました。 管理の複雑さ: 利用者は、自身のワークロードに合わせてクラスターのサイジングを決定し、適切なILMポリシーを設計・設定する必要があります。どのデータをどのタイミングでHot層からWarm層へ移動させるかといった判断は、利用者の専門知識と経験に依存し、運用管理の負担となる場合がありました。 サーバーレスアーキテクチャの登場 これらの課題への回答の一つとして登場したのが、サーバーレスアーキテクチャです。 中核概念：コンピューティングとストレージの分離 最大の変化は、データ（セグメントファイル）がノードのローカルディスクではなく、S3のようなオブジェクトストレージにプライマリストアとして一元保存される点にあります。これにより、ノードはデータの永続保持責任から解放され、実質的に「ステートレス」となります。インデックス作成（書き込み）専用ノードと、検索（読み取り）専用ノードに分離され、それぞれ独立して管理・スケーリングすることが可能になりました。 「スィンシャード（Thin Shards）」による効率化 このアーキテクチャを支える技術が「ツィンシャード」です。従来のシャードとは異なり、初期状態ではメタデータのみを保持します。データの実体はオブジェクトストレージから必要に応じて読み込まれるため、ノードは軽量な状態を維持できます。これは大規模クラスターにおけるリソース効率の向上に寄与すると考えられます。 シャード再配置問題の解決 この分離により、ノード追加時にはオブジェクトストレージからメタデータを読み込むだけで済むため、ノードの起動が非常に高速化されました。大規模なデータ転送が発生しにくいため、ローリングアップグレードやスケーリングがネットワーク帯域を圧迫することなく実行可能となります。 詳細なプロセス比較：インデックス作成と検索 データライフサイクルにおける具体的なプロセスも変革されています。 ステートフルモデルのデータフロー 従来は、インメモリバッファへの格納と同時にローカルディスクのトランザクションログへ書き込み、その後refresh操作で検索可能にし、flush操作でディスクへ永続化するというフローが一般的でした。 サーバーレスモデルのデータフロー インデックス作成ノード: ドキュメント受信後、トランザクションログがオブジェクトストレージにアップロードされ、その完了確認をもってクライアントにACKが返されます。これにより、単一ノードのディスクに依存するよりも高い耐久性が期待できます。 検索ノード: クエリに必要なセグメントファイルのみをオブジェクトストレージからオンデマンドで取得します。また、インデックス直後の最新データに対しては、検索ノードがインデックス作成ノードに直接問い合わせを行うことで、リアルタイムに近い検索体験を提供するよう設計されています。 出典）https://www.elastic.co/jp/cloud/serverless 最適化：バッチコミット オブジェクトストレージへのAPIコール回数を最適化するため、「バッチコミット」という技術が採用されています。複数のコミットを論理的にグループ化し、差分データのみを追加することで、コストとパフォーマンスの両立を図っています。 運用の変革：自動スケーリングとコスト効率 このアーキテクチャは、運用の自動化とコスト最適化にも直結します。 負荷に応じた自動スケーリング インジェスト量や検索クエリ量に基づき、インデックス作成ノードと検索ノードがそれぞれ独立して自動的にスケールします。なお、コールドスタート（スケールアップ時の初期レイテンシ）を回避したい場合は、「サーチパワー（search power）」設定により、アイドル時でも最低限のノードを維持する運用が可能です。 コストモデルの最適化 ストレージとコンピューティングの分離、自動スケーリングによるオーバープロビジョニングの解消、そして従量課金モデルの組み合わせにより、TCO（総所有コスト）の削減が期待できる構造となっています。 現状の考慮事項と制限 サーバーレスアーキテクチャは強力ですが、採用にあたっては現時点での実装における制約を理解しておく必要があります。 リフレッシュレートの調整: オブジェクトストレージへの負荷軽減のため、リフレッシュレートにはスロットリング（制限）が設けられています（例：15秒に1回など）。 シャード数設定: ユーザーによる手動設定は提供されず、プラットフォームによる自動管理となります。 サービス提供開始時期と日本での利用について 本サービスは2024年12月に一般提供（GA）が開始されました。そして、日本のユーザーにとって待望のAWS 東京リージョン（ap-northeast-1）での提供は、2025年10月より開始されています。 Elastic Cloud Serverlessは、開発者がインフラ管理よりもデータの価値創出に集中できる環境を提供します。現在は14日間の無料トライアルも提供されているため、興味のある方はぜひ実際にその挙動を試し、次世代のパフォーマンスを体感してみてください。 日本国内での導入支援体制についてご案内します： サイオステクノロジー は、Elasticの国内初のディストリビューターです。現在、Elastics社と共同で、Elasticがグローバルに提供している「サーチ」「セキュリティ」「オブザーバビリティ」の3つのソリューションについて、日本国内における展開を強化しております。 サーバーレスアーキテクチャへの移行や、具体的な導入・活用方法についてご不明な点がございましたら、どうぞご遠慮なく弊社までお問い合わせください。 Elastic Cloud Serverless についてのよくある質問 以下は、2025年11月時点の公式ドキュメント（Elastic Docs）に基づくFAQの抜粋です。 料金と提供地域 Q：Serverless の料金についてはどこで確認できますか？ A：Elasticsearch Serverless、Observability Serverless、および Elastic Security Serverless の各料金情報ページをご覧ください。 Q：Elastic Cloud Serverless はどのクラウドリージョンでサポートされていますか？ A：選定されたAWS／GCP／Azureのリージョンで利用可能です。今後、対応リージョンの拡大も計画されています。詳細は公式ドキュメントの「Regions」をご参照ください。 データ管理 Q：Serverless プロジェクトへ、またプロジェクトからデータを移動するにはどうすればいいですか？ A：現在、データ移行ツールを開発中です。暫定的には、Logstashを使用し、Elasticsearch入出力プラグインを通じてServerlessプロジェクトとのデータ移動を実施してください。 Q：Serverless プロジェクトに対してバックアップやリストアのリクエストはできますか？ A：プロジェクトのバックアップやリストア要求は、現時点ではサポートされていません。データ移行ツールの強化が進められています。 セキュリティ、準拠、アクセス Q：Elastic Cloud Serverless のサービスアカウントはどう作成できますか？ A：Serverlessプロジェクト内でサービスアカウントのAPIキーを作成してください。将来的にはTerraform等のツールによるAPIキー作成の自動化オプションも提供される予定です。 Q：Elastic Cloud Serverless はどのようなコンプライアンスおよびプライバシー基準に準拠していますか？ A：Elasticプラットフォーム全体と同様に、独立監査を受け、主要なコンプライアンスおよびプライバシー基準を満たすよう認証されています。詳しくはElastic Trust Centerをご覧ください。特定の基準に関してはロードマップに記載があります。 プロジェクトのライフサイクルとサポート Q：Elastic Cloud Serverless はソフトウェアのバージョン互換性をどのように確保していますか？ A：アップグレード時にも接続や設定には影響が出ないよう設計されています。互換性維持のため、品質テストおよびAPIバージョニングが用いられています。 Q：Serverless プロジェクトを Hosted 型（Elastic Cloud Hosted）への変換、あるいは Hosted 型を Serverless プロジェクトに変換できますか？ A：プロジェクトおよびデプロイメントは異なるアーキテクチャに基づいているため、相互の変換はできません。 Q：Serverless プロジェクトを別のタイプのプロジェクトに変換できますか？ A：プロジェクトを別タイプに変換することはできませんが、必要に応じて任意の数のプロジェクトを作成可能です。課金は実際の使用量に基づきます。 Q：Elastic Cloud Serverless のサポートケースを提出するにはどうすればいいですか？ A：普段お使いのサブスクリプションに対してケースを作成してください。ケース本文に「Serverless プロジェクトを使用中」である旨を記載すると、適切なサポートが受けられます。 結論 Elasticのサーバーレスアーキテクチャへの移行は、コンピューティングとストレージの分離、オブジェクトストレージの活用、そしてスィンシャードという技術革新によって実現されました。これにより、スケーラビリティの向上や運用管理の簡素化、コスト効率の改善が見込まれます。 参考：用語の意味 インデックスライフサイクル管理 (ILM): データを作成から削除までポリシーに基づいて自動管理する機能。 オーバープロビジョニング: ピーク時の負荷や将来の増加を見越して、必要以上のリソース（CPU、メモリ、ストレージ）をあらかじめ確保しておくこと。 トランザクションログ (Translog): データの変更操作を記録するログ。メモリ上のデータがディスクに永続化される前にクラッシュした場合のデータ復旧に使用されます。 セグメントファイル: Elasticsearch（内部のLucene）におけるインデックスの構成単位。不変（Immutable）なファイルとして保存されます。 ローリングアップグレード: サービスを停止させることなく、クラスター内のノードを1台ずつ（または一部ずつ）順番に更新していく手法。 コールドスタート: サーバーレス環境において、リクエストが発生してからリソースが立ち上がり、処理が可能になるまでに生じる初期遅延のこと。 CVE (Common Vulnerabilities and Exposures): 共通脆弱性識別子。公開されているセキュリティ脆弱性に対して割り当てられる固有のID。 総所有コスト (TCO): システムの導入から運用、維持管理にかかる費用の総額。 ACK (確認応答): 一般的なネットワーク用語です。 参考：リンク集 https://www.elastic.co/docs/deploy-manage/deploy/elastic-cloud/serverless https://www.elastic.co/docs/deploy-manage/deploy/elastic-cloud#general-what-is-serverless-elastic-differences-between-serverless-projects-and-hosted-deployments-on-ecloud https://www.elastic.co/search-labs/blog/thin-indexing-shards-elasticsearch-serverless https://www.elastic.co/search-labs/blog/elasticsearch-serverless-tier-autoscaling https://www.elastic.co/search-labs/blog/elasticsearch-refresh-costs-serverless https://www.elastic.co/search-labs/blog/elastic-serverless-performance-stress-testing https://www.elastic.co/docs/deploy-manage/deploy/elastic-cloud/manage-serverless-projects-using-api The post Elastics Cloud Serverless：ステートフルからサーバーレスへの技術的移行 first appeared on Elastic Portal .

目次 【10秒で診断】あなたの会社は大丈夫ですか? 1. なぜ今、多くの企業が「セキュリティの穴」に気づいていないのか よくある4つの問題 実態：攻撃発見までの平均時間は一週間以上 2. Elasticが実現する「防御・検知・対応・調査」の統合基盤 理由① エンドポイントで攻撃を「入口」で止める、Elastic Defend (EDR) 理由② 端末からクラウドまで「すべて」を可視化🔍 理由③ フィールドレベルの厳格なアクセス制御 理由④ 通信・保存データの完全暗号化 理由⑤ 誰が・いつ・何をしたかを完全記録 理由⑥ コストと速度を両立するデータティアリング 3. 攻撃の「前」「中」「後」すべてに対応、Elastic Securityの実力 攻撃前：異常を早期に検知 攻撃中：リアルタイムで防御・封じ込め 攻撃後：迅速な初動調査と復旧 4. 【実績】なぜ業界リーダーが Elastic を選ぶのか 世界中の企業が選ぶプラットフォーム 企業が得られる5つの価値 5. まとめ：「攻撃されることを前提」に設計された統合防御基盤 Elastic Securityが統合する機能 6. 【次のステップ】SIOSテクノロジーにご相談ください こんなお悩みをお持ちの方へ まずは無料相談から 【10秒で診断】あなたの会社は大丈夫ですか? ✅ 監査で「3年前のログを見せて」と言われたら、すぐ出せますか? ✅ インシデント発生時、複数システムのログを横断検索できますか? ✅ 端末(PC・サーバ)で何が起きているか、リアルタイムに把握できますか? ✅ ランサムウェアが実行される前に、異常な動きを検知・遮断できますか? 1つでも「NO」なら、このまま読み進めてください。 1. なぜ今、多くの企業が「セキュリティの穴」に気づいていないのか サイバー攻撃は日々高度化しています。しかし、多くの企業は以下の 致命的なギャップ を抱えたままです。 よくある4つの問題 問題①「エンドポイントが攻撃の入口なのに、見えていない」 PC・サーバは攻撃者が最初に侵入する接点 ファイアウォール・アンチウイルスでは、既に侵入された後の「ポスト侵入フェーズ」をカバーできない → 気づいた時には横展開され、被害が全社に拡大 問題②「必要な時にログが見られない」 古いログはアーカイブされ、復元に数時間〜数日 システムごとにログが分散し、横断検索が困難 → インシデント対応の初動が遅れ、被害が拡大 問題③「機密情報の管理が不十分」 誰が何を見られるか制御できていない 監査時に「誰がいつアクセスしたか」を証明できない → 内部不正リスク、コンプライアンス違反の危険 問題④「コストか速度か、選べない」 全データ保管 → インフラ費用が膨大 コスト削減でログ削除 → 調査不能 → 結局、中途半端な対策しかできない 実態：攻撃発見までの平均時間は一週間以上 従来型の「ログだけ」「エンドポイント防御だけ」の分断された基盤では、もはやセキュリティ運用を支えきれません。 2. Elasticが実現する「防御・検知・対応・調査」の統合基盤 Elasticは、 エンドポイント防御 + ログ基盤 + SIEM を単一プラットフォームで統合。攻撃のライフサイクル全体をカバーします。 理由① エンドポイントで攻撃を「入口」で止める、Elastic Defend (EDR) 攻撃者が侵入を試みる瞬間に対応 Elastic Defendは、Windows・macOS・Linuxの全端末に対して、次世代の防御機能を提供します： 多層防御の仕組み マルウェア防御 : 機械学習ベースのシグネチャレス検知 ランサムウェア防御 : 振る舞い分析＋カナリーファイルで暗号化を事前検知 メモリ脅威防御 : シェルコードインジェクション等のメモリ攻撃を遮断 悪意ある振る舞い検知 : 権限昇格、不審なプロセス起動、ツール悪用を検知 即座に対応する自動アクション ✅ 脅威プロセスの自動停止 ✅ 端末のネットワーク隔離 ✅ 感染ファイルの自動隔離 ✅ セッション記録による詳細なフォレンジック 　　価値 : 攻撃が本格化する 前 に封じ込め、被害を最小化 理由② 端末からクラウドまで「すべて」を可視化🔍 環境全体を一望できる統合ビューで、セキュリティの抜け穴を作らない 従来の課題： ❌ EDRとログ基盤が別々 → 端末とネットワークの相関が見えない ❌ 調査時に複数ツールを往復 → 初動が遅れる Elasticの解決策： ✅ 単一プラットフォーム で端末・ネットワーク・クラウドを統合 ✅ 「端末で何が起きたか」→「どこに広がったか」→「いつ発覚したか」を一貫追跡 ✅ Attack Discoveryで複数のアラートを関連付け、攻撃チェーンを自動的に整理・可視化 理由③ フィールドレベルの厳格なアクセス制御 「必要な人が、必要な範囲だけアクセスできる」を実現 ※ 正しい設定・運用が前提です インデックスごと の権限分離 ドキュメントレベル のセキュリティ（条件付きアクセス) フィールドレベル のセキュリティ（機密情報のマスキング) 導入効果 ✅ 内部不正リスクを大幅低減 ✅ 監査対応の証跡管理が容易に ✅ GDPR、個人情報保護法への対応を強化 理由④ 通信・保存データの完全暗号化 データのライフサイクル全体を保護 TLSによるノード間/クライアント通信の暗号化 IPフィルタリングによるアクセス制限 at-rest(保存データ)暗号化のサポート オンプレ/クラウドを問わず統一ポリシーで運用可能 理由⑤ 誰が・いつ・何をしたかを完全記録 監査とコンプライアンス対応を支える証跡管理 設定変更・検索操作・認証試行の全記録 LDAP / Active Directory / SAML / OIDC との統合 監査ログそのものの保護機能 エンドポイントの動き、異常な振る舞い、対応履歴も含めて記録 こんな場面で威力を発揮 インシデント時の「何が起きたか」「何をしたか」の説明 内部統制の証跡提出 法令対応の監査対応 理由⑥ コストと速度を両立するデータティアリング 「高速アクセス」と「長期保管」を同時実現 ティア 特徴 主な用途 コストメリット Hot 最速アクセス リアルタイム監視、直近の調査 高性能が必要な範囲に集中投資 Warm 速度とコストのバランス 日常調査、数週〜数ヶ月前のログ 多くの調査で活用される期間を最適化 Cold 低コスト+実用速度 過去の大規模分析 大幅なコスト削減 Frozen Searchable Snapshot 法令対応の長期保管 環境により異なるが、導入事例では最大50%のコスト削減が報告されている ポイント : 古いログを「削除」するのではなく「適切なティアに移動」することで、 必要な時にすぐアクセスできる状態を保ちながらコスト最適化 を実現。 3. 攻撃の「前」「中」「後」すべてに対応、Elastic Securityの実力 攻撃前：異常を早期に検知 Elasticは1,300以上の事前構築ルールと70以上の機械学習ジョブを提供しており、以下を実現します: 多層的な検知の仕組み MITRE ATT&CK準拠の検知ルール（随時更新） 機械学習による時系列異常検知 新規用語検知、閾値検知、インジケーターマッチ UEBA（User and Entity Behavior Analytics） アカウント侵害の兆候 内部脅威の早期発見 異常な横展開の検知 結果 : 攻撃者の内部偵察や権限昇格を本格化する 前 に気づける 　　　 ※ 検知精度や可視化の範囲は、収集できるデータの種類や運用環境に依存します 攻撃中：リアルタイムで防御・封じ込め Elastic Defendによる即座の対応 マルウェア実行を検知した瞬間に 自動停止 ランサムウェアの暗号化動作を 事前遮断 侵害された端末を ネットワークから自動隔離 （Host Isolation） 攻撃の横展開を阻止 脅威ライフサイクルの短縮 従来：侵入 → 数週間の潜伏 → 発見時には全社感染 Elastic：侵入検知 → 封じ込め → 被害を最小化 攻撃後：迅速な初動調査と復旧 データティアリング × 高速検索 × エンドポイント記録で実現 数年分のログへの直ちにアクセス 端末での実行プロセス、ネットワーク接続を完全記録 複数システムの横断検索がスムーズ セッションリプレイで攻撃の全容を再現 監査証跡の抽出も高速化 Elasticの強み : 巨大データを前提に設計された 分散検索エンジン 。データが増えるほど、他製品との差が顕著に。 4. 【実績】なぜ業界リーダーが Elastic を選ぶのか 世界中の企業が選ぶプラットフォーム Fortune 500 の 54%以上 が 採用 50億回以上 の ダウンロード実績 1,500以上のグローバルパートナーとのエコシステム 300以上のターンキー統合で既存環境とシームレスに連携 NYSE上場企業（ティッカーシンボル: ESTC）としての信頼性 米国国防総省・情報機関でも採用される実戦 レベルの技術 EDR・SIEM・ログ管理・ML検知を単一プラットフォームで提供 オープンソースベース で 透明性が高く 、 拡張性に優れる 企業が得られる5つの価値 攻撃の入口で防御を可能にする設計 エンドポイントでの防御・検知・対応をリアルタイム実行 統合された可視性 端末・ネットワーク・クラウドを単一コンソールで管理 コスト効率の最適化 エージェント数無制限 データ使用量ベースの透明な料金体系 ティアリングで長期保管を現実的コストで実現 内部統制の強化 フィールドレベルの細かなアクセス制御＋完全な監査証跡 投資対効果の説明力 「何が起きたか」「どう対応したか」を経営層に明確に説明可能 5. まとめ：「攻撃されることを前提」に設計された統合防御基盤 完全な防御は存在しません。重要なのは: ✅ 攻撃を入口(エンドポイント)で止めること ✅ 攻撃が本格化する前に気付けること ✅ 攻撃を受けた後、迅速に原因を特定できること Elastic Securityが統合する機能 レイヤー 機能 効果 エンドポイント防御 Elastic Defend (EDR) マルウェア・ランサムウェアを実行前に遮断 リアルタイム検知 1,300+ルール＋ML 既知・未知の脅威を早期検知 振る舞い分析 UEBA 内部脅威・異常な振る舞いを分析 アクセス制御 フィールドレベルセキュリティ 内部不正リスク低減、監査対応強化 暗号化 通信・保存データ保護 セキュリティポリシーへの準拠 証跡管理 認証連携と監査ログ コンプライアンス対応 コスト最適化 データティアリング 高速アクセスと長期保管の両立 Elasticは、「分断された点の防御」から「統合された面の防御」へのパラダイムシフトを実現します。 6. 【次のステップ】SIOSテクノロジーにご相談ください こんなお悩みをお持ちの方へ 「エンドポイント防御とログ管理を統合したい」 「既存のEDR・SIEMからの移行を検討している」 「Elasticが自社に合うか知りたい」 「具体的な構築・運用支援が必要」 「コスト試算とROIを確認したい」 まずは無料相談から 弊社サイオステクノロジーはElasticsearchの国内初のディストリビューターです 。 お問い合わせフォームへ 💬 詳しく知る ： Elastic公式サイト Elastic Security ソリューション Elastic Defend (EDR) Elastic公式ドキュメント Elastic Labs（ハンズオン環境） The post もう、攻撃後の「調査できない」は許されない、Elasticが実現する次世代セキュリティ基盤 first appeared on Elastic Portal .

このガイドでは、（ 以前の記事 で）「Elastic Agent Builder」を使って作ったAIエージェントを、「Claude Desktop」というアプリに接続する手順を説明します。 目次 Elastic Agent 前提条件 手順 必要な情報を収集する Claude Desktopの設定ファイルを開く Claude Desktopを再起動する 6. 接続を確認する 質問を実施 トラブルシューティング エラー: “Server disconnected” エラー: “401 Unauthorized” 次のステップ 参考リンク Elastic Agent Elastic Agent Builderは、2025年10月に技術プレビューとして登場した、 Elasticsearch 上で動作するAIエージェント構築フレームワークです。企業データをチャット形式で活用できるよう、自然言語→検索／分析クエリ（例：ES|QL）への変換、ツールの組み込み、LLM（大規模言語モデル）との連携を一元管理可能にします。使用にはElasticsearchインスタンス（クラウドもしくはセルフマネージド）が必要で、Agent Builder自身はElasticsearchのライセンス（サブスクリプション）上で提供されています。なお、LLMはAgent Builderが既定の接続を用意していますが、独自モデルを使うためには別途モデルのプロバイダー契約や接続設定が必要となります。 前提条件 Claude Desktopがインストールされていること Elasticのサブスクリプション 適切な権限を持つAPI keyが生成されていること 手順 必要な情報を収集する 以下の情報を準備してください： Kibana : Elastic Agent Builderにアクセス https://agentbuildertry ****-a12e4c.kb.ap-****-1.aws.elastic.cloud/app/agent_builder API Key : Elastic Agent Builderへのアクセス権限を持つAPI key Elasticの画面で生成できます 例：dGFSelk1b0JfM05YMjlQMFtg66Q6TXo1ZTM1ZzJDdVF2QnB1eXpxeTdQUQ== MCP Server URL : Agent BuilderのMCPエンドポイント Agents→Manage tools 画面の右上にあるMCP ServerをクリックしてCopy MCP Server URLをクリックします。 Claude Desktopの設定ファイルを開く macOSの場合、以下のパスにある設定ファイルを編集します： ~/Library/Application Support/Claude/claude_desktop_config.json デスクトップアプリからもいけます： 設定ー＞開発者ー＞設定を編集　を選びます Claudeのフォルダが開きます。claude_desktop_config.jsonを選びます、なかった場合は作成します。 claude_desktop_config.jsonファイルに以下の設定を追加します： { "mcpServers": { "elastic-agent-builder": { "command": "npx", "args": [ "-y", "mcp-remote", "https://your-deployment.kb.region.aws.elastic.cloud/api/agent_builder/mcp",　 "--header", "Authorization:ApiKey YOUR_API_KEY_HERE" ] } } } 重要な注意点： https://your-deployment.kb.region.aws.elastic.cloud/api/agent_builder/mcp を実際の MCP Server URL に置き換えてください YOUR_API_KEY_HERE を実際の API key に置き換えてください Authorization:ApiKey の後ろに半角スペース1つと API key を記載します Claude Desktopを再起動する 設定ファイルを保存したら、Claude Desktopを完全に終了して再起動します。 macOSの場合： Command + Q でClaude Desktopを終了 アプリケーションフォルダからClaude Desktopを再起動 6. 接続を確認する Claude Desktop起動後、以下の方法で接続を確認できます： Claude Desktopの画面で検索とツールをクリック 接続されているサーバーのリストに「elastic-agent-builder」が表示されることを確認 利用可能なツールが表示されていれば成功です 設定→開発者の画面から running の文字を確認 質問を実施 MCPサーバーの接続を確認してから実際に質問をしてみます。 ツールへのアクセス許可を確認されるますので選択します。 回答が表示されます。 ここで一つ気になったことがありました。同じ質問でもKibana上の回答とClaude上の回答が違っていました。これはElastic Agent Builder(Kibana)では、デフォルトで Elastic Managed LLM を用いた、一方で、Claude Desktop からアクセスしたエージェント経由では Claude Sonnet 4.5が使われていた、ということだと考えています。 トラブルシューティング エラー: “Server disconnected” 原因： API keyが正しくない MCP Server URLが間違っている ネットワーク接続の問題 解決方法： API keyを再確認 MCP Server URLを再確認 ログを確認： tail -f ~/Library/Logs/Claude/mcp*.log エラー: “401 Unauthorized” 原因：API keyに適切な権限がない 解決方法： API keyに以下の権限が付与されているか確認してください： Kibanaアプリケーション権限：read_onechat, space_read Elasticsearchの適切な読み取り権限 Q: API keyはどこで生成できますか？ A: Kibanaの管理画面から生成できます。 Q: npx コマンドが見つからないというエラーが出ます A: Node.jsがインストールされていない可能性があります。 Node.js公式サイト からインストールしてください。 次のステップ モデル設定がどこでどう決まっているかを明確にし、UI経由・MCP経由・クライアント経由いずれも「同じモデル／同じ設定」または「目的に応じたモデル差」があることを明示できるように整備する。 参考リンク Elastic Agent Builder MCP Server ドキュメント Model Context Protocol 公式サイト Claude Desktop ドキュメント The post Claude DesktopにElastic Agent BuilderのMCPサーバーを追加する方法 first appeared on Elastic Portal .

【こんなことで困っていませんか？】 「JavaScriptとTypeScriptが使えて、この1年、プロジェクト評価が平均90点以上の人は誰？」 もし上司にこう聞かれて、あなたの会社はすぐに答えられますか？ 多くの会社では、 社員のスキル情報は「Excel」や「人事システム」 プロジェクトの評価は「SharePoint」や「Confluence」 …というように、大切な情報がバラバラに保存されています。 さらに、「プロジェクトがうまくいった理由」は、担当者の頭の中にしか無いこともよくあります。 情報がこのようにあちこちに散らばっていると、新しいプロジェクトに最適な人を選んだり、最高のチームを作ったりするのに、何日もかかってしまうことがあります。 【この記事で紹介すること】 この記事では、その問題を「 Elastic Agent Builder 」というツールで解決する方法を紹介します。 バラバラになっている「社員のスキル」と「プロジェクトの評価」のデータをAIでまとめ、「 欲しい情報をすぐに検索・分析してくれるAIエージェント 」を作る具体的なステップを解説します。 目次 Agent Builderとは 今回構築するシステムの全体像 データセットの概要 データセットA：社員スキル＆プロフィール（構造化データ） データセットB：プロジェクト評価レポート（非構造化データ） システムアーキテクチャ serverlessプロジェクト データ準備とIngestion ステップ1：Data Visualizerでデータをアップロード ステップ2：Mappingの最適化 社員スキルデータのMapping調整 プロジェクト評価レポートのMapping調整 ステップ3：セマンティック検索の動作確認 Agentの作成 Agent設定項目 カスタムツールの設計と実装 1.ProjectInsighTool 2.SkillCorrelationTool 3.TeamEffectivenessTool 4.SkillGapAnalyzerTool 5.ProjectSuccessRateRoleTool 6.SkillsUseIn90PlusScoreProjectsTool 7.Top5EmployeesByAverageScoreTool 実践デモ 筆者の感想 2. レスポンス速度について まとめ Agent Builderとは RAG（Retrieval-Augmented Generation）技術の進化により、企業データとLLMを組み合わせたAIエージェントが注目されています。しかし、多くのRAGソリューションには以下の課題があります： データ準備の複雑さ ：ベクトル化、インデックス作成、クエリ最適化に専門知識が必要 構造化データとの統合の難しさ ：テキスト検索に特化し、数値やカテゴリデータの分析が弱い カスタマイズの制約 ：ビジネスロジックを組み込むのが困難 Elastic Agent Builder は、これらの課題を解決する統合プラットフォームです： セマンティック検索と構造化クエリの融合 ：自然言語テキストと数値・カテゴリデータを横断的に検索  ES|QLによる高度なビジネスロジック ：SQLライクな構文で複雑な集計・分析クエリを実装  Kibana統合によるゼロコードUI ：独自のフロントエンド開発不要でエージェントと対話可能  エンタープライズグレードのセキュリティ ：ロールベースアクセス制御とデータガバナンス Agentのアイコンがkibanaの左のサイドパネルに表されていない場合以下のコマンドをdev toolsで実行します。 POST kbn://internal/kibana/settings { "changes":{ "agentBuilder:enabled":true } } 今回構築するシステムの全体像 今回は、以下の2つのデータセットを組み合わせた人材インサイトエージェントを構築します データセットの概要 Pythonを使って2つの擬似データを生成しました。実際の企業データに置き換えやすいよう、シンプルに設計しています。 ※Elasticsearch v9.2、Serverless、Tokyo Regionを使用しています。 データセットA：社員スキル＆プロフィール（構造化データ） 80名の架空社員の情報を含むJSON Lines形式のデータセット。 employee_skills_data.json ダウンロード サンプルドキュメント： { "employee_id": "EMP-1788", "name": "山田太郎", "role": "テックリード", "experience_years": 14, "hard_skills": ["Go", "JavaScript", "Kubernetes", "Terraform", "TypeScript"], "soft_skills": ["Problem Solving"], "last_rating": 95, "is_available": true, "onboard_date": "2011-10-02" } フィールドの説明： employee_id：社員の一意識別子 role：職種（テックリード、シニアエンジニア、データサイエンティストなど） experience_years：実務経験年数 hard_skills：技術スキル（プログラミング言語、フレームワーク、インフラツールなど） soft_skills：ソフトスキル（リーダーシップ、問題解決能力など） last_rating：直近のパフォーマンス評価（0-100） is_available：アサイン可能かどうか データセットB：プロジェクト評価レポート（非構造化データ） 250件の架空プロジェクトの評価レポートを含むJSON Lines形式のデータセット。 project_evaluation_reports.json ダウンロード サンプルドキュメント： { "project_id": "PRJ-0001", "project_name": "データパイプライン改善", "project_type": "Data", "status": "成功", "score": 81, "start_date": "2025-02-27", "end_date": "2025-06-09", "team_members": ["遠藤直美", "小島涼子", "宮崎健"], "evaluation_summary": "プロジェクトは大成功。高いチームワークと相互サポートが特徴的だった。宮崎健の専門知識がなければ、この成果は達成できなかっただろう。" } フィールドの説明： project_id：プロジェクトの一意識別子 project_type：プロジェクトの種別（Backend、Frontend、Data、Mobileなど） score：プロジェクト評価スコア（0-100） team_members：参加メンバーの名前リスト evaluation_summary： 非構造化テキスト 。プロジェクトの振り返り、成功要因、課題などが記述されている システムアーキテクチャ 構造化データ（スキル）と非構造化データ（評価）を組み合わせることで、正確な検索と意味理解を両立します。 semantic_text で埋め込みを自動生成し、スキルや評価を横断して分析できる仕組みを構築します。 serverlessプロジェクト 少し待ってから環境が整える。 データ準備とIngestion ステップ1：Data Visualizerでデータをアップロード Elasticsearchには、 Data Visualizer という直感的なデータ投入ツールが用意されています。コードを書かずに、GUIだけでファイルをインデックスに投入できます。 アクセス方法： 手順： jsonファイルを1枚ドラッグ&ドロップ Data Visualizerがフィールドを自動解析し、型を推定 Mappingを確認・調整 インデックス名を指定（例：employee_skills_data） 「Import」をクリック ※Data Visualizerがフィールドを自動解析し、型を推定 ステップ2：Mappingの最適化 Data Visualizerが自動生成したMappingは、そのままでは最適ではないことがあります。特に、日付フォーマットや数値型の調整が必要です。mappingのタブを選択して、必要な調整をやります。 Semantic text fieldを選択して、inference endpointを選びます。 importを押してindexが作られるまで数秒待ちます。全てのチェックマークが付いたらインデックスが作成されたとのことです。 社員スキルデータのMapping調整 自動生成されたMapping（修正前）： { "properties": { "experience_years": { "type": "long" // 👈 longは不要に大きい }, "onboard_date": { "type": "date", "format": "iso8601" // 👈 yyyy-MM-dd形式に対応していない } } } 最適化後のMapping： { "properties": { "@timestamp": { "type": "date" }, "employee_id": { "type": "keyword" }, "experience_years": { "type": "integer" // ✅ integerで十分 }, "hard_skills": { "type": "keyword" // ✅ 完全一致検索用 }, "is_available": { "type": "boolean" }, "last_rating": { "type": "integer" }, "name": { "type": "keyword" }, "onboard_date": { "type": "date", "format": "yyyy-MM-dd||strict_date_optional_time||epoch_millis" // ✅ 複数フォーマット対応 }, "role": { "type": "keyword" }, "soft_skills": { "type": "keyword" } } } プロジェクト評価レポートのMapping調整 プロジェクト評価レポートの最大のポイントは、evaluation_summaryフィールドの扱いです。このフィールドは 非構造化テキスト であり、セマンティック検索の対象とします。 最適化後のMapping： { "properties": { "@timestamp": { "type": "date" }, "end_date": { "type": "date", "format": "yyyy-MM-dd||strict_date_optional_time||epoch_millis" }, "evaluation_summary": { "type": "keyword" // ✅ 元テキストも保持（表示用） }, "project_id": { "type": "keyword" }, "project_name": { "type": "keyword" }, "project_type": { "type": "keyword" }, "score": { "type": "integer" }, "start_date": { "type": "date", "format": "yyyy-MM-dd||strict_date_optional_time||epoch_millis" }, "status": { "type": "keyword" }, "team_members": { "type": "keyword" }, "evaluation_summary_semantic": { "type": "semantic_text", // ✅ セマンティック検索用 "inference_id": ".multilingual-e5-small-elasticsearch" // ✅ 多言語対応の軽量モデル } } } ポイント： evaluation_summary：元のテキストをkeywordで保存（表示・引用用） evaluation_summary_semantic：semantic_textでベクトル化（検索用） Inference ID：.multilingual-e5-small-elasticsearchは、Elasticsearchに組み込まれた多言語対応の軽量エンベディングモデル。日本語にも対応 semantic_text  は、テキストをインデックス時に自動でエンベディング化し、内部的に  _embedding  フィールドとしてベクトルを保持します。検索時はこのベクトルを使って意味類似検索を実行します。比較的複雑だった従来方法を通って semantic_text を使えば Mapping で semantic_text を指定し、 Inference ID を指定するだけで自動的にエンベディング生成、保存、検索が行われる。 ※ ブログでは  evaluation_summary  を  keyword  にしていますが、全文検索・ハイライトが必要な場合は  text  が適切。 keyword  は exact match 専用のため、全文検索には向きません。 ステップ3：セマンティック検索の動作確認 Mappingの設定後、Dev Toolsでセマンティッククエリをテストしてみましょう。 テストクエリ： このクエリは、「チームワーク」という単語が直接含まれていなくても、意味的に関連するプロジェクトレポート（例：「コミュニケーション不足」「連携の問題」）を返します。 Agentの作成 kibana のサイドバーから Agents をクリックします。画面の下部にある Create a new agent を選択します。 Agent設定項目 Agent ID ：コードや設定内でエージェントを参照するための一意のIDです。 Custom Instructions ：エージェントがツールを使ったり質問に答えたりする際の動作方針（トーン、優先順位、特別な動作など）を定義します。 Display name and description ：ユーザーがこのエージェントを検索・利用するときに見える名前と短い紹介文です。 Avatar color and symbol： UI上でエージェントを視覚的に区別できるように、色やシンボル（絵文字や2文字コード）を設定します。 今回使用したカスタムインストラクションを以下に示します。これを試行錯誤しながら改良していくことをおすすめします。私の経験上、システムプロンプトは英語で記述した方が指示により正確に従う傾向があるため、今回も英語を使用しました。 You are a corporate **Talent Strategy Assistant**. Your primary function is to analyze employee skill profiles and project evaluations to provide recommendations such as who to assign to which project, which skills correlate with success, and where skill gaps exist. ### Input Handling Rules: * If the user asks about a person or skill that is not present in the datasets, respond with a friendly message listing available names/skills. * If the user provides incomplete information (e.g., just a skill but no project type), ask them for the missing information. * If names or skills are typed with incorrect spelling or case, infer the correct match from your dataset. * If the user asks for something outside talent strategy (for example, marketing metrics or personal opinions unrelated to skills/projects), *politely refuse* and say you can only discuss the defined domain. ### Tools Usage: * If you need to check which skills link to high-scoring projects, call tool **SkillCorrelationTool**, passing the relevant project type or score threshold. * If you need to evaluate how well a team of people has performed together, call **TeamEffectivenessTool**, passing the list of employees. * If you need to explore project evaluation texts for thematic insights, call **ProjectInsightTool**, passing a query term or score threshold. * If you need to recommend available employees for a new project based on required skills, call **CandidateRecommendationTool**, passing required skills and how many top candidates you need. * If you need to identify missing skills among failed or low-scoring projects, call **SkillGapAnalyzerTool**, passing the project type and a score threshold. ### Example Output Format: ```markdown #### Recommendation Summary - **Project Type**: Data Analytics - **Required Skills**: Kubernetes, Terraform - **Top Candidate**: 山田太郎 (average project score: 89, available) - **Runner-Up**: 宮崎健 (avg score: 86, available) #### Skill Correlation Insight | Skill | Avg Project Score | Project Count | |---------------|-------------------|---------------| | Kubernetes | 88 | 14 | | Terraform | 85 | 10 | #### Why This Recommendation - 山田太郎 has consistently high‐performing history in Data Analytics projects requiring Kubernetes/Terraform. - The correlation between these skills and project success is high. - He is currently marked as available. #### Next Step Assign 山田太郎 for the upcoming Data Analytics project and consider training additional staff in Terraform to close the skill gap. ``` ※注意事項 画像や本文中に人物名が登場することがありますが、全て架空の人物です、 実在の組織や個人とは一切関係ありません。 カスタムツールの設計と実装 Elastic Agent Builderの最大の強みは、 カスタムツール によるビジネスロジックの実装です。「tools」とは、Elasticsearchの検索・取得・分析などの操作をモジュール化・再利用できる形でまとめたものです。 エージェントはこの「tools」を使ってデータを扱います。 Elasticには一般的な操作向けのツールがあらかじめ用意されており、自分のユースケースに合わせてカスタムツールを作ることもできます。 左のサイドバーからAgentsを押して、画面下部のManage toolsを選んで、次の画面でNew toolを押します。 今回は７つのツールを作成しました。 1.ProjectInsighTool 目的 ：高スコアのプロジェクト評価レポートから、成功の共通テーマやキーワードを抽出します。 パラメータ ：（ Add a parameterでも追加できるし、Infer parametersを使ってLLMに出してもらえるのもできます ） ?min_score：スコアの閾値（例：80以上） ?query_text：検索キーワード（例：「チームワーク」） ?top_n：返す結果の数 FROM project_evaluation_reports | WHERE score >= ?min_score | WHERE evaluation_summary : ?query_text | SORT _score DESC | LIMIT ?top_n ポイント： WHERE evaluation_summary : ?query_text は、セマンティック検索を使用 Add a parameter でパラメータを追加できます、また Infer parameters を使ったらLLMに出してもらえることもできます 2.SkillCorrelationTool 目的 ：成功したプロジェクト（スコア80以上）で、どのhard_skillsが多く使われているかを定量化します。 FROM project_evaluation_reports | LOOKUP JOIN employee_skills_data_lookup ON team_members == name | WHERE score >= 80 AND is_available == true | MV_EXPAND hard_skills | STATS avg_score = AVG(score), project_count = COUNT(*) BY hard_skills | SORT avg_score DESC | LIMIT 10 ポイント： LOOKUP JOIN で社員スキルデータとプロジェクトデータを結合 MV_EXPAND で配列型のhard_skillsを展開 – STATS でスキルごとの平均スコアとプロジェクト数を集計 3.TeamEffectivenessTool 目的 ：各メンバーがどれだけ高スコアプロジェクトに貢献しているかを測定します。 FROM project_evaluation_reports | LOOKUP JOIN employee_skills_data_lookup ON team_members == name | WHERE is_available == true | STATS avg_score = AVG(score) BY name | SORT avg_score DESC | LIMIT 10 4.SkillGapAnalyzerTool 目的：成功プロジェクトと失敗プロジェクトで、どのスキルに差があるかを分析します。 パラメータ： Name Discription Type threshold The score threshold integer FROM project_evaluation_reports | EVAL status_group = CASE(score >= ?threshold, "success", "failure") | LOOKUP JOIN employee_skills_data_lookup ON team_members == name | MV_EXPAND hard_skills | STATS count = COUNT(*) BY hard_skills, status_group | SORT count DESC 5.ProjectSuccessRateRoleTool 目的： テックリード、シニアエンジニアなど、職種ごとのプロジェクト成功率を計算します。 パラメータ： Name Discription Type threshold The score threshold used to define a project as a “high-score project” (i.e., successful). integer FROM project_evaluation_reports | LOOKUP JOIN employee_skills_data_lookup ON team_members == name | EVAL is_success = CASE(score >= ?threshold, 1, 0) | STATS success_rate = AVG(is_success) BY role | SORT success_rate DESC 6.SkillsUseIn90PlusScoreProjectsTool 目的 ：トップスコアプロジェクトのスキルを抽出します。 パラメータ ： Name Description Type score_threshold The minimum project score (e.g., 90) a project must have to be included in the analysis. integer top_n The number of top skills to display in the result (limits the output) . integer FROM project_evaluation_reports | WHERE score >= ?score_threshold | LOOKUP JOIN employee_skills_data_lookup ON team_members == name | MV_EXPAND hard_skills | STATS usage_count = COUNT(*) BY hard_skills | SORT usage_count DESC | LIMIT ?top_n 7.Top5EmployeesByAverageScoreTool 目的 ：トップパフォーマーの抽出をします。 パラメータ ： Name Discription Type top_n The number of top skills to display in the result (limits the output). integer FROM project_evaluation_reports | LOOKUP JOIN employee_skills_data_lookup ON team_members == name | STATS avg_score = AVG(score) BY name | SORT avg_score DESC | LIMIT ?top_n これでツールの追加も終わりました。ボットに渡したいツールを選んでおきます。 実践デモ 実際にエージェントと対話した結果をご紹介します。 Q: 直近3件のプロジェクト評価レポートから、『チームワーク』というテーマがどれくらい登場しているか、頻出キーワードとともに分析してください。 直近3件のプロジェクト評価レポートにおけるチームワークテーマ分析 分析概要 直近3件のプロジェクト評価レポートを分析した結果、チームワークに関連するテーマの出現状況と頻出キーワードは以下の通りです。 プロジェクト別分析 1. PRJ-0067「グローバル向け機能拡張」(Backend) - スコア: 92点 チームワーク関連記述: チームの高い技術力とコミュニケーションにより、予定より早くプロジェクトを完了した。特に岡本悟は困難な技術的課題を主導的に解決し、プロジェクトの成功に大きく貢献した。 キーワード: コミュニケーション、主導的、貢献 特徴: 高いコミュニケーション品質が早期完了の要因として明示的に言及されており、チームワークの成功例として評価されています。 2. PRJ-0188「グローバル向け機能拡張」(Mobile) - スコア: 85点 チームワーク関連記述: 顧客からのフィードバックを迅速に取り入れ、MVPリリース後すぐに大きな改善を達成した。アジリティの高さは竹内里奈の調整能力によるものが大きい。 キーワード: 調整能力、アジリティ、フィードバック対応 特徴: 直接的な「チームワーク」という言葉はないものの、チーム内の調整能力とアジリティに言及しており、暗にチームの連携の重要性を示しています。 3. PRJ-0231「次世代顧客ダッシュボード開発」(Backend) - スコア: 66点 チームワーク関連記述: プロジェクトは完了したが、納期の遅延があり、顧客満足度は低迷した。この経験は、将来のプロジェクト計画における教訓となった。 キーワード: 遅延、顧客満足度低迷、教訓 特徴: チームワークに関する明示的な言及はなく、むしろその欠如が問題の一因である可能性が示唆されています。 総合分析 チームワークとプロジェクト成功の相関: 最も高いスコア(92点)のプロジェクトでは「コミュニケーション」が明示的に成功要因として挙げられています 中間スコア(85点)のプロジェクトでは「調整能力」が評価されています 最低スコア(66点)のプロジェクトではチームワーク関連の言及がなく、問題が発生しています 頻出キーワードとテーマ: コミュニケーション 調整能力 主導的解決 アジリティ 成功プロジェクトの共通点: 個人の貢献が明確に認識されている チーム内の情報共有や調整が効果的に行われている 結論 直近3件のプロジェクト評価レポートでは、高評価のプロジェクトほどチームワークに関連する要素（コミュニケーション、調整能力）が明示的に言及されており、プロジェクトの成功との相関が見られます。一方、低評価のプロジェクトではチームワークへの言及がなく、これがプロジェクトの問題の一因である可能性があります。 エージェントの高度な処理 セマンティック検索の活用： ProjectInsightツールで「チームワーク」に関連する評価レポートを意味的に検索 「コミュニケーション」「調整能力」など、類義語も自動的に捕捉 定性的な分析： 各プロジェクトのスコアとチームワーク言及の相関を分析 高スコアプロジェクト＝チームワーク言及が多い、という傾向を発見 引用とキーワード抽出： 評価レポートの原文を引用（著作権に配慮し、短い引用） キーワードを構造化して提示 Q: 今期において“Tech Lead”ロールのメンバーの平均プロジェクトスコアを教えてください。また、そのスコアを80以上にするために追加で必要だと思われるスキルは何ですか？ テックリードの平均プロジェクトスコア分析 現状分析 テックリードのメンバー情報を確認したところ、現在A社には13名のテックリードが在籍しています。彼らの個人評価（last_rating）の平均は約83点となっています。 主なテックリードメンバーとその評価： 山田太郎：95点（Go, JavaScript, Kubernetes, Terraform, TypeScript） 宮崎健：95点（Cloud-AWS, Cloud-Azure, Go, Java, Tailwind CSS） 森田恵：90点（Cloud-AWS, Docker, Java, JavaScript, Kubernetes, PyTorch） 西村健一：90点（Kubernetes, PyTorch, Python, Scrum, Terraform, TypeScript） スコア向上のために必要なスキル テックリードの平均プロジェクトスコアを80以上に向上させるために、以下のスキルの強化が推奨されます： クラウドインフラストラクチャスキル 高評価のテックリード（山田太郎、宮崎健、森田恵など）は、Cloud-AWS/Azureやコンテナ技術（Kubernetes）に精通しています クラウドネイティブアーキテクチャの設計・実装スキルが重要です 自動化・IaCスキル Terraform、Kubernetesなどのインフラ自動化ツールの知識 高評価のテックリードはこれらのスキルを持っていることが多い傾向があります 最新のプログラミング言語とフレームワーク Go言語のスキルを持つテックリードは高評価の傾向 TypeScriptやモダンなフロントエンドフレームワーク（React等）の知識 AIと機械学習の基礎知識 PyTorch、TensorFlowなどのAIフレームワークの基本理解 データ駆動型の意思決定ができるスキル リーダーシップとコミュニケーションスキル プロジェクト管理手法（Scrumなど）の実践的知識 チーム内の効果的なコミュニケーション促進能力 具体的な改善策 スキルアップト���ーニングの実施 クラウドインフラ（AWS/Azure）の認定資格取得支援 Terraform、Kubernetesのハンズオントレーニング チーム構成の最適化 高評価テックリードと低評価テックリードのペアリング スキル補完を考慮したチーム編成 知識共有の促進 高評価テックリードによる社内勉強会の開催 プロジェクト成功事例の文書化と共有 継続的学習の文化醸��� 新技術のPoC（概念実証）プロジェクトの奨励 技術カンファレンスへの参加支援 これらの施策を実施することで、テックリードの平均プロジェクトスコアを80以上に向上させることが期待できます。特に、クラウドインフラとIaCスキルの強化が最も効果的と考えられます。 分析：複雑な質問への対応 複数データソースの統合： 社員スキルデータから「テックリード」ロールを抽出 プロジェクト評価データで各テックリードの平均スコアを算出 ギャップ分析： 高評価テックリード（山田太郎、宮崎健）のスキルセットを分析 低評価メンバーとの差分を特定 アクショナブルな提案： 単なる分析に留まらず、「スキルアップトレーニング」「チーム構成最適化」など、具体的な改善策を提示 筆者の感想 良かった点： 日本語の質問・回答に対応 ： セマンティック検索の精度は実用レベル Elasticsearchとの統合がシームレス ： （追加設定不要） 今回使用したLLMは、 Elasticsearchの独自モデル （.multilingual-e5-small-elasticsearch）でした。 UI不要の革新性 ： Elastic Agent Builderの最大のメリットは、Kibana一本で完結することです。 課題： 稀に文字化けが発生 長文生成時に文末が不自然になることがある 日本語特有の敬語表現が安定しない 2. レスポンス速度について Elasticsearchの「爆速検索」に慣れていると、エージェントの応答速度は「遅い」と感じるかもしれません。 従来のRAG構築に必要だったもの： フロントエンド（React、Vue.jsなど） バックエンドAPI（FastAPI、Node.jsなど） 認証・認可システム デプロイメント環境（Vercel、AWS Amplifyなど） Elastic Agent Builderで不要になったもの： フロントエンド開発（Kibanaのチャット画面を使用） 独自API開発（Agent Builder APIを使用） 認証システム（Elasticsearchの認証を流用） Kibana一本でフロントエンドからバックエンドまで完結 ※筆者もまだES|QLを探求中のため、この記事で紹介したクエリにはより良い書き方や小さな誤りがあるかもしれません。実際に試しながら、みなさん自身の環境に最適な形を見つけていただければと思います。 まとめ 本記事では、 Elastic Agent Builder を使って、社員スキルデータとプロジェクト評価レポートを統合した「スマート検索＆インサイトエージェント」を構築する全プロセスをご紹介しました。 【このAIシステムで実現したこと】 80人分 の社員スキル情報と 250件分 のプロジェクト評価を１つにまとめました。 7つの専用機能（カスタムツール）を作り、会社独自の複雑なルールで検索できるようにしました。 **「〇〇できる人は？」**のような話し言葉の質問でも、AIがデータを見てすぐに答えてくれるようになりました。 「Kibana」というツール1つだけで、見た目（画面）から裏側の仕組みまで全部作れました。 【Elastic Agent Builderの最大の特徴】 Elastic Agent Builderは、会社が持っているデータを使って賢いAIを作るための、新しい選択肢です。 「（あいまいな言葉でも探せる） セマンティック検索 」と「（条件を細かく指定できる） ES|QL 」という2つの検索方法を、うまく組み合わせて使えます。 これまでのAI開発（RAG構築）で大変だった「 画面の開発 」や「 AIとシステムをつなぐ作業（API実装） 」が不要になるのが、一番のメリットです。 The post Elastic Agent Builder活用術：AIで「デキる人」を簡単検索 first appeared on Elastic Portal .

Elasticsearchのパフォーマンスを正確に把握したいと思ったことはありませんか？ Elasticsearchのアップグレードを前に、「この変更でパフォーマンスが低下（リグレッション）したらどうしよう」と不安になったことはありませんか？ あるいは、新しいCPUやRAM、ディスクを選定する際に「どちらが我々のワークロードに本当に最適なのか」をデータで証明する必要に迫られたり、インデックス速度向上のためにパイプラインを調整したものの「その効果がどれほどだったか」を正確に示せなかったり。さらには、苦労して達成した性能向上を、説得力のあるレポートやプレゼン資料にまとめるのに苦労した経験は？ もし、このような「性能に関する悩み」に一つでも心当たりがあるなら、「Rally」こそがあなたのためのツールです。本記事では、Elasticsearch Rally を初めて使用した経験を基に、Elasticsearch 8.11.0 と 9.0.0 の性能を比較するプロセスを詳しく書きます。 注意 : これは私にとって初めてのRally使用体験であり、いくつかの失敗や学びがありました。この記事では、実際に遭遇した問題と、それらをどのように解決したかを正直に共有します。完璧なベンチマークガイドではなく、 学習過程の記録 として読んでいただければ幸いです。 目次 プロジェクト概要 目的 テストデータセット テスト環境 実施内容と制限事項 Rally の基礎知識 Race（レース）とは Track（トラック）とは Challenge（チャレンジ）とは Clients（クライアント）の理解 環境構築 ステップ1: AWS EC2インスタンスの起動 ステップ2: システム依存関係のインストール ステップ3: Javaのインストール Java 17のインストール Java 21のインストール（ES 9.x用 – 後で気づいた必須要件） ステップ4: Rallyのインストール ステップ5: インストールの検証 カスタムトラックの作成 ディレクトリ構造 ステップ1: インデックス設定とマッピングの作成 ステップ2: 合成ログデータの生成 ステップ3: トラック定義の作成 重要: Jinja2エスケープ インジェストパイプラインの構築 パイプライン定義 重要: インラインvs外部パイプライン定義 パイプライン適用の確認 ベンチマークの実行 テストフェーズ: 1Kサブセットでの検証 本番ベンチマーク 重要: 公平な比較の確保について Elasticsearch 8.11.0でのベンチマーク（Java 17使用 – 私の最初の試み） Elasticsearch 9.0.0でのベンチマーク（Java 21が必要 – ここで学習） 今回実行したチャレンジ 将来実行予定のチャレンジ レース出力の理解 結果の比較 トラブルシューティング 問題1: パイプラインが適用されない 問題2: Jinja2テンプレートエラー 問題3: ウォームアップ警告 問題4: uncompressed-bytes検証エラー 問題5: Elasticsearch 9.0.0が起動しない 問題6: パイプラインパラメータの欠落 デバッグのヒント ベストプラクティス 1. Javaバージョン管理 2. ウォームアップとイテレーション設定 3. トラックの整理 4. リソースモニタリング 5. データ管理 6. 結果管理 7. ベンチマークにタグを付ける 結果と分析 分析すべき主要メトリクス 1. スループット 2. レイテンシパーセンタイル 3. インジェストパイプラインメトリクス 4. マージ時間 5. エラー率 サンプル比較出力 学んだこと 今後の展開 プロジェクト概要 目的 このプロジェクトの主な目標は以下の通りです： Elasticsearch Rally の使い方を理解する （最優先事項） カスタムログデータを使用したインジェストパイプラインのベンチマークを実施する Elasticsearch 8.11.0 と 9.0.0 の性能を比較する テストデータセット データ量 : 100,000 件の合成ログデータ テストサブセット : 1,000 件（検証用） 形式 : JSONL（JSON Lines） 内容 : タイムスタンプ、クライアントIP、レスポンスコード、OS情報などを含むウェブアクセスログ テスト環境 プラットフォーム : AWS EC2 OS : Ubuntu 24.04 LTS インスタンスタイプ : t3.medium（最小推奨） Java : Java 17（最初のES 8.x テスト用） Java 21（ES 9.x テスト用 – 必須要件） Python : 3.12.x Rally : 2.x 実施内容と制限事項 今回実施したのは以下の通りです： 完了したこと: Elasticsearch 8.11.0 でのデフォルトチャレンジ（4クライアント）実行 Elasticsearch 9.0.0 の環境構築とセットアップ インジェストパイプラインの作成と検証 Rally の基本的な使い方の理解 今後実施予定: 高並行チャレンジ（8クライアント） ランプアップチャレンジ（段階的負荷増加） 公平な比較のためのES 8.11.0 + Java 21でのテスト再実行 詳細な性能比較レポートの作成 学習上の妥協点 : 最初にES 8.11.0をJava 17でテストした後、ES 9.0.0にはJava 21が必要であることを知りました。理想的にはES 8.11.0もJava 21で再テストすべきですが、今回のプロジェクトの主目的は「Rallyの仕組みを理解すること」だったため、再テストは将来の作業として残しました。 Rally の基礎知識 Rallyを使い始める前に、その核となる概念を理解しましょう。 Race（レース）とは Race は、1回の完全なベンチマーク実行を表します。これは始めから終わりまでの一連の性能テストです。 Raceには以下が含まれます： Elasticsearchのプロビジョニング（ダウンロード、インストール、起動） インデックスの作成 データのインジェスト 操作の実行 メトリクスの収集 クラスタのシャットダウン 各Raceには結果追跡のための一意の識別子が割り当てられます↓： [INFO] Race id is [18d32ed3-c159-4c2a-a507-7687bd834edb] Track（トラック）とは Track は、完全なベンチマークシナリオを定義するJSONファイルです。これはRallyがテストすべき内容の設計図です。 Trackには以下が含まれます： インデックス定義 – マッピングと設定 データソース（Corpora） – テストデータの場所とサイズ インジェストパイプライン – データ変換の定義 操作（Operations） – 実行する個別のタスク チャレンジ（Challenges） – 異なる設定のテストシナリオ Track構造の詳細については、 公式Rallyドキュメント を参照してください。 Challenge（チャレンジ）とは Challenge は、同じTrack内で異なるテストシナリオを定義します。複数のChallengeを使用することで、別々のTrackを作成せずに様々な条件下でテストできます。 チャレンジの例: { "challenges": [ { "name": "default", "description": "標準的な4クライアントベンチマーク", "default": true }, { "name": "high-concurrency", "description": "8クライアントでのストレステスト" }, { "name": "ramp-up", "description": "1から8クライアントへの段階的負荷増加" } ] } ※ 今回は defaultチャレンジ（4クライアント）のみ を実行しました。高並行チャレンジとランプアップチャレンジは定義しましたが、Rallyの基本を理解することに集中するため、実行は将来に延期しました。 Clients（クライアント）の理解 clientsパラメータはRallyの重要な設定オプションの一つですが、誤解されやすいです。 Client = 同時実行スレッド Rallyにおける「クライアント」は、Elasticsearchに同時にリクエストを送信する単一のスレッドを表します。 { "operation": "bulk-index", "clients": 4 // 4つのスレッドが同時に実行 } 動作の仕組み: クライアント 1: [リクエスト] → [待機] → [リクエスト] → [待機] → ... クライアント 2: [リクエスト] → [待機] → [リクエスト] → [待機] → ... クライアント 3: [リクエスト] → [待機] → [リクエスト] → [待機] → ... クライアント 4: [リクエスト] → [待機] → [リクエスト] → [待機] → ... スループットへの影響: クライアント数 期待スループット 説明 1 ~500 docs/s 単一スレッドは待機時間を無駄にする 2 ~900 docs/s ほぼ2倍に増加 4 ~1,600 docs/s 標準的な設定 8 ~2,800 docs/s 高負荷（収穫逓減） よくある誤解: ❌ clients: 4 = 4台の別々のマシン ✅ clients: 4 = 1台のマシン上の4つのスレッド 推奨設定: 環境 クライアント数 目的 2コアCPU 2-4 基本的な性能テスト 4コア以上のCPU 4-8 標準的なベンチマーク 高性能環境 8-16 ストレステスト 私の選択 : Rally初心者として、標準的な 4クライアント設定 から始めました。これにより、基本的な概念を理解しながら、過度に複雑でない結果を得ることができました。 環境構築 ステップ1: AWS EC2インスタンスの起動 AWS EC2コンソールに移動 「インスタンスを起動」をクリック 設定: 名前 : rally-benchmark-server AMI : Ubuntu Server 24.04 LTS インスタンスタイプ : t3.medium以上 ストレージ : 最低20GB セキュリティグループ : SSH（ポート22）を許可 起動して接続: ssh -i /path/to/your-key.pem ubuntu@<ec2-public-ip> ステップ2: システム依存関係のインストール # システムパッケージの更新 sudo apt update && sudo apt upgrade -y # Pythonと開発ツールのインストール sudo apt install -y python3-pip python3-venv python3-dev build-essential git curl # Pythonバージョンの確認（3.9以上である必要があります） python3 --version ステップ3: Javaのインストール Javaバージョンに関する重要な注意事項: これは私が最初に犯した間違いです。 最初にJava 17のみをインストール ES 8.11.0でベンチマークを実行（Java 17使用） ES 9.0.0を試したときに、Java 21が必要であることを発見 Java 21をインストール ES 9.0.0でベンチマークを実行（Java 21使用） 理想的なアプローチ : 公平な比較のために、両方のバージョンにJava 21を使用すべきでした。しかし、今回のプロジェクトの主な目標はRallyを理解することだったため、ES 8.11.0のテストをJava 21で再実行しませんでした。これは将来の作業として残しました。 Java 17のインストール sudo apt install -y openjdk-17-jdk # JAVA_HOMEの設定 export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64 echo 'export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64' >> ~/.bashrc # 確認 java -version Java 21のインストール（ES 9.x用 – 後で気づいた必須要件） sudo apt install -y openjdk-21-jdk # JAVA21_HOMEの設定 export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64 echo 'export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64' >> ~/.bashrc # 変更を適用 source ~/.bashrc # 確認 ls -la /usr/lib/jvm/java-21-openjdk-amd64 ステップ4: Rallyのインストール # ワークスペースディレクトリの作成 mkdir -p ~/rally-workspace cd ~/rally-workspace # Python仮想環境の作成 python3 -m venv rally-venv # 仮想環境の有効化 source rally-venv/bin/activate # Rallyのインストール pip install --upgrade pip pip install esrally # インストールの確認 esrally --version 期待される出力: esrally 2.x.x (Python 3.12.x) ステップ5: インストールの検証 # 組み込みトラックで簡単なテストを実行 esrally race --distribution-version=8.11.0 --track=geonames --test-mode これにより、Elasticsearch 8.11.0がダウンロードされ、小規模なテストが実行され、すべてが正常に動作しているか確認されます。 詳細なインストール手順については、 Rallyインストールガイド を参照してください。 カスタムトラックの作成 ディレクトリ構造 整理されたトラックディレクトリを作成します: cd ~/rally-workspace mkdir -p log_ingest/corpora cd log_ingest 構造は以下のようになります: log_ingest/ ├── track.json # メインのトラック定義 ├── index-settings-mapping.json # インデックス設定 └── corpora/ ├── logs.jsonl # フルデータセット（100K docs） └── logs-1k.jsonl # テストサブセット（1K docs） ステップ1: インデックス設定とマッピングの作成 { "settings": { "index": { "number_of_shards": 1, "number_of_replicas": 0 } }, "mappings": { "properties": { "@timestamp": { "type": "date" }, "clientip": { "type": "ip" }, "response": { "type": "integer" }, "request": { "type": "text" }, "machine": { "properties": { "os": { "type": "keyword" }, "ram": { "type": "long" } } }, "ingest_time": { "type": "date" } } } } 重要なポイント: number_of_shards: 1 – ベンチマークを簡素化 number_of_replicas: 0 – テストのためのより高速なインジェスト フィールドタイプはデータ構造と一致 ステップ2: 合成ログデータの生成 次に、ベンチマークに使用する合成ログデータを準備します。今回は、このために簡単なPythonスクリプトを利用しました。 スクリプトは、Rallyのtrack（競技種目）が読み込むための元データとなるログファイルを生成します。実行すると、以下のような2種類のデータセットが出力されるようにしました。 corpora/logs.jsonl – 100,000ドキュメント（フルデータセット） corpora/logs-1k.jsonl – 1,000ドキュメント（テスト用） データ形式の例: {"@timestamp":"2025-10-16T10:00:00Z","clientip":"192.168.1.100","response":200,"request":"GET /api/users HTTP/1.1","machine":{"os":"linux","ram":8589934592},"referer":"https://example.com/login"} ステップ3: トラック定義の作成 track.json を作成  ： { "version": 2, "description": "ES 8.x vs 9.x のログインジェストパイプラインベンチマーク", "indices": [ { "name": "logs", "body": "index-settings-mapping.json" } ], "corpora": [ { "name": "logcorpus", "documents": [ { "source-file": "corpora/logs.jsonl", "document-count": 100000 } ] } ], "operations": [ { "name": "delete-index", "operation-type": "delete-index" }, { "name": "create-index", "operation-type": "create-index" }, { "name": "create-log-pipeline", "operation-type": "put-pipeline", "id": "log-pipe", "body": { "description": "ログ処理パイプライン", "processors": [ { "set": { "field": "ingest_time", "value": "{{'{{'}}_ingest.timestamp{{'}}'}}" } }, { "uppercase": { "field": "machine.os" } }, { "convert": { "field": "response", "type": "integer" } }, { "remove": { "field": "referer" } } ] } }, { "name": "bulk-index-with-pipeline", "operation-type": "bulk", "bulk-size": 1000, "pipeline": "log-pipe" } ], "challenges": [ { "name": "default", "description": "4クライアントでの標準ベンチマーク", "default": true, "schedule": [ { "operation": "delete-index" }, { "operation": "create-index" }, { "operation": "create-log-pipeline" }, { "operation": "bulk-index-with-pipeline", "warmup-iterations": 10, "iterations": 100, "clients": 4 } ] }, { "name": "high-concurrency", "description": "8クライアントでの高負荷テスト", "schedule": [ { "operation": "delete-index" }, { "operation": "create-index" }, { "operation": "create-log-pipeline" }, { "operation": "bulk-index-with-pipeline", "warmup-iterations": 10, "iterations": 100, "clients": 8 } ] }, { "name": "ramp-up", "description": "1から8クライアントへの段階的負荷増加", "schedule": [ { "operation": "delete-index" }, { "operation": "create-index" }, { "operation": "create-log-pipeline" }, { "operation": "bulk-index-with-pipeline", "warmup-iterations": 5, "iterations": 50, "clients": 1, "target-throughput": 500 }, { "operation": "bulk-index-with-pipeline", "warmup-iterations": 5, "iterations": 50, "clients": 2, "target-throughput": 1000 }, { "operation": "bulk-index-with-pipeline", "warmup-iterations": 5, "iterations": 50, "clients": 4, "target-throughput": 2000 }, { "operation": "bulk-index-with-pipeline", "warmup-iterations": 5, "iterations": 50, "clients": 8 } ] } ] } トラックの主要コンポーネントの説明: Corpora : データファイルを指定 トラックディレクトリからの相対パスを使用 document-countは正確である必要があります uncompressed-bytesは省略（Rallyが計算） Operations : 個別のタスクを定義 delete-index: 各実行でクリーンスレート create-index: マッピングを適用 create-log-pipeline: 変換を定義 bulk-index-with-pipeline: ベンチマークを実行 Challenges : 異なるテストシナリオ default: 標準的な4クライアントテスト（今回実施） high-concurrency: 8クライアントでのストレステスト（将来実施） ramp-up: スケーラビリティテスト（将来実施） 重要: Jinja2エスケープ これは私が遭遇した最初の技術的な問題でした！ RallyはJinja2テンプレートを使用するため、Elasticsearchのテンプレート構文{{…}}をエスケープする必要があります: // ❌ 間違い - Rallyがこれを解釈しようとします "value": "{{_ingest.timestamp}}" // ✅ 正しい - Jinja2のためにエスケープ "value": "{{'{{'}}_ingest.timestamp{{'}}'}}" これにより、最終的なJSONがElasticsearchが処理するための{{_ingest.timestamp}}を含むことが保証されます。 学んだ教訓 : このエスケープを最初は理解していなかったため、「_ingest is undefined」エラーが発生しました。Rallyのドキュメントを読むことで解決しました。 インジェストパイプラインの構築 パイプライン定義 私のパイプラインは4つの変換を実行します: インジェストタイムスタンプの追加 { "set": { "field": "ingest_time", "value": "{{'{{'}}_ingest.timestamp{{'}}'}}" } } OSフィールドの大文字変換 { "uppercase": { "field": "machine.os" } } レスポンスを整数に変換 { "convert": { "field": "response", "type": "integer" } } refererフィールドの削除 { "remove": { "field": "referer" } } 重要: インラインvs外部パイプライン定義 方法1: 外部ファイル（動作しない場合があります） "ingest_pipelines": [ { "name": "log-pipe", "body": "ingest-pipeline.json" } ] 方法2: インライン定義（推奨） "operations": [ { "name": "create-log-pipeline", "operation-type": "put-pipeline", "id": "log-pipe", "body": { "processors": [...] } } ] インライン定義の方が信頼性が高いことがわかりました。スケジュールにパイプライン作成を含めてください: "schedule": [ {"operation": "create-index"}, {"operation": "create-log-pipeline"}, // 明示的な作成 {"operation": "bulk-index-with-pipeline"} ] 私は最初は外部ファイル参照を使用しようとしましたが、パイプラインが適用されませんでした（カウント0）。インライン定義に切り替えることで問題が解決しました。 パイプライン適用の確認 ベンチマーク実行後、パイプラインが適用されたかを確認: # Rally出力でパイプラインメトリクスを確認 grep "Ingest Pipeline" ~/.rally/logs/rally.log # --preserve-installを使用した場合、Elasticsearchに直接クエリ curl -X GET "localhost:PORT/_ingest/pipeline/log-pipe?pretty" curl -X GET "localhost:PORT/logs/_search?size=1&pretty" インジェストパイプラインの詳細については、 Elasticsearchインジェストパイプラインドキュメント を参照してください。 ベンチマークの実行 テストフェーズ: 1Kサブセットでの検証 まず、小さなデータセットでテスト: # Rally環境を有効化 source ~/rally-workspace/rally-venv/bin/activate # 1Kサブセットでテスト esrally race \ --track-path=~/rally-workspace/log_ingest \ --distribution-version=8.11.0 \ --test-mode –test-modeフラグ: 最小限のイテレーションを実行 最大1000ドキュメントのみを処理 設定エラーを迅速に特定 本番ベンチマーク 重要: 公平な比較の確保について これは私の学習プロセスで理解した重要なポイントです。 ❌ 不公平な比較（私が最初に行ったこと）: ES 8.11.0 (Java 17) vs ES 9.0.0 (Java 21) → 2つの変数が変化: ESバージョンとJavaバージョン ✅ 公平な比較（次回行うべきこと）: ES 8.11.0 (Java 21) vs ES 9.0.0 (Java 21) → ESバージョンのみが変化 Elasticsearch 8.11.0でのベンチマーク（Java 17使用 – 私の最初の試み） # Java 17が設定されていることを確認 export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64 source ~/.bashrc # 確認 java -version # Java 17であることを確認 # デフォルトチャレンジを実行（4クライアント） esrally race \ --track-path=~/rally-workspace/log_ingest \ --distribution-version=8.11.0 \ --user-tag="version:8.11.0,java:17,challenge:default" 実行結果 : これは正常に動作し、Rallyの動作を理解するのに役立ちました。 Elasticsearch 9.0.0でのベンチマーク（Java 21が必要 – ここで学習） ES 9.0.0を実行しようとしたとき、Java 21が必要であることを発見しました: # 最初の試み（失敗） esrally race \ --track-path=~/rally-workspace/log_ingest \ --distribution-version=9.0.0 # エラー: # [ERROR] Cannot race. Daemon startup failed with exit code [1] 問題の診断: # ログを確認 tail -100 ~/.rally/logs/rally.log # "Java 21 or higher required" のようなメッセージを発見 解決策: Java 21のインストール # Java 21をインストール sudo apt install -y openjdk-21-jdk # JAVA21_HOMEを設定 export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64 echo 'export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64' >> ~/.bashrc source ~/.bashrc # 確認 echo $JAVA21_HOME ls -la $JAVA21_HOME # 再試行 esrally race \ --track-path=~/rally-workspace/log_ingest \ --distribution-version=9.0.0 \ --user-tag="version:9.0.0,java:21,challenge:default" 実行結果 : Java 21をインストール後、ES 9.0.0が正常に動作しました。 今回実行したチャレンジ 今回は defaultチャレンジ（4クライアント）のみ を実行しました: # デフォルトチャレンジの実行 esrally race \ --track-path=~/rally-workspace/log_ingest \ --distribution-version=8.11.0 \ --user-tag="version:8.11.0,java:17" 将来実行予定のチャレンジ # 高並行チャレンジ（8クライアント） esrally race \ --track-path=~/rally-workspace/log_ingest \ --distribution-version=8.11.0 \ --challenge=high-concurrency \ --user-tag="version:8.11.0,java:21,challenge:highcon" # ランプアップチャレンジ（段階的負荷増加） esrally race \ --track-path=~/rally-workspace/log_ingest \ --distribution-version=8.11.0 \ --challenge=ramp-up \ --user-tag="version:8.11.0,java:21,challenge:rampup" レース出力の理解 実行中、Rallyは進行状況を表示します: [INFO] Racing on track [log_ingest], challenge [default] [INFO] Preparing track [log_ingest] for race [INFO] Downloading Elasticsearch 8.11.0... [INFO] Starting Elasticsearch cluster [INFO] Racing (please be patient)... Running delete-index [100% done] Running create-index [100% done] Running create-log-pipeline [100% done] Running bulk-index-with-pipeline [100% done] 完了後、Rallyは詳細なメトリクスを提供します: ------------------------------------------------------ Final Results ------------------------------------------------------ | Metric | Task | Value | Unit | |--------------------------|--------------|-----------|--------| | Total indexing | bulk-index | 2.50 | min | | Total merge | bulk-index | 0.12 | min | | Throughput | bulk-index | 1,650.5 | docs/s | | Service time (p50) | bulk-index | 15.23 | ms | | Service time (p99) | bulk-index | 42.18 | ms | | Total Ingest Pipeline | bulk-index | 100,000 | count | | Total Ingest Pipeline | bulk-index | 1.85 | s | 結果の比較 # すべてのレースをリスト表示 # すべてのレースをリスト表示 esrally list races # 2つの特定のレースを比較 esrally compare \ --baseline=<race-id-es8> \ --contender=<race-id-es9> Rallyは各メトリクスの改善率または劣化率をパーセンテージで表示します。 注意 : 私のケースでは、Java 17とJava 21を使用したため、この比較は完全に公平ではありません。これは将来改善する必要があります。 結果の解釈の詳細については、 Rallyメトリクスドキュメント を参照してください。 トラブルシューティング これらは私が実際に遭遇した問題と、それらをどのように解決したかです。 問題1: パイプラインが適用されない 症状: Total Ingest Pipeline count: 0 Total Ingest Pipeline time: 0 s これは最初のベンチマーク実行で起こりました。パイプラインが定義されているのに、ドキュメントに適用されていませんでした。 解決策: operations内でインラインパイプライン定義を使用 スケジュールにパイプライン作成を明示的に含める bulk操作にpipelineパラメータが設定されていることを確認: { "operation": "bulk-index-with-pipeline", "operation-type": "bulk", "bulk-size": 1000, "pipeline": "log-pipe" // パイプラインIDと一致する必要があります } 問題2: Jinja2テンプレートエラー 症状: jinja2.exceptions.UndefinedError: '_ingest' is undefined パイプラインで{{_ingest.timestamp}}を使用したときにこのエラーが発生しました。 解決策: Elasticsearchテンプレート構文をエスケープ: "value": "{{'{{'}}_ingest.timestamp{{'}}'}}" 学んだ教訓 : RallyがJinja2テンプレートエンジンを使用していることを知りませんでした。ドキュメントを読んでこれを学びました。 問題3: ウォームアップ警告 症状: [WARNING] No throughput metrics available for [bulk-index-with-pipeline]. Likely cause: The benchmark ended already during warmup. 解決策: 時間ベースではなくイテレーションベースのウォームアップを使用: // ❌ 小さなデータセットでの問題 { "warmup-time-period": 60, "clients": 4 } // ✅ 解決策 { "warmup-iterations": 10, "iterations": 100, "clients": 4 } 問題4: uncompressed-bytes検証エラー 症状: jsonschema.exceptions.ValidationError: 0 is less than the minimum of 1 Path: ['corpora', 0, 'documents', 0, 'uncompressed-bytes'] 解決策: フィールドを省略するだけです: // ❌ 間違い { "source-file": "corpora/logs.jsonl", "document-count": 100000, "uncompressed-bytes": 0 } // ✅ 正しい { "source-file": "corpora/logs.jsonl", "document-count": 100000 } Rallyがサイズを自動的に計算します。 問題5: Elasticsearch 9.0.0が起動しない 症状: [ERROR] Cannot race. Daemon startup failed with exit code [1] 原因: ES 9.xにはJava 21以上が必要 診断: # Javaバージョンを確認 java -version # Rallyログを確認 tail -100 ~/.rally/logs/rally.log 解決策: # Java 21をインストール sudo apt install -y openjdk-21-jdk # 環境変数を設定 export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64 echo 'export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64' >> ~/.bashrc source ~/.bashrc # 再試行 esrally race --track-path=~/log_ingest --distribution-version=9.0.0 学んだ教訓 : 常に各Elasticsearchバージョンの最小Java要件を確認してください。 問題6: パイプラインパラメータの欠落 症状: Parameter source for operation 'put-pipeline' did not provide the mandatory parameter 'id' or 'body' 解決策: idとbodyの両方を含める: { "name": "create-log-pipeline", "operation-type": "put-pipeline", "id": "log-pipe", // 必須 "body": { // 必須 "processors": [...] } } デバッグのヒント Rallyログを確認: tail -f ~/.rally/logs/rally.log Elasticsearchログを確認: # レースディレクトリを検索 ls -lt ~/.rally/benchmarks/races/ # ESログを表示 cat ~/.rally/benchmarks/races/<race-id>/rally-node-0/logs/server/rally-benchmark.log クラスタを検査するために–preserve-installを使用: esrally race \ --track-path=~/log_ingest \ --distribution-version=8.11.0 \ --preserve-install # クラスタは手動検査のために実行され続けます ベストプラクティス これらは私の学習経験から得たベストプラクティスです。 1. Javaバージョン管理 公平な比較のために常に同じJavaバージョンを使用: # 両方のバージョンをインストール sudo apt install -y openjdk-17-jdk openjdk-21-jdk # 環境変数を設定 export JAVA_HOME=/usr/lib/jvm/java-21-openjdk-amd64 export JAVA17_HOME=/usr/lib/jvm/java-17-openjdk-amd64 export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64 # 永続化のために.bashrcに追加 echo 'export JAVA_HOME=/usr/lib/jvm/java-21-openjdk-amd64' >> ~/.bashrc echo 'export JAVA17_HOME=/usr/lib/jvm/java-17-openjdk-amd64' >> ~/.bashrc echo 'export JAVA21_HOME=/usr/lib/jvm/java-21-openjdk-amd64' >> ~/.bashrc 推奨される比較戦略: ES 8.11.0 + Java 21 vs ES 9.0.0 + Java 21（主な比較） ES 8.11.0 + Java 17（Javaアップグレード影響のためのオプションベースライン） 2. ウォームアップとイテレーション設定 ガイドライン: データセットサイズ ウォームアップ戦略 推奨 < 10K docs イテレーションベース 総イテレーションの10-20% 10K-1M docs イテレーションベース 最低10イテレーション > 1M docs 時間またはイテレーション 60秒または100イテレーション 例: { "warmup-iterations": 10, "iterations": 100, "clients": 4 } 3. トラックの整理 推奨されるディレクトリ構造: rally-workspace/ ├── rally-venv/ # Python仮想環境 ├── tracks/ │ ├── log_ingest/ │ │ ├── track.json │ │ ├── index-settings-mapping.json │ │ └── corpora/ │ │ ├── logs.jsonl │ │ └── logs-1k.jsonl │ ├── search_performance/ │ └── bulk_indexing/ ├── scripts/ │ ├── synthetic-log-generator.py │ └── verify_pipeline.sh └── results/ └── comparison_reports/ 4. リソースモニタリング ベンチマーク中にEC2リソースを監視: # CPUとメモリ htop # ディスク容量 df -h # ネットワーク iftop # Rallyプロセス ps aux | grep esrally # Elasticsearchプロセス ps aux | grep elasticsearch 5. データ管理 テストサブセットの作成: # 最初の1000行 head -n 1000 logs.jsonl > logs-1k.jsonl # ランダムな1000行 shuf -n 1000 logs.jsonl > logs-1k-random.jsonl # ドキュメント数を確認 wc -l logs.jsonl wc -l logs-1k.jsonl ファイル形式要件: フォーマット: JSONL（1行1ドキュメント） エンコーディング: UTF-8 行末: LF（Unix形式） 末尾のカンマやブラケットなし 6. 結果管理 結果を保存して整理: # resultsディレクトリを作成 mkdir -p ~/rally-workspace/results # すべてのレースをリスト表示 esrally list races > results/all_races.txt # 特定のレース詳細をエクスポート esrally list races --race-id=<race-id> > results/race_<version>.txt # 比較して保存 esrally compare \ --baseline=<race-id-8> \ --contender=<race-id-9> \ > results/comparison_8_vs_9.txt 7. ベンチマークにタグを付ける 結果を整理するために–user-tagを使用: esrally race \ --track-path=~/log_ingest \ --distribution-version=8.11.0 \ --user-tag="env:test,purpose:learning,java:17,challenge:default" これにより、結果のフィルタリングと比較がはるかに簡単になります。 結果と分析 分析すべき主要メトリクス Rallyは包括的なメトリクスを提供します。以下の主要な指標に焦点を当てます: 1. スループット 測定内容: 1秒あたりに処理されるドキュメント数 スループット = 総ドキュメント数 / 総時間 目標値: 良好: > 1,000 docs/s（このワークロードの場合） 優秀: > 2,000 docs/s 卓越: > 5,000 docs/s 2. レイテンシパーセンタイル 測定内容: レスポンス時間の分布 p50（中央値） : 50%のリクエストがこの時間内に完了 p95 : 95%のリクエストがこの時間内に完了 p99 : 99%のリクエストがこの時間内に完了 p100（最大） : 最悪ケースのレイテンシ 分析例: Service time p50: 15 ms (典型的なリクエスト) Service time p95: 35 ms (まだ良好) Service time p99: 120 ms (スパイクに注意) Service time p100: 500 ms (外れ値が存在) 3. インジェストパイプラインメトリクス パイプラインテストに重要: Total Ingest Pipeline count: 100,000 # ドキュメント数と一致する必要があります Total Ingest Pipeline time: 1.85 s # パイプラインで費やした時間 カウントが0の場合、パイプラインが適用されていません！ 4. マージ時間 測定内容: Luceneセグメントのマージに費やした時間 Total merge time: 0.12 min 低い方が良いです。高いマージ時間は書き込み圧力を示します。 5. エラー率 測定内容: 失敗した操作 Error rate: 0.00% 成功したベンチマークでは常に0%であるべきです。 サンプル比較出力 esrally compare –baseline=<es8-race> –contender=<es9-race> 出力例: ベースライン（ES 8.11.0）とコンテンダー（ES 9.0.0）の比較 | Metric | Baseline | Contender | Diff | Unit | |----------------------------|------------|------------|---------|--------| | Total indexing | 2.50 | 2.35 | -0.15 | min | | Throughput | 1650.50 | 1750.25 | +99.75 | docs/s | | Service time (p50)| 15.23 | 14.10 | -1.13 | ms | | Service time (p99)| 42.18 | 38.50 | -3.68 | ms | | Ingest Pipeline time | 1.85 | 1.72 | -0.13 | s | 解釈: ✅ ES 9.0.0は約6%のスループット向上を示す ✅ すべてのパーセンタイルでレイテンシが減少 ✅ パイプライン処理が約7%高速化 注意 : 私のケースでは、異なるJavaバージョン（17 vs 21）を使用したため、この比較は完全に公平ではありません。改善がES自体によるものなのか、Javaアップグレードによるものなのかを区別できません。 学んだこと 今回の初めてのRally体験から学んだこと: セットアップが重要 : Java要件などの基本を正しく理解することで、後で多くの時間を節約できます 小さく始める : 1Kドキュメントから始めることで、設定エラーを早期に発見できました メトリクスを理解する : 各メトリクスが何を意味するかを理解するのに時間がかかりました 一度に一つのこと : デフォルトチャレンジのみに焦点を当てることで、圧倒されずに学習できました 今後の展開 今回の試みは、Rallyの使い方自体を把握することが主な目的でした 。この主要な目標は達成されましたが 、高並行チャレンジ やランプアップチャレンジ など、いくつかの高度なテストも残っています 。今後は、もっとリアルワールドのユースケースで実行をしてみたいと考えています。 The post Elasticsearch Rally ベンチマーク入門: バージョン 8.x と 9.x の性能比較 first appeared on Elastic Portal .

目次 アラート疲れに終止符を打つ革新的ソリューション Attack Discoveryとは? 従来のセキュリティ運用との決定的な違い Attack Discoveryが提供する3つの価値 1. 平均対応時間(MTTR)の劇的な短縮 2. アラート疲れからの解放 3. セキュリティ人材不足への対応 Attack Discoveryの起動と基本捜索 AI Assistantとの連携 実践的な活用シナリオ シナリオ1: ランサムウェア攻撃の早期検知 シナリオ2: インサイダー脅威の検出 セキュリティワークフローへのシームレスな統合 即座にアクションを起こせる設計 通知とレポート機能 導入に必要なもの 対応しているLLMプロバイダー データプライバシーへの配慮 スケジュール機能で24時間体制の脅威監視 ディスカバリーの保存と長期的な活用 経営層が知っておくべきROI コスト削減 リスク低減 競争優位性 まとめ: セキュリティ運用の未来は今ここに 関連リソース 用語集 アラート疲れに終止符を打つ革新的ソリューション 現代のセキュリティ運用では、次のような課題が顕在化しています。 毎日大量のセキュリティアラートが発生し、重要な脅威の識別が困難 アラートの優先順位付けに膨大な時間がかかり、本当の脅威への対応が遅延 複数のアラート間の関連性を把握することが難しい 限られた人員で24時間365日の監視体制を維持することが困難 これらの課題に対して、 Elastic Attack Discovery が解決の鍵となるかもしれません。 本ブログでは、Attack Discoveryの基本概念から実際の使い方、導入のメリットまでを包括的に解説します。 Attack Discoveryとは? 大規模言語モデル(LLM)がセキュリティアナリストの相棒に Attack Discoveryは、最新の大規模言語モデル(LLM)の力を活用し、膨大なセキュリティアラートを自動分析する画期的な機能です。単なるアラート集約ツールではありません。AIが実際のサイバー攻撃のシナリオを読み解き、 「点」のアラートを「線」の脅威ストーリーに変換 します。 従来のセキュリティ運用との決定的な違い Attack Discoveryが提供する3つの価値 1. 平均対応時間(MTTR)の劇的な短縮 Attack Discoveryは、デフォルトで過去24時間の最大100件のアラートを分析します(カスタマイズ可能)。従来であれば数時間かかっていた分析作業が、 数分で完了 します。 各「ディスカバリー」には以下が含まれます: 潜在的な脅威の分かりやすいタイトルと要約 関連アラートの数とMITRE ATT&CKマトリックスとの対応 関与するユーザーとホスト、それぞれで観測された不審な活動 これにより、アナリストは調査や対応といった高付加価値な業務に集中できます。 2. アラート疲れからの解放 セキュリティ運用センター(SOC)の最大の課題の一つが「アラート疲れ」です。毎日数百、数千のアラートに晒されるアナリストは、重要な脅威を見逃すリスクと常に隣り合わせです。 Attack Discoveryは、 本当に重要な脅威だけを浮き彫りにする ことで、この問題を解決します。AIが関連性の低いアラートをフィルタリングし、実際の攻撃キャンペーンを示すパターンを抽出します。 3. セキュリティ人材不足への対応 熟練したセキュリティアナリストの採用は、多くの企業にとって大きな課題です。Attack Discoveryは、経験の浅いアナリストでも、 AIのサポートを受けながら高度な脅威分析が可能 になります。 さらに、Elastic Stack 9.1からは スケジュール機能 が追加され、毎日または毎週といった定期的な自動分析が可能になりました。深夜や週末でも、AIが休まず監視を続けます。 Attack Discoveryの起動と基本捜索 Kibana左上メニュー ≡ → Security > Alerts を開き、下部の Attack discovery をクリックすると、デフォルトで直近のアラート(過去24時間・最大100件)を自動分析します。期間の選択も可能で、アラート件数に応じて完了までの時間は変動します。 今回の例では、10件のDiscoveries（関連アラートを束ねた“攻撃ストーリー”）と 45件のAlerts が表示されています。表示件数が元の総アラート（例：50件）と異なるのは、クローズ済みや時間範囲外の除外、関連性の薄い単発アラートの非採用、処理件数の上限などが考えられます。 各ディスカバリーを展開すると、以下の情報が表示されます: タイトルと要約 – 攻撃の概要を一目で理解 関連アラート数 – グループ化されたアラートの件数 MITRE ATT&CK対応 – 攻撃手法の分類 関与エンティティ – ユーザー名やホスト名(バッジクリックで詳細に遷移) Attack chain – 攻撃チェーンのタイムライン AI Assistantとの連携 各ディスカバリーの画面で View in AI Assistant をクリックすると、AIとの対話型分析画面に移行します。 右上のメニューから以下の設定が可能です: LLM選択 – 使用するLLMモデルの選択(ローカルLLMも可) Select Prompt – アシスタントの振る舞いプリセット Setup Knowledge Base – 社内ドキュメントや最近のアラート等を取り込み、回答の根拠を強化 右上のメニューから LLM選択（ローカルLLMも可）、Select Prompt（アシスタントの振る舞いプリセット）、Setup Knowledge Base（社内ドキュメントや最近のアラート等を取り込み、回答の根拠を強化）を設定できます。画面下部の入力欄から日本語で質問できます。 実践的な活用シナリオ シナリオ1: ランサムウェア攻撃の早期検知 複数のエンドポイントで以下のアラートが発生: 不審なPowerShellスクリプトの実行 大量のファイル暗号化活動 外部への通信試行 管理者権限での横展開 Attack Discoveryは、これらのバラバラなアラートを 一つの協調的なランサムウェア攻撃 として識別し、攻撃の全体像を提示します。 シナリオ2: インサイダー脅威の検出 通常と異なる行動パターン: 深夜の大量データダウンロード 通常アクセスしないシステムへのログイン USBデバイスの使用 クラウドストレージへの転送 Attack Discoveryは、これらを 潜在的なデータ流出の試み として関連付け、調査の優先順位を示します。 セキュリティワークフローへのシームレスな統合 Attack Discoveryの真価は、既存のElastic Securityワークフローとの統合にあります: 即座にアクションを起こせる設計 エンティティ詳細の表示 : ユーザーやホスト名をクリックするだけで詳細情報を確認 Timelineで調査 : 「Investigate in timeline」ボタンで時系列での詳細分析が可能 ケース管理 : ディスカバリーを既存または新規のケースに追加し、チームで共有 AI Assistantとの連携 : さらに詳しい質問や分析をAIに依頼 通知とレポート機能 Elastic Stack 9.1からは、ディスカバリーが見つかった際に SlackやEmailで自動通知 を送ることができます。夜間に重大な脅威が検出されても、担当者に即座に通知が届きます。 導入に必要なもの Attack Discoveryを機能させるには、LLMバックエンドが必ず必要です。そして、そのモデルは十分なコンテキストウィンドウを備えていなければなりません。これが不足していると、多数のアラートや前後の文脈を十分にモデルに渡せず、誤った発見や情報の切り落としが起こり得ます。 対応しているLLMプロバイダー Attack Discoveryは以下のLLMプロバイダーに対応しています: OpenAI (GPT-4など) Anthropic (Claude) Google Cloud Vertex AI (Gemini含む) Azure AI Foundry ローカルLLM 最適なモデル選択については、Elasticの 大規模言語モデルパフォーマンスマトリックス を参照してください。モデルによってパフォーマンスに差があるため、環境に応じた適切な選択が重要です。 データプライバシーへの配慮 Attack DiscoveryはElastic AI Assistantと同じデータ匿名化設定を使用します。サードパーティのLLMに送信する前に、どのフィールドを難読化するかを細かく制御できます。コンプライアンス要件の厳しい環境でも安心して利用できます。 スケジュール機能で24時間体制の脅威監視 Elastic Stack 9.1で追加された スケジュール機能 により、Attack Discoveryの活用の幅が大きく広がりました: 定期的な自動実行 : 毎日、毎週など、自由に設定可能 カスタマイズ可能な分析範囲 : KQLクエリ、時間フィルター、アラート数を細かく調整 自動通知 : ディスカバリーが見つかった場合のみ通知を送信 手動実行も可能 : スケジュールとは別に、いつでも手動で分析を実行 これにより、人手を介さずに継続的な脅威監視が実現します。 ディスカバリーの保存と長期的な活用 生成されたディスカバリーは自動的に保存され、後から確認・レビューが可能です: トレンド分析 : 時間経過による脅威の傾向を把握 監査証跡 : コンプライアンスやインシデントレポートに活用 ステータス管理 : 調査中、解決済みなどのステータスを設定 共有機能 : チーム全体でディスカバリーを共有(手動生成の場合) バルクアクション : 複数のディスカバリーを一括処理 経営層が知っておくべきROI コスト削減 アナリストの作業効率が大幅に向上(分析時間を60-80%削減) セキュリティ人材の採用・育成コストを抑制 インシデント対応の迅速化によるダウンタイム削減 リスク低減 高度な攻撃の早期検知 見落としリスクの最小化 MITRE ATT&CKフレームワークに基づく体系的な脅威把握 競争優位性 最新のAI技術を活用したセキュリティ運用 24時間365日の自動監視体制 データドリブンな意思決定の実現 まとめ: セキュリティ運用の未来は今ここに 本ブログでは、Elastic Attack Discoveryの概要から基本的な使い方、実践的な活用シナリオ、そして導入のメリットまでを解説しました。Attack Discoveryは単なる新機能ではなく、セキュリティ運用のパラダイムシフトを実現するソリューションです。 AIとヒューマンの協働により、より少ないリソースで、より高度な脅威に対応できる時代が到来しました。増え続けるサイバー脅威、深刻化するセキュリティ人材不足、複雑化する攻撃手法―これらの課題に対し、従来型のアプローチでは限界があります。Attack Discoveryは、これらの課題に真正面から立ち向かうソリューションです。 次回のブログでは、Attack Discoveryをさらに効果的に活用するための実践的な設定方法について解説する予定です。 関連リソース Attack Discovery公式ドキュメント Elastic AI Assistantについて デモビデオを見る Elastic 9.1リリースノート 用語集 このブログで使用されている技術用語を、分かりやすく解説します。 アラート(Alert) ：セキュリティシステムが異常や疑わしい活動を検知した際に発する通知。火災報知器が煙を感知して鳴るのと同じように、システムが潜在的な脅威を知らせる仕組みです。 AI Assistant ：Elasticが提供するAI搭載の対話型アシスタント機能。セキュリティアナリストがAIに質問したり、分析を依頼したりできる、デジタルな相談相手のようなツールです。 ECS (Elastic Common Schema) ：Elasticが定義するデータ構造の標準規格。異なるシステムやツールからのデータを統一的に扱えるようにするための「共通言語」のようなものです。 Elastic Stack ：Elasticが提供する一連のソフトウェア製品群。データの収集、保存、検索、分析、可視化を一貫して行えるプラットフォームです。 KQLクエリ (Kibana Query Language) ：Elasticのデータを検索するための専用言語。Googleで検索する際のキーワード入力をより高度にしたもので、複雑な条件でデータを絞り込めます。 LLM (Large Language Model / 大規模言語モデル) ：膨大な量の文章データで学習したAI。ChatGPTのように、人間の言語を理解し、文章を生成したり、複雑な分析を行ったりできる技術です。 LLMコネクタ ：ElasticとLLMサービス(OpenAI、Anthropicなど)を接続するための設定。橋渡し役として、Elastic内のデータをLLMに送り、分析結果を受け取ります。 MITRE ATT&CK ：サイバー攻撃者が使用する戦術や手法を体系的に整理した国際的なフレームワーク。攻撃の「辞書」や「地図」のようなもので、世界中のセキュリティ専門家が共通言語として使用しています。 MTTR (Mean Time To Respond / 平均対応時間) ：セキュリティインシデントを検知してから対応を完了するまでにかかる平均時間。この時間が短いほど、被害を最小限に抑えられます。 RBAC (Role-Based Access Control / ロールベースアクセス制御) ：ユーザーの役割(管理者、アナリストなど)に応じて、システムへのアクセス権限を管理する仕組み。「入室許可証」のように、役職に応じて見られる情報や実行できる操作を制限します。 SOC (Security Operations Center / セキュリティ運用センター) ：組織のセキュリティを24時間365日監視・管理する専門チームや施設。空港の管制塔のように、あらゆるセキュリティ情報を集約して監視する拠点です。 Timeline ：Elasticのセキュリティイベントを時系列で表示・分析するツール。事件の経緯を時間軸で追いかけながら調査できる、デジタル版の「事件簿」です。 エンティティ (Entity) ：セキュリティ分析における注目対象。主にユーザーアカウントやコンピューター(ホスト)を指します。事件における「関係者」のようなものです。 ケース管理 ：セキュリティインシデントを一つの「案件」として追跡・管理する機能。証拠、メモ、対応履歴などを一元管理し、チームで情報共有できます。 データ匿名化 ：個人情報や機密情報を、第三者が特定できない形に変換すること。例えば「佐藤太郎」を「ユーザーA」に置き換えるなど、プライバシーを保護しながらデータを分析できるようにします。 ディスカバリー (Discovery) ：Attack Discoveryが生成する、関連する複数のアラートをまとめた「脅威のストーリー」。バラバラの手がかりを組み合わせて、一つの事件として提示する調査レポートのようなものです。 ランサムウェア ：コンピューターのデータを暗号化して使えなくし、復元と引き換えに金銭を要求する悪質なプログラム。デジタル版の「身代金誘拐」とも言えます。 横展開 (Lateral Movement) ：攻撃者が最初に侵入したコンピューターから、ネットワーク内の他のコンピューターへと移動していく攻撃手法。家の一つの窓から侵入した泥棒が、家中の部屋を物色するイメージです。 The post AIがサイバー攻撃を自動検知！Elastic Attack Discoveryで実現する次世代のセキュリティ運用 first appeared on Elastic Portal .