アマゾン ウェブ サービス (AWS) は Amazon Bedrock を初めとした生成 AI サービスを提供しています。Amazon Bedrock では、Amazon の基盤モデルだけでなく、Anthropic、Stability AI、Meta といった代表的な生成 AI モデルプロバイダーの基盤モデルが利用可能です。一方で、日本語という言語の特殊性などへの対応のため、国内事業者により日本語特化の大規模言語モデル (LLM) の開発が進められています。AWS ジャパンは、 LLM 開発支援プログラ

こんにちは。AWS CLIが好きな福島です。 RAGとは？ RAGのイメージ RAGの課題(RAGシステムの必要性) 課題 解決方法 アーキテクチャ図 アーキテクチャの各要素について ①ユーザーインターフェイス 独自のUIを構築する場合 SlackやTeamsなどのチャットに組み込む ②ナレッジベース ③ETL処理 検討項目1 対応案 検討項目2(Amazon Kendraの場合検討不要) ④ベクターストア ⑤LLM ⑥RAGアプリ 補足 終わり この記事では、私が生成AIを用いたRAGシステムの構築をす

はじめに こんにちは、クラウドエース データソリューション部所属の竹内です。 クラウドエースの IT エンジニアリングを担うシステム開発統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回

このブログでは、大規模言語モデル（LLM）、Amazon Bedrock、Amazon OpenSearch Service を使用しておすすめの映画を教えてくれるチャットボットを作成する方法をご紹介します。このデモンストレーションでは、幅広いエンターテイメントのメタデータを提供する IMDb and Box Office Mojo Movies/TV/OTT のライセンス可能なデータパッケージを使用します。Amazon Web Services（AWS）の Media & Entertainme

1. はじめに こんにちは、クラウドエース データソリューション部所属の泉澤です。 クラウドエースの IT エンジニアリングを担うシステム統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 2

はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エント

こんにちは。AWS CLIが好きな福島です。 はじめに イメージ サンプルコード フロントエンド(frontend.py) バックエンド(backend.py) 実行方法 ポイント ストリーミング出力について 会話履歴の表示 選択したモデルに応じた動的なカラムの用意 補足 モデルを追加したい場合 モデルのデフォルトの数を変更したい場合 終わりに はじめに 突然ですが、さまざまな種類の大規模言語モデル（LLM）が存在することを考えると、複数のLLMに同時に質問してみたいと思ったことはないでしょうか。 そこで

AWS re:Invent 2023 では、生成系 AI によって形作られる未来に向けた最も有望なイノベーションとコンセプトのいくつかが紹介されました。AWS のサービスはその未来の中心であり続け、それをサポートするために進化しています。 re:Invent 2023 では、Amazon Connect に直接統合された新しい生成系 AI 機能コミュニケーションチャンネルを発表しました。これらの機能は開発を必要としないため、お客様は迅速にイノベーションを起こすことができます。さらに私たちは、Amazon

サーバーワークスの村上です。 このブログではRAGの評価フレームワークであるragasについて紹介します。 ragasとは RAGの評価イメージ ragasでできること概要（忙しい方向けのまとめ） このブログで検証したこと ragasの利用の流れ テストデータの作成 RAGアプリケーションの回答を取得 評価 具体的な実装 テストデータの作成 htmlのロード LLMの定義 プロンプトのカスタマイズ テストデータの作成 生成できる質問の数 生成したテストデータをCSVに保存 RAGアプリケーションの回答を取

11月29日は、 Amazon DocumentDB (MongoDB 互換) のベクトル検索 の一般提供についてお知らせします。この製品は、ドキュメントデータベース内でミリ秒の応答時間で何百万ものベクトルを保存、索引付け、検索できる新しい組み込み機能です。 ベクトル検索は、 機械学習 (ML) で使用される新しい手法で、距離または類似度メトリックを使用してベクトル表現を比較することにより、特定のデータに類似したデータポイントを検索します。ベクトルは、Amazon Bedrock、Amazon SageM

はじめに こんにちは！ 今年も国内外様々な LLM(大規模 言語モデル )が公開されましたね！ LLM の選定や調査・実験をする際、リソースの要求レベルが非常に高く、ローカル環境での実施はかなりハードルが高いですよね... そこで今回は、 Google Colab（正式には Colaboratory）を利用して LLMを動かす方法を紹介します。 サクッと LLM を動かしたい時におすすめです！ はじめに Google Colab 基本的な使い方 エラーがでたときは？ セッションが多すぎるとき なぜかうまく

この記事は、 NTTコミュニケーションズ Advent Calendar 2023 25日目の記事です。 はじめに こんにちは、イノベーションセンター　テクノロジー部門 メディアAI PJ所属の和田、小林です。 普段は画像/映像/言語/音声 等メディアを入力としたAI技術（メディアAI技術）を用いて、事業部/関連部支援や最新技術の調査/研究開発を行なっています。 今回は技術調査の一環として参加した「ViEW2023」について、ワークショップの概要や発表された論文について紹介したいと思います。 ViEW20

この記事は CyberAgent Developers Advent Calendar 2023 2 ...

はじめに 「KINTOテクノロジーズに入社するまで、Web業界は未経験だった」と言うと、えっ？という顔をされます。そんなキャリアの人が何で入社した（できた）んだろうという戸惑いの顔。しかも20代の若手じゃなくて、40代のおっさんが、何で？ 異世界の歩き方 もともとは、家電の組み込みソフト開発のプログラマー。そこから車載ECUの制御ソフトを経験して、前職では欧州系の会社でエンジンなどの試験設備を導入するプロジェクトマネージャーをやってました。ソフトはあくまで全体の一部であり、機械/電気/計測/流体/シミュレ

はじめに こんにちは、株式会社AI Shiftでデータサイエンティストチームのマネージャーをしている ...