構築したRAGの性能を評価はどうしたらよいでしょうか。RAGを使ったシステムを改善のサイクルを回すには評価が重要になります。RAGの評価はRAGAsをはじめとして複数の方法が提案されています。それらの方法を整理して包括的で体系的に理解できるような説明を試みました。読んでいただいた方の理解の助けになれば幸いです。 自然言語生成 (NLG) の評価の難しさ 自然言語生成 (NLG) の評価は従来のシステムのテストとは大きく異なるものです。自然言語の表現は多様で同じ内容であっても表現方法が複数あります。当然、L

12 月 1 日、 Amazon Web Services (AWS) は、 Amazon CloudWatch と Amazon OpenSearch Service 間の新しい統合分析エクスペリエンスとゼロ ETL 統合を発表しました。この統合により、ログデータの分析とビジュアライゼーションがデータの重複なしで簡素化され、ログ管理が合理化されるとともに、技術的なオーバーヘッドと運用コストが削減されます。CloudWatch Logs をご利用のお客様は、 CloudWatch Logs Insight

この記事は KINTOテクノロジーズアドベントカレンダー2024 の6日目の記事です🎅🎄 はじめに こんにちは。KINTO FACTORY開発グループの上原( @penpen_77777 )です。 2024年の7月に入社し、KINTO FACTORYのバックエンドの開発を担当しています。 今回は、業務の中でS3イベントを処理する際に注意すべきだったデータ競合とその解決策についてサンプルコードを通じてご紹介します。 今回想定する読者 AWSのS3イベントが重複して通知されたり、通知の順序が入れ替わることに悩

はじめに Insight EdgeのLLM Engineerの藤村です。 昨今、企業のDX推進に伴い、社内に蓄積された大量の画像データや文書の効率的な活用が求められています。弊社では、実務でLLMを活用する際、画像や表形式、複雑な図を含むドキュメントの理解が大きな課題となっています。この課題は多くの企業でも同様に直面していると考えられ、その解決は業務効率化において重要な意味を持ちます。 例えば： PowerPointの表やグラフの内容理解 手書きのホワイトボード写真からの情報抽出 複雑な組織図の階層関係の

本記事は 2024 年 10 月 14 日に公開された “ Improving Utility customer experience and field service efficiency using generative AI ” を翻訳したものです。 導入 公益事業者は、私たちの家庭、企業、地域社会に不可欠なサービスを提供しています。世界のデジタル化、電化、資源の制約がますます進む中、彼らは前例のない課題に直面しています。 3 つの主要な課題が浮上しています。 インフラのモダナイズと拡張: 公益事

はじめに こんにちは。Security R&D チームのHan Juhongです。私たちのチームは、LINEヤフーグループのサービス全般のセキュリティ強化を目的に、さまざまなセキュリティ技術の研究、開...

生成AIの分野でもRAGは特に注目を集めており急成長している分野です。あまりに多くの情報に溢れており、各手法をどう捉えてよいか分かりにくい状況にあります。このブログではRAGがどのように成長し、どのような改善が試みられているのかを整理して、包括的で体系的に理解できるような説明を試みました。読んでいただいた方の理解の助けになれば幸いです。 RAGの概要 LLMは非常に優れた効果を発揮したものの、嘘を答えてしまうハルシネーションや古い知識での応答、回答の根拠の分からない不明瞭な推論といった問題を抱えています。

はじめに エブリーの吉田です。 今回はDatadogのMonitor等で使用する関数、Smoothing(平滑化)について書いていきます。 公式ドキュメントにも色々書いてあるのですが、数学から離れて久しいため、再確認も兼ねてできるだけ丁寧に説明していきます。 https://docs.datadoghq.com/ja/dashboards/functions/smoothing/ datadogのsmoothingはEWMA, Median, Autosmoothがありますが、それぞれ数式以外の設定の仕方

こんにちは。 開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 昨今の生成AIはどんどん新しいものが生まれ、日々キャッチアップを欠かせない日々を過ごしております。 9月もo1モデルが発表されましたが、今回はそちらではなく、8月に発表されたStructured Outputsを活用した取り組みについてご紹介します。 Structured Outputsとは openai.com Structured Outputsとは、モデルによって生成された出力が、開発者が提供する JSO

不安で団結するZ世代。AIで“自動化しすぎる未来”を止めるためには 2024.11.4 監　修 株式会社Laboro.AI　執行役員 マーケティング部長　和田 崇 概　要 10代〜20代のZ世代は、彼らを取り巻く世界に対する深い不安によって団結していると言われています。その一つにあるAIへの不安は、多くの点で気候変動について若者が抱える不安と似ていて、彼らはその両方が制御不能になりつつあると感じているようです。 ただし、AIに対しては期待や信頼の感情も混ざり合っていて、AIに不安を抱える学生が自分の将来に

7 月に、AWS は Llama 3.1 モデルが Amazon Bedrock で利用可能になったことをお知らせしました 。 生成 AI テクノロジーが驚くべきスピードで向上している中、今日は Amazon Bedrock で利用可能になった Meta からの新しい Llama 3.2 モデル をご紹介したいと思います。 Llama 3.2 は、 大規模言語モデル (LLM) における Meta の最新の進歩を象徴するマルチモーダルビジョンモデルと軽量モデルを提供し、強化された機能と、さまざまなユースケ

Insight Edgeのデータサイエンティストのki_ieです。 数理最適化の専門家として、これまでさまざまな課題を数理最適化問題としてモデリングしてきました。 モデリングはアルゴリズム設計と比べて注目を集めることが少ないようですが、 実際には技術的な知見・調査を要求する骨の折れるタスクです。 このタスクを簡単にしたいとは日々思っていたところですが、最近 OpenAI o1 というモデルの論理的推論能力が高いらしいという聞きました。この賢いLLMがモデリングのお手伝いをしてくれたら嬉しいですね！ 今日は

「SIAI2024」イベントレポート：Laboro.AI企業体験会を開催 2024.10.3 概　要 Laboro.AIでは、2024年9月6・７日に人工知能学会が主催した、企業と若手・学生AI人材のマッチングイベント「 第6回SIAI 産学クロススクエア『ミライをつくるAI人材』 」に出展しました。お台場にある産総研臨海副都心センター別館で開催されたこのイベントでは、有識者による講演や研究室展示のほか、企業展示として「1hour企業体験」が催され、二日間に渡り多くの学生・若手のAI人材が集まり盛況のうち

  こんにちは、サイオステクノロジーの佐藤陽です。 今回は前回に引き続き、Azure AI Searchのインデクシングに関して記事を書いていこうと思います。 前回 は基本的なインデクシングの部分に触れたので、今回は肝となるベクトル値のインデクシング部分を試してみたいと思います。 ベクトル値を扱うことで、ぐぐっと検索性能が高まるので、是非マスターしましょう。 はじめに 前回の記事ではAzure AI Searchにとりあえずインデックスを定義し、テキストデータをインデクシングする流れを紹介しまし

はじめに 私は金沢工業大学工学部情報工学科3年の松村拓洋です。 2024年9月、サイバーエージェント ...