この記事は CyberAgent Developers Advent Calendar 2023 1 ...

はじめに この記事は CyberAgent Developers Advent Calendar 2 ...

本記事は TechHarmony Advent Calendar 12/7付の記事です。 こんにちは。SCSK石原です。 AWS re:Invent2023にて、 Amazon BedrockのKnowledge baseとAgentsがGA されたと発表がありました。今回はこのうちKnowledge baseを利用して、RAG（Retrieval Augment Generation）を試してみたいと思います。 RAGにより、データストアから情報を取得して大規模言語モデル (LLM) によって生成された

生成系 AIの急速な成長は、有望な新しいイノベーションをもたらすともに、新たな課題も提起しています。お客様がお客様の環境のセキュリティに関する保証を規制当局や監査人に提供できるよう、AWS では責任を持って AI を開発することに全力を注いでいます。 AWS Audit Manager は、 Amazon Bedrock におけるエビデンス収集を自動化する生成系 AI の AWS ベストプラクティスフレームワークの最初のバージョンを発表しました。このフレームワークにより、お客様は生成系 AI の可能性を最

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 横田研究室B4の藤井(@okoge_kaz)です。 2022年11月末にChatGPTがリリースされてから早1年、2023年は大規模言語モデル開発の領域において飛躍の１年となりました。国内でもCyberAgent, PFN, ELYZAを筆頭に3B〜13B程度のモデルが多数公開され、多くの方にとってLLMが身近になった1年であったかと思われます。 Turingでは完全自動運転の実現に向けた研究開発の一環としてLLMに早くか

アドベントカレンダー2日目 本記事はLabBase テックカレンダー Advent Calendar 2023 2 日目です。 イントロダクション こんにちは、Labbaseのリサーチエンジニアの松井です。 リサーチエンジニアチームでは新しい技術を自社のプロダクトに反映させるにはどうしたら良いかを検証しています。今回は、大規模言語モデルの適応可能な事例や、Labbaseにおける活用について紹介いたいします。 大規模言語モデル（LLMs）の概要 大規模言語モデル（LLMs）は、膨大なテキストデータを基にして

Turing株式会社のアドベントカレンダー2日目です！1日目はCTOの青木さんのカレー屋さんとスタートアップ：CTO of the year 2023でオーディエンス賞受賞です。 自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは完全自動運転車の開発を目標としており、自動運転AIや車両、LLMの開発など様々なことに取り組んでいます。今回の話は、自動運転AIの物体認識などのPerceptionタスクにおいて個人的に面白いなと思ったVision-CentircなEnd-to-E

★SHIFTGroup技術ブログ（公式note）でアドベントカレンダー★ SHIFT公式ブロガーによるブログ版アドベンドカレンダーで、SHIFTらしい多彩な最新記事をクリスマスまでの25日間に毎日お届けします！ 《まとめ記事も公開中》 SHIFT公式アドカレ2023まとめ記事 SHIFT公式アドカレ2022はじめます SHIFTGroup技術ブログTOP ★★SHIFT公式ブログでアドベントカレンダー★★ 昨日の記事は、 『バズワードから紐解くIT業界のこれから ～ユビキタスからLLMまで～』 でした。い

はじめに こんにちは、クラウドエース データMLディビジョン所属の伊藤です。 今回は Apache Beam の RunInference という機能を使って、Google Cloud の Dataflow で大規模言語モデルを使ったストリーミング処理（リアルタイム処理）を行う方法を紹介したいと思います。 LLM とは 大規模言語モデル（Large Language Model、LLM）とは、GPT-3 や PaLM2 などのように、大量のテキストデータを使って学習された自然言語処理モデルのことを指します

サーバーワークスの村上です。 re:Invent 2023、今年も始まりましたね。 さっそくBedrock関連のアップデートを紹介します。 結論 AWS Step Functionsとは？ AWS Step Functionsに追加されたAmazon BedrockのAPIは2つ LLMの出力をLLMにチェックさせてみた 全体概要 まずはステートを追加する Claude 2をinvokeする設定 入力 出力 Jurassic-2 Ultraでチェックする設定 入力 出力 動作確認 他にも様々な使い方 所感

はじめに こんにちは、クラウドエースのシステム開発部 SRE ディビジョンの渡辺です。Google Cloud Next Tokyo '23 で目の当たりにした生成 AI の可能性に心躍り、その興奮は今も続いています。 今回は、Google Cloud Next Tokyo '23 で参加したセッションの中から、Vertex AI Extensions についてその概要とセッションの要点に焦点を当てて紹介します。 ! 記事執筆時点（2023年11月） 本記事では、Vertex AI Extensions

自然言語処理におけるファインチューニング【ビジネス成長のためのAI用語】 2023.11.16 株式会社Laboro.AI　機械学習エンジニア　趙 心怡 リードマーケター　熊谷勇一 用語解説 ファインチューニングとは、ニューラルネットワークにおける機械学習の中で、あるデータセットを使って事前学習した訓練済みモデルの一部または全体を、別のデータセットを使って再訓練・微調整して仕上げることです。 特に自然言語処理、中でも近年注目を集める文章生成AIにおいては、プロンプト（ユーザーが入力する指示や質問）とそれに

KEELチーム の相原です。 今回はeBPFを利用してKubernetesクラスタの可観測性の隙間を埋めている話です。 前回のエントリではLLMにうつつを抜かしていたので本業(?)の話をしようと思います。 www.lifull.blog LIFULLの可観測性の現在地 eBPFとは 可観測性の隙間 NAT Loopback eBPFを実行するには BPF CO-RE libbpf-rsを利用したNAT Loopbackの検知 1. (ユーザ空間) コマンドライン引数として受け取ったDNSをTTLごとに名前

Amazon Comprehend を使用すると、機械学習の専門家でなくても、テキストからインサイトを引き出すことができます。Comprehend では、組み込みモデルを使用して入力文書の構文を分析し、エンティティ、イベント、キーフレーズ、個人を特定できる情報 (PII)、および特定のエンティティ (ブランドや製品など) に関連付けられた全体的なセンチメントまたは複数のセンチメントを見つけることができます。 11月9日、有害なコンテンツを検出する機能が追加されました。この新機能は、エンドユーザー向けにより

AI業界でのキャリアを考える。共催キャリアイベントをレポート 2023.11.14 概　要 Laboro.AIでは、2023年10月16日（月）、大手製造メーカーであるオムロン株式会社（以下、オムロン）と、最新のAI技術の研究開発で価値を創出するオムロンサイニックエックス株式会社（以下、OSX）と共催キャリアセミナー「 AI業界でのキャリアを考える ～ 大企業AI研究所とAIスタートアップ それぞれの魅力を徹底議論 」を開催しました。 100名を超える応募があり大盛況に終わったこのイベントのうち、本記事で