本記事は  BASE アドベントカレンダー 2023  の15日目の記事です。 はじめに こんにちは。BASEのデータ分析チーム（Data Strategy Team）で不正対策を行ったり、機械学習を触ったりしている竹内です。 ChatGPT（GPT-3.5 Turbo）が2022年の11月に公開されてから、だいたい1年以上が経ったことになります。 そしてこの1年近くでChatGPTに匹敵する多数のLLMの公開や国産LLM作成の動き、拡散モデルを主軸とした画像生成AIの台頭など様々なムーブメントがあり、そ

本記事は、「LabBaseテックカレンダー Advent Calendar 2023」 15日目の記事です。 https://qiita.com/advent-calendar/2023/labbase はじめに 株式会社LabBaseでインターンをしている佐藤拓真と申します。 本記事では、attentionについて、特にTransformerにおいて使用されている形 に注目して、数式を追った理論的な理解をすること を目指します。 数式やその解説は、『自然言語処理の基礎』[岡崎, 2022] に大幅に依拠

この記事は CyberAgent Developers Advent Calendar 2023 1 ...

Turingのリサーチチームで完全自動運転の研究開発を行なっている棚橋です。Turingアドベントカレンダー14日目の記事として、DeepSpeedについて取り上げます。 DeepSpeedはMicrosoftによって開発されたライブラリで、一言で言うと、「1つのGPUに乗り切らないような巨大MLモデルをなんとか学習させるため」のツールです。特に、この論文で提案されているDeepSpeedのZero Redundancy Optimizer (ZeRO)という技術が非常に注目されています。 また、Deep

はじめに こんにちは。 株式会社エブリーの開発本部データ&AIチーム(DAI)でデータエンジニアをしている吉田です。 この記事は every Tech Blog Advent Calendar の13日目の記事になります。 今回は、社内ChatApp向けに作成した、RAG(Retrieval-Augmented Generation)と呼ばれる手法を用いてコードを解説する機能について紹介します。 社内向けChatApp作成の取り組みは こちらの記事 で紹介されています。 LLMを利用したコード解説

コンタクトセンターを管理されている方であれば、エージェントが顧客の信頼とロイヤリティの構築に果たす重要な役割をご存知でしょう。コンタクトセンターに問い合わせをしたことのある人なら、複雑な意思決定を導き、必要な場合には迅速かつ正確なソリューションを提供するエージェントがいかに重要であるかをご存知でしょう。これには時間がかかり、正しく行われなければ、フラストレーションにつながりかねません。 Amazon Connect の生成系 AI 機能 本日、コンタクトセンターが顧客にサービスを提供する方法を変革するため

この記事は CyberAgent Developers Advent Calendar 2023 1 ...

この記事は、 NTTコミュニケーションズ Advent Calendar 2023 11日目の記事です。 はじめに こんにちは。コミュニケーション&アプリケーションサービス部の石井です。 今年はAI分野においては LLM 1 の話題で持ちきりの一年でしたが、そんな LLM とは全く関係のないグラフニューラルネットワーク（以下、GNN）の説明性に関する手法である GNNExplainer を題材に扱っていこうと思います。 GNN 2 とはグラフで表現された構造化データを深層学習で扱うためのニューラル

この記事は CyberAgent Developers Advent Calendar 2023 1 ...

はじめに この記事は CyberAgent Developers Advent Calendar 2 ...

本記事は TechHarmony Advent Calendar 12/7付の記事です。 こんにちは。SCSK石原です。 AWS re:Invent2023にて、 Amazon BedrockのKnowledge baseとAgentsがGA されたと発表がありました。今回はこのうちKnowledge baseを利用して、RAG（Retrieval Augment Generation）を試してみたいと思います。 RAGにより、データストアから情報を取得して大規模言語モデル (LLM) によって生成された

生成系 AIの急速な成長は、有望な新しいイノベーションをもたらすともに、新たな課題も提起しています。お客様がお客様の環境のセキュリティに関する保証を規制当局や監査人に提供できるよう、AWS では責任を持って AI を開発することに全力を注いでいます。 AWS Audit Manager は、 Amazon Bedrock におけるエビデンス収集を自動化する生成系 AI の AWS ベストプラクティスフレームワークの最初のバージョンを発表しました。このフレームワークにより、お客様は生成系 AI の可能性を最

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 横田研究室B4の藤井(@okoge_kaz)です。 2022年11月末にChatGPTがリリースされてから早1年、2023年は大規模言語モデル開発の領域において飛躍の１年となりました。国内でもCyberAgent, PFN, ELYZAを筆頭に3B〜13B程度のモデルが多数公開され、多くの方にとってLLMが身近になった1年であったかと思われます。 Turingでは完全自動運転の実現に向けた研究開発の一環としてLLMに早くか

アドベントカレンダー2日目 本記事はLabBase テックカレンダー Advent Calendar 2023 2 日目です。 イントロダクション こんにちは、Labbaseのリサーチエンジニアの松井です。 リサーチエンジニアチームでは新しい技術を自社のプロダクトに反映させるにはどうしたら良いかを検証しています。今回は、大規模言語モデルの適応可能な事例や、Labbaseにおける活用について紹介いたいします。 大規模言語モデル（LLMs）の概要 大規模言語モデル（LLMs）は、膨大なテキストデータを基にして

Turing株式会社のアドベントカレンダー2日目です！1日目はCTOの青木さんのカレー屋さんとスタートアップ：CTO of the year 2023でオーディエンス賞受賞です。 自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは完全自動運転車の開発を目標としており、自動運転AIや車両、LLMの開発など様々なことに取り組んでいます。今回の話は、自動運転AIの物体認識などのPerceptionタスクにおいて個人的に面白いなと思ったVision-CentircなEnd-to-E