「大規模言語モデル(LLM)」に関連する技術ブログ
企業やコミュニティが発信する「大規模言語モデル(LLM)」に関連する技術ブログの一覧です。
全503件中 481 - 495件目
大規模言語モデル(LLM)の作り方 GPT-NeoX編 Part 1
2023/07/19
ブックマーク
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 の藤井(@okoge_kaz)です。 大規模モデルへの注目の高さを肌で感じる今日このごろですが、事前学習の知見については依然として十分に共有されているとは言い難いと個人的に感じています。 Turing株式会社では、次世代の自動運転技術を支える技術の1つとして大規模言語モデルに注目してお
学会イベント「人工知能学会全国大会(JSAI 2023)」参加報告
2023/07/14
ブックマーク
こんにちは、AI戦略室の清田です。 2023年3月に岐阜で開催された DEIM 2023 に続き、6月に熊本で開催された人工知能学会全国大会(JSAI 2023)に参加いたしました。 www.ai-gakkai.or.jp 今年は、恒例の「不動産とAI」をテーマとした企画セッションにも関わりましたので、その内容も合わせて報告します。 生成AIブームがAI研究コミュニティにもたらした影響 今回のJSAI 2023は、過去
【社内研修】プロンプトデザイン事始め
2023/07/14
ブックマーク
はじめに 2023年4月に入社した竹内博俊と池田柳之介と申します。 今年の3月にOpenAIはChatGPT APIを公開し、
Generative AI support on Vertex AIを徹底解説!
2023/07/11
ブックマーク
G-gen の又吉です。当記事では、Goolge Cloud (旧称 GCP) の Vertex AI でサポートされた Generative AI を解説します。 Vertex AI での Generative AI サポート 概要 Generative AI とは Generative AI モデル Generative AI Studio 概要 利用可能モデル 概要 モデルサイズ モデルのライフサイクル 言語サポート Model Garden 言語モデル プロンプト設計 プロンプトとは パラメータ値 プロンプトのサンプル アクセ
PaLM 2 APIを使ってtext-bisonモデルに感情分析させてみた
2023/07/07
ブックマーク
クラウドエース宮崎です。 蒸し暑い日々が続きますが、皆さん夏を楽しんでいますでしょうか。私は早く涼しくなって欲しいです。 ということで、今回は6月9日にGAとなったVertex AIのPaLM 2 API for text-bisonを利用してサクッとこんな憂鬱な感情を分析してみたいと思います。 はじめに 本記事の趣旨は、「GAになったばかりのPaLM APIをとりあえず活用してみた」といったものに
さくらのクラウド高火力プランを使って大規模言語モデル(LLM)を動かしてみよう 〜後編〜
2023/07/06
ブックマーク
この記事は、2023年6月17日(土)に行われたオープンソースカンファレンス 2023 Online/Hokkaidoにおける発表を編集部にて記事化したものです。 前編のあらまし さくらインターネットの芦野です。 前編の […]
さくらのクラウド高火力プランを使って大規模言語モデル(LLM)を動かしてみよう 〜前編〜
2023/07/05
ブックマーク
この記事は、2023年6月17日(土)に行われたオープンソースカンファレンス 2023 Online/Hokkaidoにおける発表を編集部にて記事化したものです。 はじめに さくらインターネットの芦野と申します。 この記 […]
LLM活用促進に向けたPlatform Engineeringからのアプローチ
2023/07/05
ブックマーク
KEELチーム の相原です。 今回は流行に乗ってLLM(Large Language Models)の話です。 とは言うもののLLMは単なる流行ではなく新たなパラダイムと言っていいでしょう。 解けるタスクの幅は未だ底が知れず、機械学習とは求められる能力も多少異なることからソフトウェアエンジニアである私の周りでも大きな変化が起きていると感じます。 LIFULLでもこの変化をコーポレートメッセ
スライド紹介: LoRAによるメモリ使用量削減の検証
2023/07/03
ブックマーク
Research Engineerの大野です。 新しいスライドを公開したのでご紹介します。 speakerdeck.com スライドの概要 ここでは、機械学習モデルの学習の際のメモリ要件を下げることができる、Low-Rank Adaptation (LoRA) の評価を行いました。 言語モデルの大きさが加速度的に増えており、それに伴いハードウェアの要件が大きくなっています。第1回LLM勉強会の資料の図を下記に引用し、近年
大規模言語モデルを使って自動車走行時の状況説明をさせてみる? -社内LLMハッカソン記-
2023/06/30
ブックマーク
Turing株式会社の自動運転MLチームでエンジニアをしている岩政です。 Turingの自動運転MLチームでは、完全自動運転の開発に向けて、走行データから自動走行が可能な深層学習モデルの作成およびデータ基盤の整備、視覚情報以外にも言語を活用したマルチモーダルな基盤モデルの作成に取り組んでいます。 本記事では、視覚情報を認識するモデルと大規模言語モデルを組
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1
2023/06/29
ブックマーク
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開
Mercari Hack Fest #7 終了!Award受賞チームを紹介します
2023/06/22
ブックマーク
こんにちは。メルカリのEngineering Officeの afroscript です。 2023年4月19日から4月21日までの3日間、メルカリではエンジニアのための技術のお祭り「Mercari Hack Fest (以下、Hack Fest)」が開催されました。 ※参考記事: 社内ハッカソン”Mercari Hack Fest”の作り方 ~ 2023年春ver. ~ 本記事では、Hack Festの最終日に行われた「Showcase Day」の様子や、Award受賞者のプロジェクトを紹介していきま
大規模モデルを支える分散並列学習のしくみ Part1
2023/06/20
ブックマーク
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必
Generative AI Studio でファインチューニングする
2023/06/16
ブックマーク
こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 先日、Google I/O 2023 が開催され、Google からさまざまな新サービス・新商品について発表されました。その中で多くの注目を浴びたのは、生成 AI に関する発表です。Google I/O 2023 では、新たな大規模言語モデル(以下、LLM)である「PaLM 2」や様々なサービスに生成 AI が組み込まれることが発表されました。
GPT-3.5-turboの新機能を使ってCVPRの論文を良い感じに検索・推薦・要約するシステム
2023/06/14
ブックマーク
はじめに 5月からTuringに中途入社した棚橋です。リクルートで広告配信システムの開発や量子アニーリングに関する研究開発に関わっていました。現在、Turingのリサーチチームで完全自動運転システムの研究開発に取り組んでいます。 3行でまとめ 今月開催されるCVPR2023では約2400本もの論文が発表されるため、見るべき論文を事前に検索しておきたい。 社内で行われた大