「大規模言語モデル（LLM）」に関連する技術ブログ
企業やコミュニティが発信する「大規模言語モデル（LLM）」に関連する技術ブログの一覧です。
全393件中 376 - 390件目
さくらのクラウド高火力プランを使って大規模言語モデル(LLM)を動かしてみよう 〜後編〜
2023/07/06
ブックマーク
この記事は、2023年6月17日(土)に行われたオープンソースカンファレンス 2023 Online/Hokkaidoにおける発表を編集部にて記事化したものです。 前編のあらまし さくらインターネットの芦野です。 前編の […]
さくらのクラウド高火力プランを使って大規模言語モデル(LLM)を動かしてみよう 〜前編〜
2023/07/05
ブックマーク
この記事は、2023年6月17日(土)に行われたオープンソースカンファレンス 2023 Online/Hokkaidoにおける発表を編集部にて記事化したものです。 はじめに さくらインターネットの芦野と申します。 この記 […]
LLM活用促進に向けたPlatform Engineeringからのアプローチ
2023/07/05
ブックマーク
KEELチーム の相原です。 今回は流行に乗ってLLM(Large Language Models)の話です。 とは言うもののLLMは単なる流行ではなく新たなパラダイムと言っていいでしょう。 解けるタスクの幅は未だ底が知れず、機械学習とは求められる能力も多少異なることからソフトウェアエンジニアである私の周りでも大きな変化が起きていると感じます。 LIFULLでもこの変化をコーポレートメッセ
スライド紹介: LoRAによるメモリ使用量削減の検証
2023/07/03
ブックマーク
Research Engineerの大野です。 新しいスライドを公開したのでご紹介します。 speakerdeck.com スライドの概要 ここでは、機械学習モデルの学習の際のメモリ要件を下げることができる、Low-Rank Adaptation (LoRA) の評価を行いました。 言語モデルの大きさが加速度的に増えており、それに伴いハードウェアの要件が大きくなっています。第1回LLM勉強会の資料の図を下記に引用し、近年
大規模言語モデルを使って自動車走行時の状況説明をさせてみる？ -社内LLMハッカソン記-
2023/06/30
ブックマーク
Turing株式会社の自動運転MLチームでエンジニアをしている岩政です。 Turingの自動運転MLチームでは、完全自動運転の開発に向けて、走行データから自動走行が可能な深層学習モデルの作成およびデータ基盤の整備、視覚情報以外にも言語を活用したマルチモーダルな基盤モデルの作成に取り組んでいます。 本記事では、視覚情報を認識するモデルと大規模言語モデルを組
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1
2023/06/29
ブックマーク
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開
Mercari Hack Fest #7 終了！Award受賞チームを紹介します
2023/06/22
ブックマーク
こんにちは。メルカリのEngineering Officeの afroscript です。 2023年4月19日から4月21日までの3日間、メルカリではエンジニアのための技術のお祭り「Mercari Hack Fest (以下、Hack Fest)」が開催されました。 ※参考記事: 社内ハッカソン”Mercari Hack Fest”の作り方 ~ 2023年春ver. ~ 本記事では、Hack Festの最終日に行われた「Showcase Day」の様子や、Award受賞者のプロジェクトを紹介していきま
大規模モデルを支える分散並列学習のしくみ Part1
2023/06/20
ブックマーク
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必
Generative AI Studio でファインチューニングする
2023/06/16
ブックマーク
こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 先日、Google I/O 2023 が開催され、Google からさまざまな新サービス・新商品について発表されました。その中で多くの注目を浴びたのは、生成 AI に関する発表です。Google I/O 2023 では、新たな大規模言語モデル（以下、LLM）である「PaLM 2」や様々なサービスに生成 AI が組み込まれることが発表されました。
GPT-3.5-turboの新機能を使ってCVPRの論文を良い感じに検索・推薦・要約するシステム
2023/06/14
ブックマーク
はじめに 5月からTuringに中途入社した棚橋です。リクルートで広告配信システムの開発や量子アニーリングに関する研究開発に関わっていました。現在、Turingのリサーチチームで完全自動運転システムの研究開発に取り組んでいます。 3行でまとめ 今月開催されるCVPR2023では約2400本もの論文が発表されるため、見るべき論文を事前に検索しておきたい。 社内で行われた大
【第8回】変更の影響範囲に対するテスト技法の今後の展開
2023/05/31
ブックマーク
テスト設計をする際には、テスト技法を使うことで、効率的に効果的なテストケースを作ることができます。今回、本稿で紹介する技法となる「順序組み合わせテスト」と「波及全使用法：IDAU法」は、バージョンアップ開発や派生開発などで、テスト対象に変更が入ったときに役立つテスト技法です。これまでの7回の連載では、前半の4回はこの技法の特徴や具体的な使
Vertex AIのGenerative AIサポートの概要
2023/05/19
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、デ
Amazon SageMaker Jumpstartで大規模言語モデル（LLM）を試してみた
2023/05/18
ブックマーク
サーバーワークスの村上です。 NBAはいよいよカンファレンスファイナルが始まりますね！ 正直レイカーズがここまで勝ち上がるとは思っていませんでした、とっても楽しみです。 Los Angeles — Denver pic.twitter.com/QrA3zIQr2O— Los Angeles Lakers (@Lakers) 2023年5月15日 楽しみなことと言えば、2023年4月に新しいGenerative AI（生成系AI）サービス「Amazon Bedrock」が発表されましたね。現在は
RubyKaigi 2023 参加レポート
2023/05/15
ブックマーク
はじめまして、stmnで働いている@natsuokawaiと@starmiya_miyukiです。 stmnはRubyKaigi 2023にゴールドスポンサーとして協賛させていただいたので、エンジニア2人でRubyKaigi 2023にオフラインで参加してきました！ スポンサーブースの様子 どのセッションも興味深かったのですが、本レポートでは特に社内でも話題に上がることの多い型関係の5つのセッションについてまとめてみます
Google Cloud Digital Native Leader’s Meetup に参加しました
2023/04/21
ブックマーク
Google Cloud Digital Native Leader’s Meetup に参加しましたチーフデータサイエンティストの Mario です！ 2023年3月24日（金）、Google Cloud Japan 様より Digital Native Leader’s Meetup にご招待頂き、参加してきましたのでレポートします。とてもありがたいことに Lightning Talk のスピーカーとして登壇させて頂きましたので、その内容についても触れていきます。 日本のデータ活用のリーダー