この記事は、2023年6月17日(土)に行われたオープンソースカンファレンス 2023 Online/Hokkaidoにおける発表を編集部にて記事化したものです。 はじめに さくらインターネットの芦野と申します。 この記 […]

KEELチーム の相原です。 今回は流行に乗ってLLM(Large Language Models)の話です。 とは言うもののLLMは単なる流行ではなく新たなパラダイムと言っていいでしょう。 解けるタスクの幅は未だ底が知れず、機械学習とは求められる能力も多少異なることからソフトウェアエンジニアである私の周りでも大きな変化が起きていると感じます。 LIFULLでもこの変化をコーポレートメッセージである「あらゆるLIFEを、FULLに。」の実現に繋げるべくジェネレーティブAIプロダクト開発室が新設され、 一発

Research Engineerの大野です。 新しいスライドを公開したのでご紹介します。 speakerdeck.com スライドの概要 ここでは、機械学習モデルの学習の際のメモリ要件を下げることができる、Low-Rank Adaptation (LoRA) の評価を行いました。 言語モデルの大きさが加速度的に増えており、それに伴いハードウェアの要件が大きくなっています。第1回LLM勉強会の資料の図を下記に引用し、近年に作成された言語モデルのパラメータ数を示します。 第1回LLM勉強会の資料の図 評価で

Turing株式会社の自動運転MLチームでエンジニアをしている岩政です。 Turingの自動運転MLチームでは、完全自動運転の開発に向けて、走行データから自動走行が可能な深層学習モデルの作成およびデータ基盤の整備、視覚情報以外にも言語を活用したマルチモーダルな基盤モデルの作成に取り組んでいます。 本記事では、視覚情報を認識するモデルと大規模言語モデルを組み合わせて、「自動車走行時の特に危険な状況を説明することができないか？」という観点から、社内ハッカソンで取り組んだことを紹介します。 社内LLMハッカソン

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megat

こんにちは。メルカリのEngineering Officeの afroscript です。 2023年4月19日から4月21日までの3日間、メルカリではエンジニアのための技術のお祭り「Mercari Hack Fest (以下、Hack Fest)」が開催されました。 ※参考記事: 社内ハッカソン”Mercari Hack Fest”の作り方 ~ 2023年春ver. ~ 本記事では、Hack Festの最終日に行われた「Showcase Day」の様子や、Award受賞者のプロジェクトを紹介していきます

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっ

こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 先日、Google I/O 2023 が開催され、Google からさまざまな新サービス・新商品について発表されました。その中で多くの注目を浴びたのは、生成 AI に関する発表です。Google I/O 2023 では、新たな大規模言語モデル（以下、LLM）である「PaLM 2」や様々なサービスに生成 AI が組み込まれることが発表されました。 この記事では、今回発表された Google Cloud の生成 AI のサービスの中から

はじめに 5月からTuringに中途入社した棚橋です。リクルートで広告配信システムの開発や量子アニーリングに関する研究開発に関わっていました。現在、Turingのリサーチチームで完全自動運転システムの研究開発に取り組んでいます。 3行でまとめ 今月開催されるCVPR2023では約2400本もの論文が発表されるため、見るべき論文を事前に検索しておきたい。 社内で行われた大規模言語モデル（LLM）ハッカソンをきっかけに、LLMのEmbeddingを用いて論文の「検索・推薦・要約」システムを作成し公開した。 検

テスト設計をする際には、テスト技法を使うことで、効率的に効果的なテストケースを作ることができます。今回、本稿で紹介する技法となる「順序組み合わせテスト」と「波及全使用法：IDAU法」は、バージョンアップ開発や派生開発などで、テスト対象に変更が入ったときに役立つテスト技法です。これまでの7回の連載では、前半の4回はこの技法の特徴や具体的な使い方を湯本から紹介し、連載の後半では、後続研究として取り組んだCode Based IDAU法(CB-IDAU)とグラフ特徴量バグ予測モデル(GMT)を武田から紹介しまし

こんにちは、クラウドエース データML ディビジョン所属の源です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、 毎週Google Cloudの新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回、ご紹介するリリ

サーバーワークスの村上です。 NBAはいよいよカンファレンスファイナルが始まりますね！ 正直レイカーズがここまで勝ち上がるとは思っていませんでした、とっても楽しみです。 Los Angeles — Denver pic.twitter.com/QrA3zIQr2O— Los Angeles Lakers (@Lakers) 2023年5月15日 楽しみなことと言えば、2023年4月に新しいGenerative AI（生成系AI）サービス「Amazon Bedrock」が発表されましたね。現在は限定プレビュ

はじめまして、stmnで働いている@natsuokawaiと@starmiya_miyukiです。 stmnはRubyKaigi 2023にゴールドスポンサーとして協賛させていただいたので、エンジニア2人でRubyKaigi 2023にオフラインで参加してきました！ スポンサーブースの様子 どのセッションも興味深かったのですが、本レポートでは特に社内でも話題に上がることの多い型関係の5つのセッションについてまとめてみます。 Day1 Generating RBIs for dynamic mixins w

Google Cloud Digital Native Leader’s Meetup に参加しましたチーフデータサイエンティストの Mario です！ 2023年3月24日（金）、Google Cloud Japan 様より Digital Native Leader’s Meetup にご招待頂き、参加してきましたのでレポートします。とてもありがたいことに Lightning Talk のスピーカーとして登壇させて頂きましたので、その内容についても触れていきます。 日本のデータ活用のリーダー達が渋谷ス

チーフデータサイエンティストの Mario です！ 皆さん、ChatGPT、使ってますか？毎日何かと話題に事欠きませんね。私も日々 ChatGPT を使い倒しています。この記事も ChatGPT のサポートを得ながら書いています。unerry 社員も個人的に ChatGPT の活用する人が増え、度々 Slack が盛り上がっています。 ビッグデータと掛け合わせての活用方法は無限にあり、積極的に取り入れて行ってます。まだまだ私たちも個人レベルから組織レベルまで模索中ですが、一例としては以下があります。 &#