はじめに Turingでは完全自動運転実現に向けて、LLMやそれを用いたVision Langauge（V&L）モデルの開発に取り組んでいます。最近は経済産業省／NEDOの「競争力のある生成AI基盤モデルの開発を支援する「GENIACプロジェクト」」にも採択されるなど、大規模な生成AIの開発に精力的に取り組んでいます。 特に、Vision Languageモデルについては、Heronというライブラリとモデル群を公開しており、今回は新しいモデルとその学習レシピを公開します。また、日本語のV&

皆さん、お疲れ様です。ニフティ基幹システムグループの山田（山田一族）です。 突然ですが、皆さんも昔は英語を話せるようになりたいと思っていませんでしたか？私も昔はそう思っていた時期がありました。 英語を話せるようになりたいと思って、かれこれ8年ぐらいは通勤時の電車内で BBC放送 のpodcastを聞いています。ですが一向に英語を話せるようにはなりません。やはり聞くだけではだめで、能動的に英語フレーズを作り出す「会話」という動作をしていかないとダメなのでしょう。 では、その会話をしたいのですが、典型的な日本

この記事は、 Generative AI Infrastructure at AWS を翻訳したものです。 生成 AI モデルの構築やトレーニング、そして正確で洞察に満ちた出力の予測と提供には、大規模なインフラストラクチャを必要とします。 大規模言語モデル（LLM）や基礎モデル（FM）が生成する高品質の合成テキスト、画像、その他のメディアの出力には、大量のデータが必要です。 まず、モデルのトレーニングに使用されるデータセットには、一般的に 10 億個ほどの変数（パラメータ）が含まれています。 このペタバイ

はじめに AI Team MLOps エンジニアの西原です。2024 年 1 月にローカル環境で Kubeflow Pipelines を実行するドキュメントが公式から 公開 されました。今回はそのドキュメントを参考にローカル環境で Kubeflow Pipelines を実行する方法を紹介します。 はじめに Kubeflow Pipelines とは kfp を使った開発の課題 kfp を手元の開発環境で実行する ローカル環境でコンポーネント実行 アーティファクトを出力 任意のコンテナイメージを使ったコ

このブログは、 Modular functions design for Advanced Driver Assistance Systems (ADAS) on AWS を翻訳したのものです。 過去 10 年間で、多くのプレイヤーがディープニューラルネットワーク（DNN）を使った自動運転車（AV）システムを開発してきました。これらのシステムはシンプルなルールベースのシステムから進化し、先進運転支援システム（ADAS）や完全な自動運転車へと変わってきています。これらのシステムはペタバイト規模のデータと数千

このブログは、 Modular functions design for Advanced Driver Assistance Systems (ADAS) on AWS を翻訳したのものです。 過去 10 年間で、多くのプレイヤーがディープニューラルネットワーク（DNN）を使った自動運転車（AV）システムを開発してきました。これらのシステムはシンプルなルールベースのシステムから進化し、先進運転支援システム（ADAS）や完全な自動運転車へと変わってきています。これらのシステムはペタバイト規模のデータと数千

はじめに 基盤モデル がAIの新潮流となりました。基盤モデルというとやはり大規模言語モデルが人気ですが、リクルートでは、画像

TuringでResearcherをしているいのいちです。 先日、会社にサポートしていただいてニューオーリンズで開催されたNeurIPS 2023に参加させていただくことができたので、今年のNeurIPSで発表された自動運転系の論文をいくつかピックアップして紹介しようと思います。 NeurIPSとは NeurIPSは1987年から開かれている機械学習系でトップの国際会議です。この会議が発足した当初はBiologicalとArtificialの両方の側面からニューラルネットワークを研究しようという趣旨があり

こんにちは、ホシイです。 貧乏性なので、仕事中はたいてい費用のことを考えています。 今回は、機械学習インフラにも関連する記事です。AI に関しては SQUARE ENIX AI 技術ブログ もありますので、ご興味がありましたらぜひご覧ください！ GPU をお安く、好きなときに好きなだけ利用したい AI の話題花盛りの昨今、アプリケーションで GPU を利用する機会も増えてきました。GPU の用途もいろいろとありますが、最近でわたし周辺の需要として特に多いのは、機械学習です。ざっくり言うとタスクに対してパラ

はじめに Turingアドベントカレンダー17日目です！今日は Research チームの柏谷が担当します。 Research チームでは、LLMによる完全自動運転を実現するための技術開発を行っています。その中で重要な技術の１つが量子化です。量子化によって少ビットでパラメータを表現できれば、LLM の膨大なパラメータのデータ圧縮が可能となります。量子化実装はいろいろと考えられますが、今回は実装にアクセス可能な llama.cpp とその量子化技術について見ていきましょう！ llama.cpp とは Geo

こんにちは、 RevComm Research Dept. Development Groupの id:tmotegi です。趣味は積読と日本酒を嗜んでおります。昨日は 仙禽の雪だるま を飲みました。現世で2度目のアドベントカレンダーなので緊張します。 この記事は RevComm Advent Calendar 2023  、15日目の記事です。昨日の記事は豊崎さんによる「 CodemagicでFlutterアプリをビルドする 」でした。 私達のチームは、 チームトポロジー のイネイブリングチームに相当す

Turingのリサーチチームで完全自動運転の研究開発を行なっている棚橋です。Turingアドベントカレンダー14日目の記事として、DeepSpeedについて取り上げます。 DeepSpeedはMicrosoftによって開発されたライブラリで、一言で言うと、「1つのGPUに乗り切らないような巨大MLモデルをなんとか学習させるため」のツールです。特に、この論文で提案されているDeepSpeedのZero Redundancy Optimizer (ZeRO)という技術が非常に注目されています。 また、Deep

この記事は CyberAgent Developers Advent Calendar 2023 1 ...

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 横田研究室B4の藤井(@okoge_kaz)です。 2022年11月末にChatGPTがリリースされてから早1年、2023年は大規模言語モデル開発の領域において飛躍の１年となりました。国内でもCyberAgent, PFN, ELYZAを筆頭に3B〜13B程度のモデルが多数公開され、多くの方にとってLLMが身近になった1年であったかと思われます。 Turingでは完全自動運転の実現に向けた研究開発の一環としてLLMに早くか

RevComm Research の加藤集平です。8月下旬に音声処理のトップカンファレンスである INTERSPEECH で発表するため、また引き続いて行われた ISCA Speech Synthesis Workshop (SSW) に参加するためにヨーロッパに出張をしてきました。今回の記事では、INTERSPEECH, SSWおよび私の発表について紹介いたします。 加藤集平（かとう　しゅうへい） シニアリサーチエンジニア。RevCommには2019年にジョインし、音声処理を中心とした研究開発を担当。A