言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視覚情報やセンサーデータなどの多様な入力を受け入れることで、車の周囲の状況を正確に認識します。さらに、世界モデルを適用することで、高度な空間認知と身体性を獲得し、実世界に対応した生成AIを実現します。 https://tur.ing/ より引用 しかしな

はじめに Turing Researchチームの佐々木(kento_sasaki1)です。Researchチームでは、完全自動運転の実現に向けて、マルチモーダル基盤モデルの開発に取り組んでいます。 先日、私たちは日本語Vision Language Model (VLM) のベンチマーク「Heron-Bench」を新たに公開しました。本記事ではHeron-Benchについて解説し、日本語VLMの現状と今後の展望について述べます。詳細についてはarXiV論文 「HERON-BENCH: A BENCKMARK FOR EVALUATING VISION LANGUAGE MODELS

1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。

最近、ラズパイにグラボを接続した、ルーターにGPUを接続したなど、いろんなものにGPUを繋げるのが流行っているようですが、似たようなことをJetsonでやったという記事です。 設定方法だけ書くとわりと短いので、最初に経緯などを書いています。結論だけ欲しい方は、こちらに飛んでください。 はじめに Jetson AGX Orinというのは、NVIDIAが開発しているエッジコンピューティング向けのモジュール製品で、エッジ環境としては非常に強力なAI能力（200~275TOPS）を持っています。 https://www.nvidia.com/ja-jp/autonomous-machine

はじめに Turingでは完全自動運転実現に向けて、LLMやそれを用いたVision Langauge（V&L）モデルの開発に取り組んでいます。最近は経済産業省／NEDOの「競争力のある生成AI基盤モデルの開発を支援する「GENIACプロジェクト」」にも採択されるなど、大規模な生成AIの開発に精力的に取り組んでいます。 特に、Vision Languageモデルについては、Heronというライブラリとモデル群を公開しており、今回は新しいモデルとその学習レシピを公開します。また、日本語のV&LモデルをGPT-4を用いて評価するためのプログラムも公開します。 Hero

はじめに Turing UXチームでソフトウェアエンジニアをしています佐々木 (kento_sasaki1) です。Turingは「We Overtake Tesla」をミッションに完全自動運転EVメーカーを目指すスタートアップです。 UXチームでは車載ソフトウェアの開発を行っており、ユーザーインターフェースからハードウェア抽象化レイヤに至るまで幅広い範囲を担当しています。 本記事では、ハードウェア抽象化レイヤ (HAL) のC++実装に焦点を当て、C++テストフレームワークであるGoogleTest, gMockを用いたユニットテストの導入方法について紹介します。さらに、実践編とし

Turing株式会社の自動運転チームでインターンしている東大B3の大野です。 自動運転チームでは、完全自動運転の実現を目指して自動運転AIを開発しています。モデル開発の際に、「雨の日に高速を走っていて先行車がいない」や「交差点で歩行者がいる中、右折している」など、特定の状況の走行データが必要になることがあります。 今回私は、動画に対して天気や歩行者の数などのラベルをデータベース化し、検索できるシステムを、Vision-Languageモデルを使って開発しました。この記事では、このシステムの作成にあたって取り組んだことについて説明します。 作成したGUI 課題 Turingでは、走行パ

TuringでResearcherをしているいのいちです。 先日、会社にサポートしていただいてニューオーリンズで開催されたNeurIPS 2023に参加させていただくことができたので、今年のNeurIPSで発表された自動運転系の論文をいくつかピックアップして紹介しようと思います。 NeurIPSとは NeurIPSは1987年から開かれている機械学習系でトップの国際会議です。この会議が発足した当初はBiologicalとArtificialの両方の側面からニューラルネットワークを研究しようという趣旨があり、長らく神経科学からも理解しようという趣旨があったようです。現在はこの国際会議

アドベントカレンダー22日目を担当します！モデル開発チームの塩塚です。 本日は金曜日で、このままクリスマス突入ですね。そしてそのまま年末年始を迎えるこの時期は少しだけ楽をしたいですよね。 そんな我々にピッタリの機械学習リポジトリがあります。それがこちら Language Segment-Anything です。 公式リポジトリより引用 こちらのオープンソースプロジェクトは、画像とテキスト入力だけで物体検出・セグメンテーションをしてくれます。とても便利ですね。従来は、物体検出・セグメンテーションしたいときに、検出したいオブジェクトに対応したモデルを探して、探しても画像のサイズや画角によっ

今年の流行語といえばLLMですが、中でもローカルLLMの技術がプログラマ的には気になります。何かに使えそう！ そこでローカルLLMの代名詞である（？）llama.cppを眺めていたところ、堂々とPackage.swiftがあるのに気づきました。 https://github.com/ggerganov/llama.cpp/tree/master ということは、自力で難しいことをしなくても、簡単にSwiftから利用できそうです。 今更感もありますが、この記事ではllama.cppをSwiftから使って色々遊んでみたいと思います。 この記事は私のインターン先であるTuringアドベントカ

はじめに Turing株式会社のアドベントカレンダー20日目！ 今回は、UXチームの井上(@yoinoue5212)が担当します！ UXチームではAndroidベースのIVIシステム開発を進めています。 ちなみに、IVIシステムとは、速度計などを表示する計器クラスター部分と、ナビやエンタメを提供するセンターディスプレイ部分を総称した概念です。 UXを意識するうえで、より簡単に、よりシンプルに、デバイスを操作するための方法として、"OK, Google. ~やって"のようなボイスアシスタント機能が考えられます。 本記事では、そんな便利なボイスアシスタントを作るための第一歩である音声認

1.はじめに Turingで自動運転の開発をしている猪狩と申します。現在、私達のチームは2024年末リリース予定の少量生産車に搭載される自動運転システムの開発を行っております。Turing では以前より「end-to-end deep learning modelによる自動運転システム」を謳っているわけですが、いま現在deep learningモデルがどこまで運転操作を代替できるのか、2024年末リリース予定の少量生産車に搭載されるADASシステムの開発者の視点から紹介出来ればと思います。 2.Deep vs ルールベース まずは、Deep learning と、それを使わない場

はじめに Turingアドベントカレンダー17日目です！今日は Research チームの柏谷が担当します。 Research チームでは、LLMによる完全自動運転を実現するための技術開発を行っています。その中で重要な技術の１つが量子化です。量子化によって少ビットでパラメータを表現できれば、LLM の膨大なパラメータのデータ圧縮が可能となります。量子化実装はいろいろと考えられますが、今回は実装にアクセス可能な llama.cpp とその量子化技術について見ていきましょう！ llama.cpp とは Georgi Gerganov さんが作った PC の CPU だけで LLM が動

はじめに Turing UXチームでソフトウェアエンジニアをしています佐々木(kento_sasaki1)です。Turingは「We Overtake Tesla」をミッションに掲げ、2030年に完全自動運転EVの10,000台量産を目指すスタートアップです。 本記事は、Turingアドベントカレンダー15日目の記事です。今回、手軽に試せるGPTsの機能を用いて「保安基準GPT」を作ってみたので、その概要について紹介します。 https://x.com/kento_sasaki1/status/1732420894868550012?s=20 「保安基準GPT」は、以下のリンクから使

Turingの機械学習モデル開発チームの@hidetatzです。Turingアドベントカレンダー14日目の記事です。 TuringはAIによる完全自動運転車を開発するスタートアップです。 この記事では、自動運転車というプロダクトを開発するために重要なシミュレータについて、Turingがどう活用しているかを書きます。 シミュレータとは？ 自動運転の文脈において、シミュレータは車を運転する実際の道路環境をPC上で再現するためのソフトウェアのことを指します。 シミュレータは、複雑な交通状況や天候の変化、さまざまな道路のレイアウトなど、現実世界の多様な条件を精密に模倣することができます。私達

Turingのリサーチチームで完全自動運転の研究開発を行なっている棚橋です。Turingアドベントカレンダー14日目の記事として、DeepSpeedについて取り上げます。 DeepSpeedはMicrosoftによって開発されたライブラリで、一言で言うと、「1つのGPUに乗り切らないような巨大MLモデルをなんとか学習させるため」のツールです。特に、この論文で提案されているDeepSpeedのZero Redundancy Optimizer (ZeRO)という技術が非常に注目されています。 また、DeepSpeedが昨今の大規模言語モデルの学習に多く利用されています。詳細は過去の記事を

Turing Advent Calendar 2023の9日目の記事です。 本日は組込みソフトウェアエンジニアのやべ(@ken_ya_be)が担当です。今年の10月からTuringに在籍し、直近開発している車両の自動運転まわりのところをやっています。何かしらやってみた系の内容を書くのが好きなのですが、在籍期間短くてネタがなかったので、今回は調べもの記事を書いてみました。 はじめに これを読むとGMSLカメラのことがなんとなくわかるようになる。いろいろな規格が絡んできて深みにハマりがちなので、極力触りだけになるよう努めます。とりあえずざっと読めば、GMSLカメラの仕様を見て「ふむふ

はじめに Turing の Vehicle チームの徳弘 (@res_circuit) です。 Turing は、完全自動運転システムを搭載した車を商品として販売することを目指しており、量産を見据えた独自の車両システムの設計に取り組んでいます。Turing ではその一環として、ECU (Electronic Control Unit, 電子制御ユニット) の開発にも取り組んでいます。 車の制御装置であるECUの多くは、マイコンをベースに構成されています。しかし近年は、車に求められる機能が膨大になり、またそれを処理するために高い計算力も必要となってきています。そのため、いわゆるMCU

Turingの未来の拠点立地について考える Turingアドベントカレンダー7日目です！今日はVehicleチームの山口が担当します。最近Xのカッパッパさんの取材や、前回のテックブログで車両開発チームの黎明期から現在までの間（といっても1年もたっていない）を赤裸々に語らせていただきましたが、今回は「これから」を見据えて取り組んだことの一端を書きます。 Turingの車両開発計画と現状 Turingでは、今後のマイルストーンとして2025年に100台、2027~2028年に1000台、2030年に10,000台の量産開発計画を掲げています。足元はセル生産、ファブレス生産でマーケ

Turing株式会社のアドベントカレンダー6日目です！ 今回は、昨日に続き車両開発チームから中村がお贈りします。 私は、車両開発チームで電気設計を担当していて、主に電気回路設計を担当しています。前職までも電気回路設計やプロジェクトリーダー、組込みソフトウェア設計、ITシステム系など多岐にわたる業務に携わってきています。 今年8月からは、縁あって Turing株式会社 にて回路設計の日々を過ごしています。 回路設計って・・・ 回路設計って私には普通のことなのですが、『なじみがない！』と言われます。 まぁ、そうですよね・・・ PCなど自作する方はみられていると思いますが、基板といわれる