チューリングのE2E自動運転チームの岩政(@colum2131)です。 2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。 以前の2024年7月にまとめた記事では、 将来的には、uvがRyeに代替されるよう と書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。 https://zenn.dev/t

1. はじめに こんにちは、TuringのEnd-to-End自動運転チーム（以降E2Eチーム）で自動運転システムを開発している加藤です。本記事はE2Eチームの取り組みを知ってもらう連載企画の第四弾として、End-to-End自動運転における三次元物体検出のあり方と、三次元物体検出の代表的な手法を紹介し、Turingの開発状況についてお話します。 Turingでは2025年までに東京の複雑な道路を30分以上介入なしで運転できるようなE2E自動運転システムを開発する「Tokyo30」というプロジェクトに取り組んでいます。 私達が目指すE2E自動運転の基本概念については、連載企画第1回の

チューリング株式会社の岩政 (@colum2131) です。 近年は、Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) といった一連の2次元画像から複雑な3次元再構築が可能な技術が多く発展しています。これらの技術は自動運転にも活用されつつあります。 例えば、オープンソースの自動運転ソフトウェアのAutowareの開発を主導している株式会社ティアフォーでは、NeRFを活用した技術としてNeural Simulatorの構築を目指すというプレスリリースがありました。これは車載カメラやLiDARなどのセンサデータからNeR

1.　はじめに Turing生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し予測する動画生成AI、「世界モデル」の開発に取り組んできました。前回の私の記事では、その取り組みの中で調査したGAIA-1の紹介を行いました。今回は、Turingが開発した世界モデル"Terra"で利用している技術や課題・展望などについて紹介をしたいと思います。 この記事で解説している内容 世界モデルTerraは何ができるのか 世界モデルTerraはどのような仕組みで動いているのか どのような課題が残されているか Terraで生成した動画。Te

はじめに こんにちは、End-to-End自動運転開発チーム(以降E2Eチーム)で自動運転システムを開発している堀ノ内と塩塚です。本記事はE2Eチームの取り組みを知ってもらう連載企画の第二弾として、End-to-end自動運転におけるマップ認識のあり方と、実際のTuringの開発状況についてお話します。 Turingでは2025年までに東京の複雑な道路を30分以上介入なしで運転できるようなE2E自動運転システムを開発する「Tokyo30」というプロジェクトに取り組んでいます。 私達が目指すE2E自動運転の基本概念については連載企画第1回の以下の記事を参照ください。 https://z

はじめに Turing の End-to-End(E2E) 自動運転チームでチームマネージャをやっている棚橋です。今回はE2E自動運転チームでブログの連載企画を行います。本連載企画ではEnd-to-End(E2E)自動運転の最新技術やTuringの取り組みを紹介します。第一回はTuringで取り組んでいるE2E自動運転の概要と課題について取り上げます。 End-to-end自動運転とは？ Turing が取り組んでいる自動運転の方式はE2E方式と呼ばれるもので、従来の自動運転の仕組みとは大きく異なっています。従来のシステムでは、緻密に設計された無数のソフトウェアモジュールが複雑に

チューリングのE2E自動運転チームの岩政(@colum2131)です。 最近、チーム内でPythonを使った開発はRyeとuvを使うことが多くなり、特に機械学習環境もRyeとuvで問題なく開発できるようになりました。社内でのオンボーディング資料としてRyeとuvの操作を整備しようと思い、このテックブログで紹介します。 [2024-08-25追記] 2024年8月20日にuvのマイナーバージョンがアップデートされました。変更点もいくつかあり、以下のページにまとめました。 https://zenn.dev/turing_motors/articles/594fbef42a36ee 1.

はじめに Turing 生成AIチームの佐々木 (kento_sasaki1)です。生成AIチームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。 先日、6月17日から6月21日にシアトルで開催されたコンピュータビジョン・機械学習系のトップカンファレンスCVPR 2024に参加し、Vision Language Model (VLM)のワークショップThe 3rd Workshop on Computer Vision in the Wildにて日本語VLM評価ベンチマークHeron-Benchの発表を行いました。 Heron-Benchについては

1. はじめに Turing 生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し未来を予測するAI、「世界モデル」の開発に取り組んでいます。世界モデルは、生成AIによって様々な交通状況や歩行者の行動をシミュレーションすることを可能にし、安全かつ効率的な自動運転を実現するための重要な鍵となると私たちは考えています。 この記事で解説している内容: 世界モデルとは何か 世界モデルの開発はなぜ自動運転に重要なのか 世界モデルGAIA-1について 2. 世界モデルとは 世界モデルとは、現実世界の物理法則や因果関係、物体間の相互作用

言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視覚情報やセンサーデータなどの多様な入力を受け入れることで、車の周囲の状況を正確に認識します。さらに、世界モデルを適用することで、高度な空間認知と身体性を獲得し、実世界に対応した生成AIを実現します。 https://tur.ing/ より引用 しかしな

はじめに Turing Researchチームの佐々木(kento_sasaki1)です。Researchチームでは、完全自動運転の実現に向けて、マルチモーダル基盤モデルの開発に取り組んでいます。 先日、私たちは日本語Vision Language Model (VLM) のベンチマーク「Heron-Bench」を新たに公開しました。本記事ではHeron-Benchについて解説し、日本語VLMの現状と今後の展望について述べます。詳細についてはarXiV論文 「HERON-BENCH: A BENCKMARK FOR EVALUATING VISION LANGUAGE MODELS

1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。

最近、ラズパイにグラボを接続した、ルーターにGPUを接続したなど、いろんなものにGPUを繋げるのが流行っているようですが、似たようなことをJetsonでやったという記事です。 設定方法だけ書くとわりと短いので、最初に経緯などを書いています。結論だけ欲しい方は、こちらに飛んでください。 はじめに Jetson AGX Orinというのは、NVIDIAが開発しているエッジコンピューティング向けのモジュール製品で、エッジ環境としては非常に強力なAI能力（200~275TOPS）を持っています。 https://www.nvidia.com/ja-jp/autonomous-machine

はじめに Turingでは完全自動運転実現に向けて、LLMやそれを用いたVision Langauge（V&L）モデルの開発に取り組んでいます。最近は経済産業省／NEDOの「競争力のある生成AI基盤モデルの開発を支援する「GENIACプロジェクト」」にも採択されるなど、大規模な生成AIの開発に精力的に取り組んでいます。 特に、Vision Languageモデルについては、Heronというライブラリとモデル群を公開しており、今回は新しいモデルとその学習レシピを公開します。また、日本語のV&LモデルをGPT-4を用いて評価するためのプログラムも公開します。 Hero

はじめに Turing UXチームでソフトウェアエンジニアをしています佐々木 (kento_sasaki1) です。Turingは「We Overtake Tesla」をミッションに完全自動運転EVメーカーを目指すスタートアップです。 UXチームでは車載ソフトウェアの開発を行っており、ユーザーインターフェースからハードウェア抽象化レイヤに至るまで幅広い範囲を担当しています。 本記事では、ハードウェア抽象化レイヤ (HAL) のC++実装に焦点を当て、C++テストフレームワークであるGoogleTest, gMockを用いたユニットテストの導入方法について紹介します。さらに、実践編とし

Turing株式会社の自動運転チームでインターンしている東大B3の大野です。 自動運転チームでは、完全自動運転の実現を目指して自動運転AIを開発しています。モデル開発の際に、「雨の日に高速を走っていて先行車がいない」や「交差点で歩行者がいる中、右折している」など、特定の状況の走行データが必要になることがあります。 今回私は、動画に対して天気や歩行者の数などのラベルをデータベース化し、検索できるシステムを、Vision-Languageモデルを使って開発しました。この記事では、このシステムの作成にあたって取り組んだことについて説明します。 作成したGUI 課題 Turingでは、走行パ

TuringでResearcherをしているいのいちです。 先日、会社にサポートしていただいてニューオーリンズで開催されたNeurIPS 2023に参加させていただくことができたので、今年のNeurIPSで発表された自動運転系の論文をいくつかピックアップして紹介しようと思います。 NeurIPSとは NeurIPSは1987年から開かれている機械学習系でトップの国際会議です。この会議が発足した当初はBiologicalとArtificialの両方の側面からニューラルネットワークを研究しようという趣旨があり、長らく神経科学からも理解しようという趣旨があったようです。現在はこの国際会議

アドベントカレンダー22日目を担当します！モデル開発チームの塩塚です。 本日は金曜日で、このままクリスマス突入ですね。そしてそのまま年末年始を迎えるこの時期は少しだけ楽をしたいですよね。 そんな我々にピッタリの機械学習リポジトリがあります。それがこちら Language Segment-Anything です。 公式リポジトリより引用 こちらのオープンソースプロジェクトは、画像とテキスト入力だけで物体検出・セグメンテーションをしてくれます。とても便利ですね。従来は、物体検出・セグメンテーションしたいときに、検出したいオブジェクトに対応したモデルを探して、探しても画像のサイズや画角によっ

今年の流行語といえばLLMですが、中でもローカルLLMの技術がプログラマ的には気になります。何かに使えそう！ そこでローカルLLMの代名詞である（？）llama.cppを眺めていたところ、堂々とPackage.swiftがあるのに気づきました。 https://github.com/ggerganov/llama.cpp/tree/master ということは、自力で難しいことをしなくても、簡単にSwiftから利用できそうです。 今更感もありますが、この記事ではllama.cppをSwiftから使って色々遊んでみたいと思います。 この記事は私のインターン先であるTuringアドベントカ

はじめに Turing株式会社のアドベントカレンダー20日目！ 今回は、UXチームの井上(@yoinoue5212)が担当します！ UXチームではAndroidベースのIVIシステム開発を進めています。 ちなみに、IVIシステムとは、速度計などを表示する計器クラスター部分と、ナビやエンタメを提供するセンターディスプレイ部分を総称した概念です。 UXを意識するうえで、より簡単に、よりシンプルに、デバイスを操作するための方法として、"OK, Google. ~やって"のようなボイスアシスタント機能が考えられます。 本記事では、そんな便利なボイスアシスタントを作るための第一歩である音声認