はじめに チューリングの横井です。チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため、Vision Language モデル（VLM）「Heron」の開発に取り組んでいます。このたび、経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと開発したVLM「Heron-NVILA」15B, 2B, 1B, 33Bを公開しました。 https://huggingface.co/turing-motors/Heron-NVILA-Lite-15B この記事では開発したHeron-NVILAのアーキテクチャ、学

はじめに こんにちは。Turing MLOpsチームの塚本です。 自動運転AIの性能を高めるには、モデルの改良だけでなくデータの量と質が何より重要です。Turingでは「データセントリックAI」の考え方のもと、1日あたり20TBを超える膨大なセンサーデータを活用し、大容量、高品質かつ多様性のある学習データセットの構築に取り組んでいます。 https://zenn.dev/turing_motors/articles/045fedc15072b9 学習データセットのファイル数は、画像データだけでも数億を超えています。この規模になると、inode の枯渇やアップロード・削除といった運用上

はじめに 本記事ではABCI ハッカソンで実施した日本語 VLM（Vision-Language Model）作成の取り組みについて紹介します。ABCI 3.0を活用したVLMの学習に関する内容であり、以下の読者を想定しています。 ABCI ハッカソンの概要を知りたい方 ABCI 3.0でVLMの学習がどの程度高速化できたか知りたい方 ABCI 生成AIハッカソン ABCI 生成AIハッカソンは2025年2月4日から2月13日にかけて開催された生成AIモデルの開発や最適化を目的としたイベントです。 主催は産業技術総合研究所（産総研）で参加者は 「ABCI 3.0」（H200

Turingの基盤AIチームの三輪です。 Turingで研究・開発した結果をまとめた「One-D-Piece: Image Tokenizer Meets Quality-Controllable Compression」という論文を公開したので、紹介します。 https://turingmotors.github.io/one-d-piece-tokenizer/ https://arxiv.org/abs/2501.10064 これは何？ 「One-D-Piece」という新たな「画像トークナイザ」を提案しました。これによって256段階の可変品質で画像を圧縮し、Transforme

こんにちは！チューリングでソフトウェアエンジニアをしている太田です。 自動運転システムの開発を手がけるチューリングでは、大規模な GPU クラスタでトレーニングされたモデルが日々リリースされ、実車環境でのテストが行われています。 自動運転と聞くと、ハードウェア寄りの技術を連想するかもしれませんが、チューリングの自動運転開発においてWeb系の技術もさまざまな場面で活用されています。 近年、UI開発においてWebブラウザが利用される場面が広がっています。チューリングの自動運転システムにおいても例外でなく、Webフロントエンドの技術を用いてUI開発が進められています。この記事では、チューリング

はじめに こんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部（和）です。 今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。 前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。 この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部（和）が実践編を追記したものです。 解説編 Rerunとは Rerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。 記録、可視化

はじめに こんにちは。チューリングのDriving Softwareチームのマネージャーを務めている渡邉（@sangotaro）です。Driving Softwareチームは、チューリングの自動運転システムの開発を担当するチームで、自動運転AI以外の領域、例えばシステム制御やソフトウェアインフラの構築などを手掛けています。 先日、チームで栃木県の那須に開発合宿に行き、「約3時間でテックブログを書き上げる」というユニークな企画に挑戦しました。いくつかのチームに分かれ、それぞれが記事のテーマを決めて執筆した結果、公開までこぎつけることができた記事がなんと5本も完成しました！今回お届けする

はじめに こんにちは！Turing株式会社のドライビングソフトウェアチームに所属している堀ノ内です！ 今回は弊社で導入を検討している自動運転開発用シミュレータについてお話させて頂きます。以前のブログにて自動運転開発におけるシミュレータの必要性についても言及しておりますので合わせてご覧ください。 これまでTuringではCARLAというシミュレータを使っていたのですが、レンダリング処理が重く高性能なGPUを搭載したデスクトップPCでないと動かせないという問題がありました。そこで今回は比較的軽量なMetaDriveと呼ばれるシミュレータについて調査してみました。MetaDriveはCAR

Python Advent Calendar 2024の7日目です。 この記事ではuvについて、v0.5.3までのアップデートで個人的に便利だった機能を依存関係に焦点を当ててまとめました。 uvは高速なPythonパッケージとプロジェクト管理ツールです。2024年8月20日にuvのバージョンがv0.3.0にアップデートされて以来、広く使われるようになりました。 以前に以下の記事をまとめています。これからuvを使いたい方などに参考になれば嬉しいです！また、公式のドキュメントがしっかりと整備されているのでhttps://docs.astral.sh/uv/getting-started/から

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。 そこで

1. はじめに こんにちは。チューリングのDriving Software チームで車両制御の開発をしている相澤です。チューリングではTokyo30に向けて、E2E自動運転チームが車両の経路を直接出力するAIモデル(TD-1)を開発しています。一方で、実際にその経路に沿って車を動かす制御部分は、私たちDriving Software チームが開発しており、本記事では、その制御の概要と直面している課題についてご紹介します。 2. MPV制御に立ちはだかる壁とは？ 自動運転技術は近年、目覚ましい進歩を遂げています。TeslaのAutopilotやWaymoのシステムは、低重心EVをプ

はじめに Turing の生成 AI チームでインターンをしている塩野 (@onely7_deep) です。 生成 AI チームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。 本記事では、Turing からリリースされた盛り沢山な GENIAC の成果物 の中の１つである The Cauldron JA と Wikipedia Vision JA データセットを紹介します！ The Cauldron JA データセット https://huggingface.co/datasets/turing-motors/Cauldron-JA The

1. はじめに こんにちは、End-to-End自動運転開発チーム(以降E2Eチーム)で自動運転システムを開発している嶋谷です。本記事はE2Eチームの取り組みを知ってもらう連載企画の最終回として、センサキャリブレーション技術とその精度を高めるための様々な工夫についてご紹介します。 2. キャリブレーションの必要性 自動運転の文脈において、キャリブレーションとはセンサ間の位置関係 (外部パラメータ) を求めたり、センサ自身のパラメータ（内部パラメータ）を推定し、センサの値を補正することを意味します。私達のデータ収集車両においてもカメラ、GNSS、IMU、LiDARといった多くのセン

1. はじめに E2E自動運転の開発を手がけるTuringでは、１日に20TiBのデータを、データ収集車を使って集めており、これを使って自動運転のMLモデルを学習しています。データ収集のスピードは加速しているため、2025年末にはおよそ8PB（4万時間分に相当）のデータが蓄積される予定です。 この記事では、我々が、日々20TiBずつ増えていくデータをいかにハンドリングしているか、そのデータエンジンの概要について紹介します。 その前に、そもそも何故8PBものデータを集めようとしているかについて簡単に説明させて下さい。我々のゴールは、東京のような複雑なシーンでも自動運転可能なNeural

チューリングのE2E自動運転チームの岩政(@colum2131)です。 2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。 以前の2024年7月にまとめた記事では、 将来的には、uvがRyeに代替されるよう と書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。 https://zenn.dev/t

1. はじめに こんにちは、TuringのEnd-to-End自動運転チーム（以降E2Eチーム）で自動運転システムを開発している加藤です。本記事はE2Eチームの取り組みを知ってもらう連載企画の第四弾として、End-to-End自動運転における三次元物体検出のあり方と、三次元物体検出の代表的な手法を紹介し、Turingの開発状況についてお話します。 Turingでは2025年までに東京の複雑な道路を30分以上介入なしで運転できるようなE2E自動運転システムを開発する「Tokyo30」というプロジェクトに取り組んでいます。 私達が目指すE2E自動運転の基本概念については、連載企画第1回の

チューリング株式会社の岩政 (@colum2131) です。 近年は、Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) といった一連の2次元画像から複雑な3次元再構築が可能な技術が多く発展しています。これらの技術は自動運転にも活用されつつあります。 例えば、オープンソースの自動運転ソフトウェアのAutowareの開発を主導している株式会社ティアフォーでは、NeRFを活用した技術としてNeural Simulatorの構築を目指すというプレスリリースがありました。これは車載カメラやLiDARなどのセンサデータからNeR

1.　はじめに Turing生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し予測する動画生成AI、「世界モデル」の開発に取り組んできました。前回の私の記事では、その取り組みの中で調査したGAIA-1の紹介を行いました。今回は、Turingが開発した世界モデル"Terra"で利用している技術や課題・展望などについて紹介をしたいと思います。 この記事で解説している内容 世界モデルTerraは何ができるのか 世界モデルTerraはどのような仕組みで動いているのか どのような課題が残されているか Terraで生成した動画。Te

はじめに こんにちは、End-to-End自動運転開発チーム(以降E2Eチーム)で自動運転システムを開発している堀ノ内と塩塚です。本記事はE2Eチームの取り組みを知ってもらう連載企画の第二弾として、End-to-end自動運転におけるマップ認識のあり方と、実際のTuringの開発状況についてお話します。 Turingでは2025年までに東京の複雑な道路を30分以上介入なしで運転できるようなE2E自動運転システムを開発する「Tokyo30」というプロジェクトに取り組んでいます。 私達が目指すE2E自動運転の基本概念については連載企画第1回の以下の記事を参照ください。 https://z

はじめに Turing の End-to-End(E2E) 自動運転チームでチームマネージャをやっている棚橋です。今回はE2E自動運転チームでブログの連載企画を行います。本連載企画ではEnd-to-End(E2E)自動運転の最新技術やTuringの取り組みを紹介します。第一回はTuringで取り組んでいるE2E自動運転の概要と課題について取り上げます。 End-to-end自動運転とは？ Turing が取り組んでいる自動運転の方式はE2E方式と呼ばれるもので、従来の自動運転の仕組みとは大きく異なっています。従来のシステムでは、緻密に設計された無数のソフトウェアモジュールが複雑に