Turing株式会社のアドベントカレンダー5日目です！今回は車両開発チームの中山が担当します。 まず最初に自己紹介からはじめさせてください。Tier1サプライヤーでCluster Displayとエアコンコントロール制御ユニット開発を経験し、その後OEMに転職して工事現場を無人で走る軽トラックのHMI開発をリードしてきました。これまでの経験を活かして、大きな挑戦をしたいという思いで、完全自動運転EV車の開発を行うTuringに今年の7月にJoinしました。 専門分野は電気電子アーキテクチャ設計と制御ユニットシステム設計ですが、今はそれを軸としつつもさまざまな活動をしています。特に来年末

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 横田研究室B4の藤井(@okoge_kaz)です。 2022年11月末にChatGPTがリリースされてから早1年、2023年は大規模言語モデル開発の領域において飛躍の１年となりました。国内でもCyberAgent, PFN, ELYZAを筆頭に3B〜13B程度のモデルが多数公開され、多くの方にとってLLMが身近になった1年であったかと思われます。 Turingでは完全自動運転の実現に向けた研究開発の一環としてLLMに早くから着目し、社内で研究開発を行ってきました。 https://zenn.dev/t

Turing株式会社のアドベントカレンダー2日目です！1日目はCTOの青木さんのカレー屋さんとスタートアップ：CTO of the year 2023でオーディエンス賞受賞です。 自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは完全自動運転車の開発を目標としており、自動運転AIや車両、LLMの開発など様々なことに取り組んでいます。今回の話は、自動運転AIの物体認識などのPerceptionタスクにおいて個人的に面白いなと思ったVision-CentircなEnd-to-Endモデルの紹介です[1]。 Transformerベースの画像認識 Tran

本記事では、Turing のサマーインターンでの成果を紹介します。2 週間のサマーインターンで、自動運転のための Visual Question Answering データセット・AutoScenesQA の作成を行いました。 AutoScenesQA は、手作業によるアノテーションではなく、LLM(GPT 3.5)とルールベースのロジックを活用し、完全に自動で作成されています. 今回作成した AutoScenesQA は、nuScenesという自動運転用のデータセットをベースとしており、「車載カメラから撮影した 6 方向の画像(1 フレーム)」と「その画像に対応した QA のペア」で構

はじめに Turing Vehicleチームのチーフエンジニアの徳弘 (@res_circuit) です。 Turingは、完全自動運転システムを搭載した車を商品として販売することを目指しており、これに向けて量産を見据えた完全独自の車両の設計に取り組んでいます。お客様の元に届く商品としての車両を自社で開発する上では、膨大な数の課題を解決する必要が出てきます。 今回は、そのうちの一つであるサイバーセキュリティについての概要を説明した上で、Turingでの取り組みを少し紹介します。 車両サイバーセキュリティとは？ 車両のサイバーセキュリティとは、車両に対するサイバー攻撃の防衛策が実施

Turing株式会社のUXチームでインターンをしている東大4年の三輪です。 自動運転のUXを向上させるため、UXチームでは自動運転の「可視化」ソフトウェアの開発に取り組んでいます。 このソフトウェアはTuringが販売する車のディスプレイに搭載される予定です。AIが認識している世界をユーザにも見える形で示すことで、ユーザは自動運転AIの振る舞いをよりよく把握することができるようになります。 画面は開発中のものです 可視化ソフトウェアは、自動運転AIの出力を受け取り、解釈し、Unity上で描画します。この際、自動運転AIと可視化ソフトウェアの間の通信はgRPCで行うことになっています。し

Turing株式会社の自動運転MLチームでインターンをしている東京大学学部4年の中村です。 Turingでは完全自動運転EV実現のために、End-to-End(E2E)な自動運転モデルの開発を行っています。E2Eモデルを実現するためには、特定のタスクに特化したモデルを利用したオートラベリングを活用するなど、従来のタスク特化型モデルが必要になることがあります。 今回は、タスク特化なモデルのうち、 昼も夜も高い精度（IoU 0.5 確率閾値 40% で AP 96.0% AR 95.0%） 黄色信号や矢印信号といった比較的頻度の少ない信号機まで認識可能 自レーンの信号機を選択的に認識

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っている

Turing株式会社の自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは2030年までに完全自動運転の達成を目指しており、自動運転AI開発から車両開発など、取り組むことは多岐に渡っています。 今回の話は、自動運転AI開発中に出た問題と、ひとまずの解決方法になります。より良い解決策があれば、教えてもらいたいです🙏 Transfomer-EncoderをONNXに変換したい ONNX（Open Neural Network eXchange）は、機械学習・深層学習モデルを表現するために構築されたオープンフォーマットです。 PyTorchやTensorFlo

はじめに Turing株式会社 Vehicleチーム エンジニアの猪狩です。主に車載ソフトウェア、車体制御を担当しております。 Vehicleチームでは、自社開発したEVを2028年に量産開始することを目標に、車両を一から開発しているチームです。Turingは、自動運転のシステムだけではなく、オリジナルの車両を開発しています。完全自動運転EVを販売する完成車メーカーになることを目指しています。 https://zenn.dev/turing_motors/articles/02899644628934 本記事より始まる連載記事では、自動車にとって最も基本的な機能である、「走る」「曲が

Turingの自動運転・AIモデル開発チームの塩塚です。Turingは2030年までに完全自動運転の達成を目指しています。その未来のためにTuringでは2つの機械学習チームで研究開発を進めています。一つはBrain Researchチームで、マルチモーダル学習ライブラリ「Heron」を公開したりと2030年の完全自動運転に向けて研究を行っています。もう一つは自動運転・AIモデル開発チームで、こちらは2024、2025年にTuringから発売される電気自動車の自動運転システムを開発しています。このチームの目標は国内の市販車に搭載されている自動運転の中で最もよいものを作ることです。 開発

はじめに Turing株式会社でVehicleチームエンジニアを務めている山口恭史です。 Turingは自動運転車を量産するメーカーになることを目指し、2025年に100台の車の販売・2030年には10,000台の車の量産・販売を目標に開発を進めています。私たちTuringは単に自動車を作って販売することは目標に掲げておらず、Turing独自の哲学を持った自動車を作り上げることを目指しています。自動車の内外装（インテリア・エクステリア）のデザイン・IVIシステムやHMIシステムを通したユーザ体験・そして自動運転機能。2025年・2030年という目標設定を考えても、非常にタイトなスケジ

はじめに Turing株式会社ソフトウェアエンジニアの堀ノ内です！ 私が所属する自動運転チームでは2024 ~ 2025年に発売予定の自動車に搭載する自動運転システムの開発を行っています。Turingでは車両前方に取り付けられたカメラの画像を入力とし、機械学習モデルが進むべき経路を推論、その経路に沿って実際に車両を動かすための制御信号(ステアリング、アクセル、ブレーキ)をCANで車両に送信することで以下の画像のような自動運転を実現しています。 ! CAN(Controller Area Network)とは 自動車内のコンピュータ同士が情報をやりとりできるように開発された通信プロト

はじめに Turing株式会社 UXチームでインターンをしている東京大学3年の勝見とエンジニアの佐々木(@kento_sasaki1) です。 UXチームでは、Androidを採用して独自のIVI (車載インフォテイメント) の開発を行なっています。本記事では、AOSP (Android Open Source Project) の枠組みで車両と接続するのに肝となるVHAL (Vehicle Hardware Abstraction Layer) とCar APIについて概説し、Androidと自動車を接続する方法について紹介します。なお、本記事はAOSPのソースコード (Andro

はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル（LLM）に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 https://zenn.dev/turing_motors/articl

はじめに Turing株式会社UXチームエンジニアの井上(@yoinoue5212)です。 Turingは完全自動運転EVの開発を目標に、自動運転AIとEV本体の両面での開発に挑戦しています。UXチームでは、自社EVのIVI(In-Vehicle Infotainment)つまりセンターディスプレイ等に表示されるシステムのOSとして、Androidを基盤とする独自車載OSの開発を行っています。 本記事では、ソースコードの公開されているAndroid Open Source Project(AOSP)を題材に、Android OSを開発するとはどういうことか、開発のための環境構築につい

はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shiboutyoshoku) です。 Turingが目指す自動運転は、大量のデータで学習された非常に賢い機械学習モデルを活用することです。そのために、走行パートナーの方たちと協力して創業時からこれまで大量の走行データを取得してきました。走行データは車両に取り付けられた複数カメラによる360度をカバーした動画と、そのときの速度やGPSなどの走行ログを含んでいます。データサイズは80TBを超え、時間換算で3500時間程度です。 これだけのデータサイズでモデルを学習す

3行でまとめると LLM分散学習ハッカソンに参加し、Vision-Languageモデルの一つであるBLIP2のHuggingFaceモデルを拡張して動画からテキスト生成するVideoBLIPを作成しました。ソースコードはGithubで公開しています。 運転映像に対する説明文章を学習に用いてVideoBLIPの学習を行い、運転映像を説明するモデルを作成しました。（以下のように運転映像に対して説明文が出力されます） https://youtu.be/mS7zqT2umb4 学習を高速化するためにマルチノードで学習を行えるようにし、実際にABCIのGPU80台を使って分散学習を行

はじめに Turing 株式会社リサーチチームの藤井(@okoge_kaz)です。 Turingでは、自動運転を支える技術のひとつとして大規模言語モデル(Large Language Model: LLM)に注目しており、関連する技術の研究開発を行っています。 つい先日、大規模言語モデルの事前学習を行う際に用いられることが多いmicrosoft/Megatron-DeepSpeedが大きくupdateされました。(日本時間 2023/6/13, 2023/7/21に大きな変更がありました。) 具体的には、fork元であるNVIDIA/Megatron-LMの最新の変更を取り込むことを

Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて