1.はじめに Turingで自動運転の開発をしている猪狩と申します。現在、私達のチームは2024年末リリース予定の少量生産車に搭載される自動運転システムの開発を行っております。Turing では以前より「end-to-end deep learning modelによる自動運転システム」を謳っているわけですが、いま現在deep learningモデルがどこまで運転操作を代替できるのか、2024年末リリース予定の少量生産車に搭載されるADASシステムの開発者の視点から紹介出来ればと思います。 2.Deep vs ルールベース まずは、Deep learning と、それを使わない場

はじめに Turingアドベントカレンダー17日目です！今日は Research チームの柏谷が担当します。 Research チームでは、LLMによる完全自動運転を実現するための技術開発を行っています。その中で重要な技術の１つが量子化です。量子化によって少ビットでパラメータを表現できれば、LLM の膨大なパラメータのデータ圧縮が可能となります。量子化実装はいろいろと考えられますが、今回は実装にアクセス可能な llama.cpp とその量子化技術について見ていきましょう！ llama.cpp とは Georgi Gerganov さんが作った PC の CPU だけで LLM が動

はじめに Turing UXチームでソフトウェアエンジニアをしています佐々木(kento_sasaki1)です。Turingは「We Overtake Tesla」をミッションに掲げ、2030年に完全自動運転EVの10,000台量産を目指すスタートアップです。 本記事は、Turingアドベントカレンダー15日目の記事です。今回、手軽に試せるGPTsの機能を用いて「保安基準GPT」を作ってみたので、その概要について紹介します。 https://x.com/kento_sasaki1/status/1732420894868550012?s=20 「保安基準GPT」は、以下のリンクから使

Turingの機械学習モデル開発チームの@hidetatzです。Turingアドベントカレンダー14日目の記事です。 TuringはAIによる完全自動運転車を開発するスタートアップです。 この記事では、自動運転車というプロダクトを開発するために重要なシミュレータについて、Turingがどう活用しているかを書きます。 シミュレータとは？ 自動運転の文脈において、シミュレータは車を運転する実際の道路環境をPC上で再現するためのソフトウェアのことを指します。 シミュレータは、複雑な交通状況や天候の変化、さまざまな道路のレイアウトなど、現実世界の多様な条件を精密に模倣することができます。私達

Turingのリサーチチームで完全自動運転の研究開発を行なっている棚橋です。Turingアドベントカレンダー14日目の記事として、DeepSpeedについて取り上げます。 DeepSpeedはMicrosoftによって開発されたライブラリで、一言で言うと、「1つのGPUに乗り切らないような巨大MLモデルをなんとか学習させるため」のツールです。特に、この論文で提案されているDeepSpeedのZero Redundancy Optimizer (ZeRO)という技術が非常に注目されています。 また、DeepSpeedが昨今の大規模言語モデルの学習に多く利用されています。詳細は過去の記事を

Turing Advent Calendar 2023の9日目の記事です。 本日は組込みソフトウェアエンジニアのやべ(@ken_ya_be)が担当です。今年の10月からTuringに在籍し、直近開発している車両の自動運転まわりのところをやっています。何かしらやってみた系の内容を書くのが好きなのですが、在籍期間短くてネタがなかったので、今回は調べもの記事を書いてみました。 はじめに これを読むとGMSLカメラのことがなんとなくわかるようになる。いろいろな規格が絡んできて深みにハマりがちなので、極力触りだけになるよう努めます。とりあえずざっと読めば、GMSLカメラの仕様を見て「ふむふ

はじめに Turing の Vehicle チームの徳弘 (@res_circuit) です。 Turing は、完全自動運転システムを搭載した車を商品として販売することを目指しており、量産を見据えた独自の車両システムの設計に取り組んでいます。Turing ではその一環として、ECU (Electronic Control Unit, 電子制御ユニット) の開発にも取り組んでいます。 車の制御装置であるECUの多くは、マイコンをベースに構成されています。しかし近年は、車に求められる機能が膨大になり、またそれを処理するために高い計算力も必要となってきています。そのため、いわゆるMCU

Turingの未来の拠点立地について考える Turingアドベントカレンダー7日目です！今日はVehicleチームの山口が担当します。最近Xのカッパッパさんの取材や、前回のテックブログで車両開発チームの黎明期から現在までの間（といっても1年もたっていない）を赤裸々に語らせていただきましたが、今回は「これから」を見据えて取り組んだことの一端を書きます。 Turingの車両開発計画と現状 Turingでは、今後のマイルストーンとして2025年に100台、2027~2028年に1000台、2030年に10,000台の量産開発計画を掲げています。足元はセル生産、ファブレス生産でマーケ

Turing株式会社のアドベントカレンダー6日目です！ 今回は、昨日に続き車両開発チームから中村がお贈りします。 私は、車両開発チームで電気設計を担当していて、主に電気回路設計を担当しています。前職までも電気回路設計やプロジェクトリーダー、組込みソフトウェア設計、ITシステム系など多岐にわたる業務に携わってきています。 今年8月からは、縁あって Turing株式会社 にて回路設計の日々を過ごしています。 回路設計って・・・ 回路設計って私には普通のことなのですが、『なじみがない！』と言われます。 まぁ、そうですよね・・・ PCなど自作する方はみられていると思いますが、基板といわれる

Turing株式会社のアドベントカレンダー5日目です！今回は車両開発チームの中山が担当します。 まず最初に自己紹介からはじめさせてください。Tier1サプライヤーでCluster Displayとエアコンコントロール制御ユニット開発を経験し、その後OEMに転職して工事現場を無人で走る軽トラックのHMI開発をリードしてきました。これまでの経験を活かして、大きな挑戦をしたいという思いで、完全自動運転EV車の開発を行うTuringに今年の7月にJoinしました。 専門分野は電気電子アーキテクチャ設計と制御ユニットシステム設計ですが、今はそれを軸としつつもさまざまな活動をしています。特に来年末

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 横田研究室B4の藤井(@okoge_kaz)です。 2022年11月末にChatGPTがリリースされてから早1年、2023年は大規模言語モデル開発の領域において飛躍の１年となりました。国内でもCyberAgent, PFN, ELYZAを筆頭に3B〜13B程度のモデルが多数公開され、多くの方にとってLLMが身近になった1年であったかと思われます。 Turingでは完全自動運転の実現に向けた研究開発の一環としてLLMに早くから着目し、社内で研究開発を行ってきました。 https://zenn.dev/t

Turing株式会社のアドベントカレンダー2日目です！1日目はCTOの青木さんのカレー屋さんとスタートアップ：CTO of the year 2023でオーディエンス賞受賞です。 自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは完全自動運転車の開発を目標としており、自動運転AIや車両、LLMの開発など様々なことに取り組んでいます。今回の話は、自動運転AIの物体認識などのPerceptionタスクにおいて個人的に面白いなと思ったVision-CentircなEnd-to-Endモデルの紹介です[1]。 Transformerベースの画像認識 Tran

本記事では、Turing のサマーインターンでの成果を紹介します。2 週間のサマーインターンで、自動運転のための Visual Question Answering データセット・AutoScenesQA の作成を行いました。 AutoScenesQA は、手作業によるアノテーションではなく、LLM(GPT 3.5)とルールベースのロジックを活用し、完全に自動で作成されています. 今回作成した AutoScenesQA は、nuScenesという自動運転用のデータセットをベースとしており、「車載カメラから撮影した 6 方向の画像(1 フレーム)」と「その画像に対応した QA のペア」で構

はじめに Turing Vehicleチームのチーフエンジニアの徳弘 (@res_circuit) です。 Turingは、完全自動運転システムを搭載した車を商品として販売することを目指しており、これに向けて量産を見据えた完全独自の車両の設計に取り組んでいます。お客様の元に届く商品としての車両を自社で開発する上では、膨大な数の課題を解決する必要が出てきます。 今回は、そのうちの一つであるサイバーセキュリティについての概要を説明した上で、Turingでの取り組みを少し紹介します。 車両サイバーセキュリティとは？ 車両のサイバーセキュリティとは、車両に対するサイバー攻撃の防衛策が実施

Turing株式会社のUXチームでインターンをしている東大4年の三輪です。 自動運転のUXを向上させるため、UXチームでは自動運転の「可視化」ソフトウェアの開発に取り組んでいます。 このソフトウェアはTuringが販売する車のディスプレイに搭載される予定です。AIが認識している世界をユーザにも見える形で示すことで、ユーザは自動運転AIの振る舞いをよりよく把握することができるようになります。 画面は開発中のものです 可視化ソフトウェアは、自動運転AIの出力を受け取り、解釈し、Unity上で描画します。この際、自動運転AIと可視化ソフトウェアの間の通信はgRPCで行うことになっています。し

Turing株式会社の自動運転MLチームでインターンをしている東京大学学部4年の中村です。 Turingでは完全自動運転EV実現のために、End-to-End(E2E)な自動運転モデルの開発を行っています。E2Eモデルを実現するためには、特定のタスクに特化したモデルを利用したオートラベリングを活用するなど、従来のタスク特化型モデルが必要になることがあります。 今回は、タスク特化なモデルのうち、 昼も夜も高い精度（IoU 0.5 確率閾値 40% で AP 96.0% AR 95.0%） 黄色信号や矢印信号といった比較的頻度の少ない信号機まで認識可能 自レーンの信号機を選択的に認識

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っている

Turing株式会社の自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは2030年までに完全自動運転の達成を目指しており、自動運転AI開発から車両開発など、取り組むことは多岐に渡っています。 今回の話は、自動運転AI開発中に出た問題と、ひとまずの解決方法になります。より良い解決策があれば、教えてもらいたいです🙏 Transfomer-EncoderをONNXに変換したい ONNX（Open Neural Network eXchange）は、機械学習・深層学習モデルを表現するために構築されたオープンフォーマットです。 PyTorchやTensorFlo

はじめに Turing株式会社 Vehicleチーム エンジニアの猪狩です。主に車載ソフトウェア、車体制御を担当しております。 Vehicleチームでは、自社開発したEVを2028年に量産開始することを目標に、車両を一から開発しているチームです。Turingは、自動運転のシステムだけではなく、オリジナルの車両を開発しています。完全自動運転EVを販売する完成車メーカーになることを目指しています。 https://zenn.dev/turing_motors/articles/02899644628934 本記事より始まる連載記事では、自動車にとって最も基本的な機能である、「走る」「曲が

Turingの自動運転・AIモデル開発チームの塩塚です。Turingは2030年までに完全自動運転の達成を目指しています。その未来のためにTuringでは2つの機械学習チームで研究開発を進めています。一つはBrain Researchチームで、マルチモーダル学習ライブラリ「Heron」を公開したりと2030年の完全自動運転に向けて研究を行っています。もう一つは自動運転・AIモデル開発チームで、こちらは2024、2025年にTuringから発売される電気自動車の自動運転システムを開発しています。このチームの目標は国内の市販車に搭載されている自動運転の中で最もよいものを作ることです。 開発