人工智慧(AI):

我們開發一套端到端機器學習軟體系統，該系統包括（1）用於多種學習與多種駕駛任務之深度學習模型（DNN-MT），該模型以相機影像為輸入，利用各種深度神經網絡來預測感知指標以供自駕決策，（2）控制器演算法，該法使用DNN所預測之感知指標與汽車的雷達數據可達零碰撞，（3）在動態推論準確性、計算複雜性、運算速度指標上對不同DNN進行全面比較，（4）可獲最佳（新穎）自主駕駛模型。我們已建構100萬張模擬器、2TB美國道路、及27.7GB台灣道路等交通影像數據，並正將我們的演算法部署到車用感知和控制設備中，使其在台灣道路上自動駕駛真車。圖1展示該系統的模擬週期：（i）交通場景呈現給相機和其他車用感測器，分別產生影像和其他交通數據，（ii）影像輸入DNN中產生駕駛指標，（iii）將指標和汽車數據置入控制器中以驅動汽車，（iv）移動後，新的交通場景顯示於汽車。圖2所示的DNN-MT為多任務DNN模型，例如可同時用於估計駕駛感知指標的回歸任務和駕駛決策的分類任務。該通用模型是對不同任務的不同損失函數取最小(佳)化。它允許使用現有任務或添加新任務，因此可以在訓練和測試階段有系統地研究不同的模型，以進行清晰的比較。我們的結果顯示，該模型在推理效率和駕駛穩定性方面比早期模型表現更好。

We develop an end-to-end machine learning system that includes (1) a deep learning model for multiple learning and multiple driving tasks (MT) using various Deep Neural Networks (DNNs) to predict perception indicators from camera images, (2) control algorithms for achieving zero collisions with few indicators from DNNs and radar data from self-driving car, (3) comprehensive comparisons of different DNNs on the performance metrics of their dynamic inference accuracy and computational complexity and efficiency, and (4) an optimal (novel) DNN-MT model for autonomous driving. We have collected 1 million simulator images, 2TB of U.S., and 27.7GB of Taiwan traffic data. We are deploying our algorithms to vehicle perception and control devices to enable them to drive a real car on Taiwan roads. Fig. 1 illustrates the simulation cycle of the architecture. Fig. 2 displays the DNN-MT model. Fig. 3 demonstrates a preliminary road test of the software system on Taiwan's freeway.

Fig. 1 End-to-end and real-time architecture of DNN-MT software system

Fig. 2 CNN multi-task learning model with direct perception indicators

Fig. 3 Preliminary road test of the software system on Taiwan’s freeway