基于虛擬樣機的微縮智能車自動駕駛實驗課程
一、?實驗原理
????????“基于虛擬樣機的微縮智能車自動駕駛”為研究探索型實驗,是在中國科學(xué)院自動化研究所王飛躍研究員提出的平行系統(tǒng)、平行智能等理論的啟發(fā)下發(fā)展演化而來。
????????平行系統(tǒng):由某個自然存在的實際系統(tǒng)及與之相對應(yīng)的一個或多個虛擬或理想化的人工系統(tǒng)所共同組成的系統(tǒng)。
????????平行智能:由人工系統(tǒng)(Artificial Systems)、計算實驗(Computational Experiments)和平行執(zhí)行(Parallel Execution)的智能體系,簡稱ACP,如圖1所示。

? ? ????A:利用人工場景來模擬和表示復(fù)雜挑戰(zhàn)的實際場景,采集大規(guī)模多樣性的虛擬圖像和視頻數(shù)據(jù)集,自動生成詳細且精確的標(biāo)注信息;
????????C:通過計算實驗進行視覺算法的設(shè)計與評估,包括“學(xué)習(xí)與訓(xùn)練”、“實驗與評估”兩種操作模式,計算實驗可控、可觀、可重復(fù);
????????P:將視覺系統(tǒng)在實際場景和人工場景中平行執(zhí)行,進行在線優(yōu)化,實現(xiàn)對復(fù)雜場景的智能感知與理解。
????????本實驗以全國大學(xué)生智能汽車競賽賽題規(guī)則中的賽車、賽道為實際場景,對應(yīng)建立包含虛擬小車和虛擬賽道的人工場景。將實際場景中培養(yǎng)學(xué)生參加智能汽車競賽的經(jīng)驗融入微縮智能車虛擬仿真實驗室人工場景中,從手動推車觀察對比物理小車“看到”的賽道和虛擬小車“看到”的賽道開始入手,一方面逐步引入實際場景中調(diào)試物理小車的實際經(jīng)驗,以難度逐漸加大的不同虛擬賽道為挑戰(zhàn),引導(dǎo)學(xué)員由淺入深探索PID控制等經(jīng)典控制算法在虛擬賽道上的表現(xiàn);另一方面則充分發(fā)揮人工場景善于模擬和表示復(fù)雜挑戰(zhàn)的實際場景、方便采集大規(guī)模多樣性的虛擬圖像和視頻數(shù)據(jù)集用于深度學(xué)習(xí)訓(xùn)練的特點,讓學(xué)員首先在人工場景下的虛擬賽道上測試和訓(xùn)練基于視覺感知數(shù)據(jù)的端到端深度學(xué)習(xí)模型,再來思考和探索如何將模型移植到實際場景下的物理小車上,從而踐行虛實結(jié)合、以虛驗實、以虛補實、以虛拓實的實驗理念。
二、實驗環(huán)境
????????實驗空間—國家虛擬仿真實驗教學(xué)項目共享服務(wù)平臺現(xiàn)有的虛擬仿真實驗課程與本虛擬仿真實驗課程與有一個本質(zhì)區(qū)別,前者是搭建一個虛擬場景,然后由人在虛擬場景中完成實驗操作,是人在動手做實驗,因此存在多個“對最終實驗結(jié)果有直接影響”實驗步驟和記錄“進入實驗步驟時間”、“結(jié)束實驗步驟時間”的技術(shù)規(guī)范要求。而我后者是實驗者在接受到實驗任務(wù)之后,通過編寫算法或者訓(xùn)練模型,控制虛擬樣機在虛擬場景上完成不同難度賽道,是人腦力勞動后形成的算法/模型在做實驗。我們認為我們的這種虛擬仿真實驗是面向第四代工業(yè)革命人工智能時代人才培養(yǎng)目標(biāo)、反映自動化專業(yè)從傳統(tǒng)的體力自動化向腦力自動化發(fā)展必然趨勢的實驗。所以我們沒有按照實驗空間目前的技術(shù)規(guī)范上希望的不安裝插件、直接在網(wǎng)頁上訪問的要求來設(shè)計實驗環(huán)境,而是參考國際慣例,借鑒國際上主流的基于虛擬樣機的智能車自動駕駛仿真項目來搭建本實驗的實驗環(huán)境,如圖2所示。

????????上述四個主流的基于虛擬樣機的智能車自動駕駛仿真項目的虛擬實驗場景均是安裝在本地,這一方面是為了達到更加逼真的虛擬場景渲染效果,另一方面則是因為訓(xùn)練自動駕駛深度學(xué)習(xí)模型的算力需求巨大,只有微軟、百度、阿里云這樣開展云服務(wù)的企業(yè)才有可能滿足多用戶大規(guī)模在線訓(xùn)練的需求,而且成本不菲。四個項目除了Matlab中的自動駕駛工具箱系商業(yè)軟件價格不菲外,其余三個均是在github上代碼開源的項目。
????????參考微軟的AirSim 官方教程AutonomousDrivingCookbook和Intel Carla的教學(xué)理念,我們開發(fā)的基于虛擬樣機的微縮智能車自動駕駛虛擬仿真實驗課程的實驗環(huán)境由仿真平臺、算法平臺和交互式學(xué)習(xí)網(wǎng)站三部分構(gòu)成:

????????1)? 仿真平臺——安裝在本地Windows10系統(tǒng)中的微縮智能車自動駕駛虛擬仿真實驗室CarLab,其中包含六條難度逐漸加大的賽道;

????????2)? 算法平臺——安裝在本地Windows10系統(tǒng)中用來操作、控制微縮智能車自動駕駛虛擬仿真實驗室的python工程CarCode。

????????3)? 交互學(xué)習(xí)網(wǎng)站——部署在超星學(xué)銀在線上的基于虛擬樣機的微縮智能車自動駕駛虛擬仿真實驗課程(目前第4期課程https://www.xueyinonline.com/detail/223693252正在招生,2022年3月15日正式開課,完成實驗一共需要4個學(xué)時,在2022年6月15日前完成所有任務(wù)點即可,該課程是我們作為中國自動化學(xué)會科普教育基地的主要科普工作之一)。

????????學(xué)生需要在交互式學(xué)習(xí)網(wǎng)站的指導(dǎo)下用算法平臺中的代碼控制仿真平臺中的虛擬微縮智能車以自動駕駛的方式完成虛擬賽道,并在交互式學(xué)習(xí)網(wǎng)站上以回答問題的形式報告實驗進展情況,全部完成了對這些交互式問題的回答即完成了一份電子版的實驗報告。仿真平臺將現(xiàn)實環(huán)境中的物理微縮智能車比賽場景1:1的放到了仿真環(huán)境中;算法平臺一方面引入實際場景中調(diào)試物理小車的實際經(jīng)驗,另一方面則充分發(fā)揮人工場景方便采集數(shù)據(jù)用于深度學(xué)習(xí)訓(xùn)練的特點,在保障教學(xué)過程循序漸進的同時在開源平臺碼云上提供最新代碼,鼓勵完成實驗的學(xué)員開展算法創(chuàng)新和競賽;為了給學(xué)生提供更好的教學(xué)服務(wù),交互式學(xué)習(xí)網(wǎng)站在經(jīng)歷過自行開發(fā)的第一代交互式學(xué)習(xí)網(wǎng)站、超星學(xué)習(xí)通章節(jié)版交互式學(xué)習(xí)網(wǎng)站、超星學(xué)習(xí)通獨立課程版交互式學(xué)習(xí)網(wǎng)站三輪迭代后最終在超星學(xué)銀在線上線面向公眾開課,充分利用超星學(xué)銀在線 “一平三端”智慧教學(xué)系統(tǒng)中的成熟教學(xué)功能進行教學(xué)( “一平三端”是以泛雅云平臺,連通教室端(智慧課堂)、移動端(超星學(xué)習(xí)通)和管理端(智慧教務(wù))三個終端去實現(xiàn)智慧環(huán)境下教學(xué)新生態(tài)的構(gòu)建。)

????????使用超星學(xué)銀在線的另一個優(yōu)勢是該教學(xué)系統(tǒng)通過了信息系統(tǒng)安全等級保護3級備案,可以為學(xué)員的信息安全提供保障。

三、教學(xué)設(shè)計
? ? ????經(jīng)過多輪專業(yè)課和公選課的教學(xué)迭代,目前?“基于虛擬樣機的微縮智能車自動駕駛”實驗課程的教學(xué)設(shè)計采用五星教學(xué)法,在“聚焦解決問題”的教學(xué)宗旨下,教學(xué)過程由“激活原有知識”、“展示論證新知”、“嘗試應(yīng)用練習(xí)”和“融會貫通掌握”四階段循環(huán)圈構(gòu)成,將具體的教學(xué)任務(wù)置于循序漸進的實際問題解決情境中來完成,將實際場景中十多年培養(yǎng)學(xué)生成功參加全國大學(xué)生智能汽車競賽的實際經(jīng)驗融入微縮智能車虛擬仿真實驗室人工場景教學(xué)情景中,真正做到虛實結(jié)合,以虛補實、以虛拓實、以虛驗實。具體實驗教學(xué)過程如下:

A.? 聚焦解決問題:
如何利用虛擬樣機和虛擬賽道進行微縮智能車自動駕駛算法研究?
B.? 激活原有知識:
a)?? 微縮智能車自動駕駛虛擬場景怎么來的?
b)?? 手控車代碼測試——從車的視角能獲取哪些信息?
c)?? 已有PID算法過第一關(guān)代碼測試——自動化控制領(lǐng)域最常見的PID算法能否完成賽道?
C.? 展示論證新知:
a)?? 在自動駕駛模式下調(diào)用已有CNN模型測試賽道第一關(guān);
b)?? 在訓(xùn)練模式下手動采集賽道第一關(guān)數(shù)據(jù),啟動新的CNN模型訓(xùn)練。
D.? 嘗試應(yīng)用練習(xí):
a)?? 用已有的PID算法測試賽道第二關(guān),分析失敗原因;
b)?? 調(diào)用已有的CNN模型測試賽道第二關(guān),分析失敗原因
E.? 融會貫通掌握:
此環(huán)節(jié)為二選一環(huán)節(jié)
a)?? 嘗試修改已有的PID算法使之能夠通過第二關(guān)
b)?? 采集數(shù)據(jù)完成新的CNN模型訓(xùn)練并通過第二關(guān),預(yù)估其在其他賽道上的表現(xiàn)
環(huán)境要素:在https://gitee.com/pisc/CarCode網(wǎng)站提供算法平臺CarCode的最新開源代碼,鼓勵大家在課外進行PID算法和CNN模型的PK,看誰能夠先完成全部六關(guān)。
四、特色與創(chuàng)新之處
1)?? 不是搭建一個虛擬場景讓人動手做實驗,而是人編寫算法/訓(xùn)練模型控制虛擬樣機在虛擬場景中做實驗;
2)?? 平行智能理論和實驗室調(diào)車實踐自然融合,注重教學(xué)方法的應(yīng)用,鼓勵學(xué)生探索和創(chuàng)新,真正做到了虛實結(jié)合、以虛驗實、以虛補實、以虛拓實;
3)?? 仿真平臺短小精悍;算法平臺靈活易擴展;交互式網(wǎng)站功能強大、安全可靠。
附件:基于虛擬樣機的微縮智能車自動駕駛實驗系列課程








