雙目立體視覺(jué)猶如3D電影(左右眼看到的場(chǎng)景略有差異),能夠直接給人帶來(lái)強(qiáng)烈的空間臨場(chǎng)感。類(lèi)比機(jī)器視覺(jué),從單個(gè)攝像頭升級(jí)到兩個(gè)攝像頭,即立體視覺(jué)(Stereo Vision)能夠直接提供第三個(gè)維度的信息,即景深(depth),能夠更為簡(jiǎn)單的獲取到三維信息。雙目視覺(jué)最常見(jiàn)的例子就是我們的雙眼:我們之所以能夠準(zhǔn)確的拿起面前的杯子、判斷汽車(chē)的遠(yuǎn)近,都是因?yàn)殡p眼的雙目立體視覺(jué),而3D電影、VR眼鏡的發(fā)明,也都是雙目視覺(jué)的應(yīng)用。
雙目視覺(jué)的基本原理是利用兩個(gè)平行的攝像頭進(jìn)行拍攝,然后根據(jù)兩幅圖像之間的差異(視差),利用一系列復(fù)雜的算法計(jì)算出特定點(diǎn)的距離,當(dāng)數(shù)據(jù)足夠時(shí)還能生成深度圖。
為什么雙目視覺(jué)能夠在無(wú)人機(jī)應(yīng)用中脫穎而出?
其實(shí),各個(gè)避障技術(shù)在無(wú)人機(jī)上都有用武之地,只是應(yīng)用場(chǎng)景有所不同,特別對(duì)于前視避障而言,有些技術(shù)就不適用了。
紅外和超聲波技術(shù),因?yàn)槎夹枰鲃?dòng)發(fā)射光線(xiàn)、聲波,所以對(duì)于反射的物體有要求,比如:紅外線(xiàn)會(huì)被黑色物體吸收,會(huì)穿透透明物體,還會(huì)被其他紅外線(xiàn)干擾;而超聲波會(huì)被海綿等物體吸收,也容易被槳葉氣流干擾。
而且,主動(dòng)式測(cè)距還會(huì)產(chǎn)生兩臺(tái)機(jī)器相互干擾的問(wèn)題。相比之下,雖然雙目視覺(jué)也對(duì)光線(xiàn)有要求,但是對(duì)于反射物的要求要低很多,兩臺(tái)機(jī)器同時(shí)使用也不會(huì)互相干擾,普適性更強(qiáng)。
最重要的是,常見(jiàn)的紅外和超聲波目前都是單點(diǎn)測(cè)距,只能獲得特定方向上的距離數(shù)據(jù),而雙目視覺(jué)可以在小體積、低功耗的前提下,獲得眼前場(chǎng)景的比較高分辨率的深度圖,這就讓避障功能有了更多的發(fā)展空間,比如避障之后的智能飛行、路徑規(guī)劃等。
激光技術(shù)雖然也能實(shí)現(xiàn)類(lèi)似雙目視覺(jué)的功能,但是受限于技術(shù)發(fā)展,目前的激光元件普遍價(jià)格貴、體積大、功耗高,應(yīng)用在消費(fèi)級(jí)無(wú)人機(jī)上既不經(jīng)濟(jì)也不實(shí)用。
所以各方比較之下,性?xún)r(jià)比高、原理簡(jiǎn)單、前景廣闊、普遍適用的雙目視覺(jué)就這樣脫穎而出了。
精靈4Pro上的五向避障
精靈4Pro上的五向避障可以說(shuō)是大疆無(wú)人機(jī)避障技術(shù)的集中體現(xiàn),因此我們以精靈4Pro舉例說(shuō)明。P4P前后的避障都采用了雙目視覺(jué)系統(tǒng),相比精靈4而言,僅雙目視覺(jué)部分的數(shù)據(jù)量就翻了一倍。向下采用雙目視覺(jué)+超聲波的組合避障,以提高在不同環(huán)境中飛行的穩(wěn)定性和安全性。而飛行器左右的避障則采用了紅外線(xiàn)避障。
視覺(jué)里程計(jì)
值得一提的是,其中下視的雙目運(yùn)用了視覺(jué)里程計(jì)(VO)的技術(shù)。
視覺(jué)里程計(jì)簡(jiǎn)單來(lái)說(shuō),就是「通過(guò)左右雙目的圖像,反推出視野中物體的三維位置」,所以相比光流+超聲波技術(shù)只能簡(jiǎn)單的測(cè)出速度和高度,視覺(jué)里程計(jì)還能構(gòu)建地面的三維模型,并通過(guò)連續(xù)的圖像,跟蹤自身與環(huán)境的相對(duì)移動(dòng),估計(jì)出自身的運(yùn)動(dòng)。準(zhǔn)確測(cè)出自身與地面的相對(duì)位置。
雖然視覺(jué)里程計(jì)的數(shù)據(jù)處理量是光流法的數(shù)倍不止,但正是因?yàn)樗囊耄沟镁`4和精靈4Pro在無(wú)GPS的室內(nèi)也能對(duì)自身位置有清晰的掌控,從而實(shí)現(xiàn)穩(wěn)定的懸停并且不會(huì)出現(xiàn)掉高等現(xiàn)象。
有了視覺(jué)里程計(jì),再結(jié)合前后立體視覺(jué)的地圖重構(gòu),無(wú)人機(jī)就同時(shí)掌握了障礙物的位置和機(jī)器自身的位置,這時(shí)再驅(qū)動(dòng)電機(jī)進(jìn)行繞行就顯得易如反掌了,一個(gè)完整的避障功能就是這么實(shí)現(xiàn)的。
Flight Autonomy系統(tǒng)
精靈4Pro的五向避障并非各自獨(dú)立,前后視的雙目視覺(jué)、下視雙目+超聲波和左右紅外避障共同構(gòu)成了大疆的FlightAutonomy系統(tǒng),這個(gè)系統(tǒng)賦予了精靈4Pro對(duì)三維環(huán)境的記憶能力,前后雙目+下視雙目能夠?qū)崟r(shí)對(duì)周?chē)牡匦芜M(jìn)行構(gòu)建和記錄(Mapping),具體而言分為局部地圖(Local Mapping)和全局地圖(Global Mapping)。