一種新的仿生傳感器可以從視頻中在一幀內識別移動物體,并成功預測它們將移動到哪里。《自然通訊》的一篇論文中描述了這種智能傳感器,它將在一系列領域成為一種有價值的工具,包括動態視覺傳感、自動檢測、工業過程控制、機器人制導和自動駕駛技術。
當前的運動檢測系統需要許多組件和復雜的算法來進行逐幀分析,這使得它們效率低下且耗能高。受人類視覺系統的啟發,阿爾托大學的研究人員開發了一種新的神經形態視覺技術,該技術將傳感、記憶和處理集成在一個可以檢測運動和預測軌跡的設備中。
他們技術的核心是一系列光調制器,這是一種響應光產生電流的電氣設備。當光線關閉時,電流不會立即停止。相反,它會逐漸衰減,這意味著光調制器可以有效地“記住”它們最近是否暴露在光線下。因此,由光調制器陣列制成的傳感器不僅像相機那樣記錄場景的即時信息,而且還包括先前瞬間的動態存儲器。
領導這項研究的研究員譚宏偉解釋道:“我們技術的獨特之處在于它能夠將一系列光學圖像集成在一幀中。”每個圖像的信息作為隱藏信息嵌入到以下圖像中。換句話說,視頻中的最后一幀也具有關于所有先前幀的信息。這讓我們可以通過簡單的人工神經網絡只分析最后一幀來更早地檢測視頻中的運動。其結果是一個緊湊而高效的傳感單元。
為了演示這項技術,研究人員使用視頻一次顯示一個單詞的字母。因為所有單詞都以字母“E”結尾,所以所有視頻的最后一幀看起來都很相似。傳統的視覺傳感器無法判斷屏幕上的“E”是否出現在“APPLE”或“GRAPE”中的其他字母之后。但光調制器陣列可以在最后一幀中使用隱藏的信息來推斷之前的字母,并以接近100%的準確率預測單詞是什么。
在另一項測試中,該團隊展示了一個模擬人以三種不同速度移動的傳感器視頻。該系統不僅能夠通過分析單個幀來識別運動,而且還能正確預測下一幀。
準確檢測運動和預測物體的位置對自動駕駛技術和智能交通至關重要。自動駕駛汽車需要準確預測汽車、自行車、行人和其他物體的移動方式,以指導其決策。通過在光調制器陣列中添加機器學習系統,研究人員表明,他們的集成系統可以基于全信息幀的傳感器內處理來預測未來的運動。
Sebastiaan van Dijken教授說:“我們緊湊的傳感器內存和計算解決方案為自主機器人和人機交互提供了新的機會。我們在使用光調制器的系統中獲得的幀內信息避免了冗余的數據流,從而實現了實時的節能決策。”