近日，香港理工大學(xué)柴揚和華中科技大學(xué)何毓輝教授造出一款動態(tài)視覺傳感器，實現(xiàn)了高級別的動態(tài)視覺處理。

本次研究結(jié)合了動態(tài)視覺傳感器和傳感器內(nèi)計算，通過充分利用兩者的優(yōu)點，他們還設(shè)計出一款動態(tài)傳感器內(nèi)計算架構(gòu)。該架構(gòu)可以大幅提高運算效率，實現(xiàn)低延時、低功耗的運動識別。

這種直接在傳感器內(nèi)進行實時處理和決策的方式，有望用于邊緣計算，以及用于那些對延遲高度敏感的場景比如無人駕駛汽車、機器人技術(shù)等領(lǐng)域，并能有效節(jié)省通信帶寬，此外還能增強數(shù)據(jù)的安全性和隱私性。

那么，相比現(xiàn)有的圖像傳感器、或互補金屬氧化物半導(dǎo)體（CMOS，Complementary Metal Oxide Semiconductor），動態(tài)視覺傳感器在捕捉動態(tài)圖像時，在工作原理上有著哪些不同？

據(jù)了解，傳統(tǒng)相機所基于的標(biāo)準(zhǔn)圖像傳感器具有固定的幀率，不管像素點的光強是否發(fā)生變化，都會在每一幀記錄下所有像素的光強，因此會包含大量冗余的視覺數(shù)據(jù)。

另一方面，較長的曝光時間限制了事件捕獲的延遲，導(dǎo)致所捕捉到的高速運動物體圖像存在模糊和過曝等問題。

相比之下，受生物視網(wǎng)膜啟發(fā)的動態(tài)視覺傳感器（DVS，Dynamic Vision Sensor），可以只針對場景中的相對變化區(qū)域作出反應(yīng)。

對于動態(tài)視覺傳感器來說，只有在像素點的位置發(fā)生光強變化的時候，才會產(chǎn)生脈沖信號從而生成稀疏數(shù)據(jù)，這樣一來就能大大減少數(shù)據(jù)的冗余量。

動態(tài)視覺傳感器還具備超高的時間分辨率，能夠確保動作信息被完整記錄下來。因此，它也能被用于檢測場景中的變化，輸出稀疏且重要的信息。

而對于傳感器內(nèi)的脈沖信號來說，它是否也能被反饋給傳感器神經(jīng)元，從而做出相應(yīng)的調(diào)整？

對于這一問題，答案是肯定的。為了執(zhí)行復(fù)雜的計算任務(wù)比如動作識別，像素單元需要被擴展到陣列級別，并通過單元之間合適的物理互連，構(gòu)建成脈沖神經(jīng)網(wǎng)絡(luò)（SNN，Spiking Neural Network）。

而每個子像素陣列，在連接之后可以輸出神經(jīng)元。在動態(tài)場景中，當(dāng)像素點的光照強度發(fā)生變化時，子像素單元也會產(chǎn)生正負(fù)電流脈沖，來對 LIF（leaky integrate and fire）神經(jīng)元中的電容進行充放電。

一旦電容的積分電壓也就是神經(jīng)元的膜電位，達到神經(jīng)元的閾值時就會輸出脈沖。

來源：傳感器專家網(wǎng)