「前沿應(yīng)用」事件相機(jī)和機(jī)器學(xué)習(xí)輔助納米成像
iniVation事件相機(jī)相關(guān)資訊或產(chǎn)品購(gòu)買,請(qǐng)?jiān)L問:www.inivation.cn
在一項(xiàng)新的研究中,印度科學(xué)研究所(IISc)的研究人員展示了一種受腦啟發(fā)的圖像傳感器如何超越光的衍射極限來(lái)檢測(cè)微小的物體,如細(xì)胞成分或當(dāng)前顯微鏡不可見的納米顆粒。他們的新技術(shù)將光學(xué)顯微鏡與神經(jīng)形態(tài)相機(jī)(iniVation事件相機(jī))和機(jī)器學(xué)習(xí)算法相結(jié)合,在精確定位小于50納米的物體方面邁出了重要一步。研究結(jié)果發(fā)表在Nature Nanotechnology上。
自從光學(xué)顯微鏡發(fā)明以來(lái),科學(xué)家們一直在努力超越稱為衍射極限的屏障,這意味著如果兩個(gè)物體小于一定尺寸(通常為200-300納米),顯微鏡就無(wú)法區(qū)分它們。
他們的努力主要集中在修改被成像的分子或開發(fā)更好的照明策略上,其中一些獲得了2014年諾貝爾化學(xué)獎(jiǎng)?!暗苌儆腥苏嬲龂L試使用探測(cè)器本身來(lái)嘗試超越這個(gè)檢測(cè)極限,”IISc神經(jīng)科學(xué)中心(CNS)副教授,該研究的通訊作者Deepak Nair說(shuō)。
研究中使用的iniVation(www.inivation.cn)的事件相機(jī)尺寸約為40mm(高度)×60mm(寬度)x 25mm(直徑),重約100克,模仿人類視網(wǎng)膜將光轉(zhuǎn)換為電脈沖的方式,與傳統(tǒng)相機(jī)相比具有幾個(gè)優(yōu)點(diǎn)。在典型的相機(jī)中,每個(gè)像素捕獲相機(jī)聚焦在物體上的整個(gè)曝光時(shí)間內(nèi)落在其上的光的強(qiáng)度,并且所有這些像素匯集在一起以重建物體的圖像。
在神經(jīng)形態(tài)相機(jī)(iniVation事件相機(jī))中,每個(gè)像素獨(dú)立且異步運(yùn)行,僅當(dāng)落在該像素上的光強(qiáng)度發(fā)生變化時(shí)才會(huì)生成事件或尖峰。與傳統(tǒng)攝像機(jī)相比,這會(huì)產(chǎn)生稀疏且較少的數(shù)據(jù)量,傳統(tǒng)攝像機(jī)以固定速率捕獲每個(gè)像素值,而不管場(chǎng)景中是否有任何變化。
神經(jīng)形態(tài)相機(jī)(iniVation事件相機(jī))的這種功能類似于人類視網(wǎng)膜的工作方式,并允許相機(jī)以更高的時(shí)間分辨率“采樣”環(huán)境 - 因?yàn)樗幌衿胀ㄏ鄼C(jī)那樣受到幀速率的限制 - 并且還執(zhí)行背景抑制。
顯微鏡設(shè)置視圖
“這種神經(jīng)形態(tài)相機(jī)具有非常高的動(dòng)態(tài)范圍(>120 dB),這意味著您可以從非常低的光線環(huán)境進(jìn)入非常高的光線條件。神經(jīng)形態(tài)相機(jī)的異步特性、高動(dòng)態(tài)范圍、稀疏數(shù)據(jù)和高時(shí)間分辨率的結(jié)合使其非常適合用于神經(jīng)形態(tài)顯微鏡,“電子系統(tǒng)工程系(DESE)助理教授、IISc、合著者Chetan Singh Thakur解釋說(shuō),。
在目前的研究中,該小組使用他們的神經(jīng)形態(tài)相機(jī)(iniVation事件相機(jī))通過(guò)以高強(qiáng)度和低強(qiáng)度照射激光脈沖并測(cè)量熒光水平的變化來(lái)精確定位小于衍射極限的單個(gè)熒光珠。隨著強(qiáng)度的增加,相機(jī)將信號(hào)捕獲為“ON”事件,而當(dāng)光強(qiáng)度降低時(shí)報(bào)告“OFF”事件。來(lái)自這些事件的數(shù)據(jù)匯集在一起以重建幀。
為了準(zhǔn)確定位框架內(nèi)的熒光粒子,該團(tuán)隊(duì)使用了兩種方法。第一個(gè)是深度學(xué)習(xí)算法,經(jīng)過(guò)大約一百五十萬(wàn)個(gè)圖像模擬的訓(xùn)練,這些模擬非常代表實(shí)驗(yàn)數(shù)據(jù),以預(yù)測(cè)物體的質(zhì)心可能在哪里,CNS前研究實(shí)習(xí)生,該研究的第一作者Rohit Mangalwedhekar解釋說(shuō)。還使用小波分割算法分別確定ON和OFF事件的粒子質(zhì)心。結(jié)合兩者的預(yù)測(cè),團(tuán)隊(duì)能夠以比現(xiàn)有技術(shù)更高的精度將物體的精確位置歸零。
“在像自組織這樣的biological processes中,你有在隨機(jī)或定向運(yùn)動(dòng)之間交替的分子,或者被固定的分子,”奈爾解釋說(shuō)?!耙虼?,你需要有能力以盡可能高的精度定位這個(gè)分子的中心,這樣我們才能理解允許自組織的拇指法則。
該團(tuán)隊(duì)能夠使用該技術(shù)密切跟蹤熒光珠在水溶液中自由移動(dòng)的運(yùn)動(dòng)。因此,這種方法在精確跟蹤和理解生物學(xué)、化學(xué)和物理學(xué)中的隨機(jī)過(guò)程方面具有廣泛的應(yīng)用。
iniVation事件相機(jī)相關(guān)資訊或產(chǎn)品購(gòu)買,請(qǐng)?jiān)L問:www.inivation.cn