經銷網絡

您所在位置:首頁 > 經銷網絡 > 正文

深度學習技術在黑暗中揭示“隱形”物體

文章作者:www.utbltn.icu發布時間:2019-12-12瀏覽次數:1188

即使在良好的光線條件下,小玻璃中的小折痕或酒杯中的隱形眼鏡也難以閱讀。在幾乎完全黑暗的情況下,這種透明特征或物體圖像幾乎不可能被破譯。但現在,麻省理工學院的工程師開發出一種技術,可以在黑暗中揭示這些“看不見的”物體。

在今天發表在物理評論信中的一項研究中,研究人員從這些物體的圖像中重建透明物體,這些物體是在幾乎黑暗的條件下拍攝的。他們使用“深度神經網絡”來實現這一目標,這是一種機器學習技術,涉及訓練計算機將某些輸入與特定輸出相關聯 - 在這種情況下,透明物體的黑暗,顆粒狀圖像和物體本身。

該團隊訓練了一臺計算機,根據這些圖案極其顆粒狀的圖像識別10,000多個透明玻璃蝕刻。這些圖像是在非常低的光照條件下拍攝的,每個像素大約有一個光子 - 遠遠低于相機在黑暗密封房間記錄的光。然后,他們向計算機展示了一個未包含在訓練數據中的新粒狀圖像,并發現它學會了重建黑暗,模糊,透明的物體。

結果表明,深度神經網絡可以用于照亮在很少光線下拍攝的圖像中的透明特征,例如生物組織和細胞。

麻省理工學院機械工程系教授喬治巴巴斯塔斯說:“在實驗室里,如果你用光線轟擊生物細胞,他們就會燒掉它們,什么都不能留下來。” “當談到X射線成像時如果你讓患者暴露于X射線,就會增加他們患上癌癥的風險。我們在這里做的是你可以獲得相同的圖像質量,但患者的暴露程度較低,生物學當你想要對它們進行取樣時,你可以減少對生物標本的損害。“

Barbastathis的論文共同作者是主要作者Alexandre Goy,Kwabena Arthur和Shuai Li。

深刻的黑暗學習

神經網絡是一種計算方案,旨在松散地模擬大腦神經元如何協同工作以處理復雜的數據輸入。神經網絡通過執行數學運算的連續“層”來工作。每個計算層基于初始輸入計算給定輸出的概率。例如,給定狗的圖像,神經網絡可以識別首先回憶動物的特征,然后更具體地識別狗,并最終識別比格犬。 “深度”神經網絡在輸入和輸出之間包含更多詳細的計算層。

研究人員可以通過為他們提供數百或數千個圖像,而不僅僅是狗,其他動物,物體和人,以及每張圖像的正確標簽,來更快,更“訓練”這些網絡。準確地執行計算。有了足夠的數據來學習,神經網絡應該能夠正確地對新圖像進行分類。

深度神經網絡已廣泛用于計算機視覺和圖像識別領域。最近,Barbastathis等人。開發了一個神經網絡來重建用大量光線拍攝的圖像中的透明物體。現在,他的團隊是第一個在實驗中使用深度神經網絡來揭示黑暗中拍攝的不可見物體的人。

“不可見的物體可以以不同的方式顯示,但通常需要你使用足夠的光線,”Barbastathis說。 “我們現在正在做的是想象在黑暗中看不見的物體。所以它就像兩個困難的組合。但是,我們仍然可以做同樣的啟示。”

光法則

該團隊咨詢了10,000個集成電路(IC)的數據庫,每個集成電路都有不同的復雜水平和垂直條紋蝕刻。

“當我們用肉眼觀察它時,我們看不到太多 - 它們看起來像一個透明的玻璃,”Goy說。 “但實際上非常精細和淺的結構仍然會對光產生影響。”

研究人員使用“相空間光調制器”代替將10,000個圖案中的每一個蝕刻到盡可能多的幻燈片上,在單個幻燈片上顯示圖案,再現并實際蝕刻滑塊。相同的光學效果。會的。

研究人員建立了一個實驗,他們將相機對準一個裝有光調制器的小鋁框架。然后,他們使用該設備從數據庫中重現10,000個IC模式中的每一個。研究人員覆蓋了整個實驗,因此它受到光線保護,然后使用光調制器快速旋轉每個模式,類似于幻燈片旋轉木馬。他們在幾乎完全黑暗的環境中拍攝每個透明圖案的圖像,產生“鹽和胡椒”圖像,這些圖像只是電視屏幕上的靜態圖像。

該團隊開發了一個深度神經網絡來識別暗圖像中的透明圖案,然后為網絡提供相機拍攝的10,000張粒狀照片,以及相應的圖案或研究人員稱之為“基本事實”的圖像。

“你告訴電腦,'如果我把它放進去,你會把它拿出來,'”戈伊說。 “你這樣做了10,000次。經過培訓,你希望如果你給它一個新的輸入,它可以告訴你它看到了什么。”

“它比嬰兒更糟糕,”Barbastathis戲弄道。 “通常寶寶學得更快。”

研究人員將他們的相機設置為略微失焦。雖然它看似違反直覺,但實際上它使透明物體成為焦點。或者,更準確地說,散焦提供了一些證據,證明透明物體可以以檢測到的光中的波紋形式存在。這個缺陷是一個視覺符號,神經網絡可以檢測到這是一個物體在圖像顆粒感的某個地方的第一個標志。

但散焦也會造成模糊,這會混淆神經網絡的計算。為了解決這個問題,研究人員在神經網絡中添加了一個物理定律,描述了光的行為以及當相機散焦時它如何產生模糊。

“我們所知道的是樣品和相機之間光傳播的物理定律,”Barbastathis說。 “最好將這些知識包含在模型中,因此神經網絡不會浪費時間學習我們已經知道的東西。”

更清晰的圖像

在訓練了10,000個不同IC模式圖像的神經網絡后,該團隊創建了一個全新的模型,該模型未包含在原始訓練集中。當他們在黑暗中拍攝圖案并將圖像輸入神經網絡時,他們比較了神經網絡重建的模式,無論網絡中是否嵌入了物理定律。

他們發現這兩種方法都能很好地重建原始透明圖案,但“物理知識重建”產生了更清晰,更準確的圖像。更重要的是,這種重建的圖案來自于在接近完全黑暗中拍攝的圖像,其比相同圖案的物理知識更清晰地重建,并且在光中拍攝的圖像更亮1000倍以上。

該團隊用一個全新的數據集重復他們的實驗,這些數據集包含10,000多個常見和不斷變化的物體的圖像,包括人物,地點和動物。經過訓練,研究人員提供了一個全新的神經網絡圖像,在黑暗中拍攝,透明地蝕刻場景,并在碼頭停靠。他們再次發現,物理知識重建比沒有嵌入物理定律的副本產生更準確的原始圖像。

“我們已經證明,深度學習可以在黑暗中揭示隱形物體,”戈伊說。 “這一結果對醫學成像具有實際意義,可以減少有害輻射和天文成像的暴露。”

這項研究得到了高級情報研究項目和新加坡國家研究基金會的部分支持。

蓝海赚钱