斯坦福大學開發出4D相機技術，該技術可用于機器人、無人機、自動駕駛

斯坦福大學開發出4D相機技術，該技術可用于機器人、無人機、自動駕駛

導語

Wetzstein表示：“新算法和光學器件促進了成像系統生成前所未有的真實圖像”。

編者按：本文來源微信公眾號“機械雞”（ID：jixieji2017），e科網經授權轉載。

斯坦福大學研究人員開發的4D相機技術，可以提高機器人的視覺和虛擬現實能力，具有超寬的視野。

斯坦福的研究人員所描述的技術，可能需要機器來獲取全球的圖像，這比20年前的研究更進一步。這種4D相機，能產生四維圖像，還可以捕獲幾乎140個自由度的信息。

圖：Gordon Wetzstein（左） and  Donald Dansereau（右）

Dansereau（電子工程博士后）和Gordon Wetzstein（電氣工程助理教授）與來自美國加州大學的同事們一起，在圣地亞哥創建了首個單鏡頭、寬視野、光場相機，并把研究成果發布于7月23日的 2017CVPR（計算機視覺會議）。

Wetzstein表示：“新算法和光學器件促進了成像系統生成前所未有的真實圖像”。

普通鏡頭和全新設計的鏡頭之間的差異是，窺視孔和取景窗口。二維照片就像是一個窺視孔，因為你不能四處移動你的鏡頭，以獲取深度、半透明或散射光的詳細信息。4D相機透過窗口望去，可以移動識別形狀、透明度和光線。

光場攝影，首先在1996年由斯坦福大學教授馬克·萊沃伊和帕特·哈納罕發現。光場攝影捕獲的同一圖像的常規2D照相機，加上大概的方向與光射到透鏡的距離信息，創建了所謂的四維圖像。光場攝影的共同特征是，它允許用戶在拍攝后，使得圖像包括關于光的位置和方向的信息重新聚焦。

圖：兩個138°光場的全景和第二全景的深度預估（圖片來源：斯坦福計算機成像實驗室和加州大學圣地亞哥分校光子系統集成實驗室）

Refocus example, alternating between the foreground ducky and background elements. This was carried out using unmodified shift-and-sum LF refocus

圖：使用簡單的線性方法提高LF超分辨率

相機具有極寬的視野，有一個專門設計的球面透鏡。然而，這種透鏡也會有障礙：如何將球形圖像轉換到傳感器上。以前的辦法來解決這個問題容易出錯，但結合UCSD的光學系統和專業技術以及Wetzstein的實驗室有關信號處理、算法的專業知識可以解決這個問題，不僅能創建這些超寬視野圖像，還可以提高成像質量。

▍機器人零距離

該相機系統中的角度，詳細深度信息和潛在嚴謹的寬視野場尺寸可用于穿戴式裝備，機器人，自動駕駛和虛擬現實增強并符合成像系統的所有期待指標。

圖：博士后研究員Donald Dansereau手持全景光場相機的心臟，攻克了的寬視野場具有豐富光場信息的球面透鏡

Wetzstein表示：“這個系統無論你如何移動，都可以在你空間有限任何情況下讓計算機了解它周圍的整個世界”。

雖然它也可以像傳統相機在遠距離工作，但這臺相機的目的是提高特寫圖像。例如以下方面特別有用：包括小區域導航機器人、無人駕駛飛機和自動駕駛汽車。作為增強或虛擬現實系統的一部分，可能會導致真實場景更流暢的渲染深度信息，支持這些場景和虛擬組件之間更好的融合。

該版本將有望足夠小、足夠輕，用來測試機器人。

Dansereau說：“這是我知道的專門為機器人和增強現實內置了光場相機的第一個實例。

文章鏈接：

Matthew O’Toole, et al, "Reconstructing Transient Images from Single-photon Sensors,"  CVPR 2017