快速的片上攝像頭將圖像捕獲和處理結合在一起

比超速子彈還快，能夠用單個計算機芯片跨越攝影障礙。這是一個照相機，這是一個芯片，這是一個芯片上的相機。

多虧了電氣工程教授 Abbas El Gamal、心理學和電氣工程教授 Brian Wandell 和他們的學生的努力，拍壞照片變得越來越難。傳統的數碼相機使用傳感器捕獲圖像，并使用多個芯片來處理、壓縮和存儲圖像。但斯坦福大學的研究人員已經開發出一種創新的相機，它使用單芯片和像素級處理來完成這些壯舉。他們的實驗性片上相機可能會催生出具有超能力的商用靜態和攝像機，包括每個像素的完美照明、運動物體的無模糊成像。【攝像頭芯片】

“我們的愿景是最終將傳感、讀出、數字化、存儲和處理全部結合在同一個芯片上，”El Gamal 說。“突然之間，你就擁有了一個單芯片數碼相機，你可以把它粘在按鈕、手表、手機、個人數字助理等等中。”

今天的大多數數碼相機使用電荷耦合器件 (CCD) 傳感器，而不是大多數計算技術中使用的便宜得多的互補金屬氧化物半導體 (CMOS) 芯片。到達 CCD 傳感器的光被轉換成像素電荷陣列。電荷陣列被串行移出傳感器，并使用模數轉換器轉換為數字圖像。對數字數據進行處理和壓縮以供存儲和隨后顯示。

從 CCD 讀取數據具有破壞性。“那時像素內的電荷消失了，”Wandell 說。“它已用于轉換過程，無法繼續在該像素處進行測量。如果您在錯誤的時刻讀取電荷，無論是過早還是過晚，圖片都會曝光不足或曝光過度。”

El Gamal 說，CCD 傳感器的另一個限制是設計人員無法將傳感器與同一芯片上的其他設備集成。制造具有特殊電路的 CMOS 芯片可以解決這兩個問題。

1993 年，El Gamal 開始研究圖像傳感器，從而建立了斯坦福的可編程數碼相機項目，以開發能夠在一個 CMOS 芯片上捕獲和處理圖像的架構和算法。1998 年，他、Wandell 和 James Gibbons，Reid Weaver Dennis 電氣工程教授，召集了一個公司財團來資助他們的研究工作。安捷倫、佳能、惠普和伊士曼柯達目前為該項目提供資金。創始贊助商包括 Interval Research 和英特爾。

美國宇航局噴氣推進實驗室的火星極地著陸器的設計者是第一個將傳感器和電路結合在同一芯片上的人。他們使用了 CMOS 芯片，它比 CCD 更能承受空間輻射，第一代片上相機誕生了。它被稱為有源像素傳感器或 APS，其輸入和輸出都是模擬的。

斯坦福項目產生了第二代片上相機，它在每個像素中都放置了一個模數轉換器，緊挨著光電探測器，以實現強大的信號轉換。稱為數字像素傳感器或 DPS，它一次一位地串行處理像素輸入。

1999 年，El Gamal 的一位前研究生 Dave Yang 從斯坦福大學技術許可辦公室獲得了 DPS 技術的許可，并創立了 Pixim，這是一家數字成像公司，旨在將 DPS 芯片嵌入數碼相機和攝像機、玩具、游戲機、手機等等。【攝像頭芯片】

對速度的需求

第二代片上相機以每秒 60 幀的速度相對強勁。但第三代將其拋在了后面，以每秒 10,000 幀的速度捕獲圖像并每秒處理 10 億像素。斯坦福芯片打破了日常視頻的速度限制（約每秒 30 幀），并創造了連續成像的世界速度記錄。

是什么讓它這么快？它并行處理數據，或同時處理數據，這就是格言“多手做輕工作”的芯片體現。

“當您處理第一張圖像時，您正在捕捉第二張圖像，”El Gamal 解釋道。“這是流水線。”

除了速度快之外，它的處理器也很小。在 2 月 5 日于舊金山舉行的國際固態電路會議上，El Gamal 和研究生 Stuart Kleinfelder、Suk Hwan Lim 和 Xinqiao Liu 展示了他們采用尺寸僅為 0.18 微米的微型晶體管的 DPS 設計。APS 芯片上的晶體管大兩倍。

“這是世界上第一個 0.18 微米 CMOS 圖像傳感器，”El Gamal 說。使用更小的晶體管，芯片架構師可以在芯片上集成更多電路，從而增加內存和復雜性。這種前所未有的小晶體管尺寸使研究人員能夠將數字存儲器集成到每個像素中。

“你正在將讀取速度非常慢的模擬存儲器轉換為讀取速度極快的數字存儲器，”El Gamal 說。“這意味著數字像素傳感器可以非常快速地捕捉圖像。”

DPS 可以捕獲以每分鐘 2,200 轉的速度運動的螺旋槳的無模糊圖像。高速輸入與正常速度輸出相結合，使芯片有時間測量、重新測量、分析和處理信息。增強的圖像分析為新的或改進的研究應用打開了大門，包括運動跟蹤、模式識別、化學反應研究、照明變化解釋、信號平均和三維結構估計。

攝影并不是研究的新工具。1872 年，Leland Stanford 聘請 Eadweard Muybridge 進行攝影實驗，測試他的想法，即在步態的某一時刻，一匹馬的四英尺都離地。這項研究導致了電影的發展。

但大多數人不使用相機來推進科學或工業的前沿。他們只是想拍一張像樣的照片，而高速捕捉解決了一個大問題：在整個圖像中獲得適當的曝光，在照片的最暗和最亮部分之間具有大范圍的陰影。

“在一張圖像中將圖像的低光部分與圖像的高光部分結合起來非常困難，”El Gamal 說。“這是攝影中最大的挑戰之一。膠片在這方面做得非常好。數碼相機和攝像機做得不好。”

在明亮環境中拍攝的圖像需要較短的膠片或像素曝光時間，而在昏暗環境中拍攝的圖像則需要較長的曝光時間。只需單擊一下，片上相機就可以高速重復捕獲和測量像素中的電荷。它的算法會等到合適的時刻，讓每個單獨的像素組合成一張在整個圖像中具有完美曝光的最終圖片。

“我認為這種 [DPS] 芯片的真正突破是它可以在不破壞傳感器數據的情況下進行許多非常快速的讀取，”Wandell 說。

Wandell 是人類視覺和顏色感知方面的專家，他說使用相機讓他對大腦如何處理圖像的假設有了想法。他和包括電氣工程專業的 Jeffrey DiCarlo 和 Peter Catrysse 以及心理學專業的 Feng Xiao 在內的學生利用人類視覺的想法創建了圖像處理算法，以優化打印或在計算機顯示器上顯示的圖像質量。

Wandell 說，雖然目前的相機可以聚焦物體并判斷照明水平，但從歷史上看，它們并未用于圖像分析。他說，他們擅長的圖像捕捉是一項“完全不同的工作”。然而，人腦的強項是圖像分析，Wandell 表示未來的相機設計可能會借鑒生物學，為相機構建更多智能。

華星視訊，iCatch芯片核心戰略合作伙伴，是一家攝像頭方案定制開發服務商，專注于攝像頭方案的定制開發生產，應用于航拍攝像頭模塊、運動相機、防抖云臺相機、USB攝像頭、工業攝像機等視頻攝像產品。

作為全球著名的芯片開發商臺灣芯鼎科技iCatch的戰略合作伙伴，華星視訊的開發團隊積累了多年使用iCatch芯片為客戶研發各種視頻攝像產品的開發經驗，可以快速為客戶研發產品，節省客戶的寶貴時間和金錢，使用iCatch的DSP IC芯片開發過100多個成功的產品，眾多產品都在批量生產中。

如您需定制攝像頭方案、運動相機方案，告訴我們您的需求，點擊“方案定制”，獲取定制方案。