快速的片上攝像頭將圖像捕獲和處理結(jié)合在一起

比超速子彈還快，能夠用單個計算機芯片跨越攝影障礙。這是一個照相機，這是一個芯片，這是一個芯片上的相機。

多虧了電氣工程教授 Abbas El Gamal、心理學(xué)和電氣工程教授 Brian Wandell 和他們的學(xué)生的努力，拍壞照片變得越來越難。傳統(tǒng)的數(shù)碼相機使用傳感器捕獲圖像，并使用多個芯片來處理、壓縮和存儲圖像。但斯坦福大學(xué)的研究人員已經(jīng)開發(fā)出一種創(chuàng)新的相機，它使用單芯片和像素級處理來完成這些壯舉。他們的實驗性片上相機可能會催生出具有超能力的商用靜態(tài)和攝像機，包括每個像素的完美照明、運動物體的無模糊成像。【攝像頭芯片】

“我們的愿景是最終將傳感、讀出、數(shù)字化、存儲和處理全部結(jié)合在同一個芯片上，”El Gamal 說。“突然之間，你就擁有了一個單芯片數(shù)碼相機，你可以把它粘在按鈕、手表、手機、個人數(shù)字助理等等中。”

今天的大多數(shù)數(shù)碼相機使用電荷耦合器件 (CCD) 傳感器，而不是大多數(shù)計算技術(shù)中使用的便宜得多的互補金屬氧化物半導(dǎo)體 (CMOS) 芯片。到達 CCD 傳感器的光被轉(zhuǎn)換成像素電荷陣列。電荷陣列被串行移出傳感器，并使用模數(shù)轉(zhuǎn)換器轉(zhuǎn)換為數(shù)字圖像。對數(shù)字數(shù)據(jù)進行處理和壓縮以供存儲和隨后顯示。

從 CCD 讀取數(shù)據(jù)具有破壞性。“那時像素內(nèi)的電荷消失了，”Wandell 說。“它已用于轉(zhuǎn)換過程，無法繼續(xù)在該像素處進行測量。如果您在錯誤的時刻讀取電荷，無論是過早還是過晚，圖片都會曝光不足或曝光過度。”

El Gamal 說，CCD 傳感器的另一個限制是設(shè)計人員無法將傳感器與同一芯片上的其他設(shè)備集成。制造具有特殊電路的 CMOS 芯片可以解決這兩個問題。

1993 年，El Gamal 開始研究圖像傳感器，從而建立了斯坦福的可編程數(shù)碼相機項目，以開發(fā)能夠在一個 CMOS 芯片上捕獲和處理圖像的架構(gòu)和算法。1998 年，他、Wandell 和 James Gibbons，Reid Weaver Dennis 電氣工程教授，召集了一個公司財團來資助他們的研究工作。安捷倫、佳能、惠普和伊士曼柯達目前為該項目提供資金。創(chuàng)始贊助商包括 Interval Research 和英特爾。

美國宇航局噴氣推進實驗室的火星極地著陸器的設(shè)計者是第一個將傳感器和電路結(jié)合在同一芯片上的人。他們使用了 CMOS 芯片，它比 CCD 更能承受空間輻射，第一代片上相機誕生了。它被稱為有源像素傳感器或 APS，其輸入和輸出都是模擬的。

斯坦福項目產(chǎn)生了第二代片上相機，它在每個像素中都放置了一個模數(shù)轉(zhuǎn)換器，緊挨著光電探測器，以實現(xiàn)強大的信號轉(zhuǎn)換。稱為數(shù)字像素傳感器或 DPS，它一次一位地串行處理像素輸入。

1999 年，El Gamal 的一位前研究生 Dave Yang 從斯坦福大學(xué)技術(shù)許可辦公室獲得了 DPS 技術(shù)的許可，并創(chuàng)立了 Pixim，這是一家數(shù)字成像公司，旨在將 DPS 芯片嵌入數(shù)碼相機和攝像機、玩具、游戲機、手機等等。【攝像頭芯片】

對速度的需求

第二代片上相機以每秒 60 幀的速度相對強勁。但第三代將其拋在了后面，以每秒 10,000 幀的速度捕獲圖像并每秒處理 10 億像素。斯坦福芯片打破了日常視頻的速度限制（約每秒 30 幀），并創(chuàng)造了連續(xù)成像的世界速度記錄。

是什么讓它這么快？它并行處理數(shù)據(jù)，或同時處理數(shù)據(jù)，這就是格言“多手做輕工作”的芯片體現(xiàn)。

“當(dāng)您處理第一張圖像時，您正在捕捉第二張圖像，”El Gamal 解釋道。“這是流水線。”

除了速度快之外，它的處理器也很小。在 2 月 5 日于舊金山舉行的國際固態(tài)電路會議上，El Gamal 和研究生 Stuart Kleinfelder、Suk Hwan Lim 和 Xinqiao Liu 展示了他們采用尺寸僅為 0.18 微米的微型晶體管的 DPS 設(shè)計。APS 芯片上的晶體管大兩倍。

“這是世界上第一個 0.18 微米 CMOS 圖像傳感器，”El Gamal 說。使用更小的晶體管，芯片架構(gòu)師可以在芯片上集成更多電路，從而增加內(nèi)存和復(fù)雜性。這種前所未有的小晶體管尺寸使研究人員能夠?qū)?shù)字存儲器集成到每個像素中。

“你正在將讀取速度非常慢的模擬存儲器轉(zhuǎn)換為讀取速度極快的數(shù)字存儲器，”El Gamal 說。“這意味著數(shù)字像素傳感器可以非常快速地捕捉圖像。”

DPS 可以捕獲以每分鐘 2,200 轉(zhuǎn)的速度運動的螺旋槳的無模糊圖像。高速輸入與正常速度輸出相結(jié)合，使芯片有時間測量、重新測量、分析和處理信息。增強的圖像分析為新的或改進的研究應(yīng)用打開了大門，包括運動跟蹤、模式識別、化學(xué)反應(yīng)研究、照明變化解釋、信號平均和三維結(jié)構(gòu)估計。

攝影并不是研究的新工具。1872 年，Leland Stanford 聘請 Eadweard Muybridge 進行攝影實驗，測試他的想法，即在步態(tài)的某一時刻，一匹馬的四英尺都離地。這項研究導(dǎo)致了電影的發(fā)展。

但大多數(shù)人不使用相機來推進科學(xué)或工業(yè)的前沿。他們只是想拍一張像樣的照片，而高速捕捉解決了一個大問題：在整個圖像中獲得適當(dāng)?shù)钠毓猓谡掌淖畎岛妥盍敛糠种g具有大范圍的陰影。

“在一張圖像中將圖像的低光部分與圖像的高光部分結(jié)合起來非常困難，”El Gamal 說。“這是攝影中最大的挑戰(zhàn)之一。膠片在這方面做得非常好。數(shù)碼相機和攝像機做得不好。”

在明亮環(huán)境中拍攝的圖像需要較短的膠片或像素曝光時間，而在昏暗環(huán)境中拍攝的圖像則需要較長的曝光時間。只需單擊一下，片上相機就可以高速重復(fù)捕獲和測量像素中的電荷。它的算法會等到合適的時刻，讓每個單獨的像素組合成一張在整個圖像中具有完美曝光的最終圖片。

“我認為這種 [DPS] 芯片的真正突破是它可以在不破壞傳感器數(shù)據(jù)的情況下進行許多非常快速的讀取，”Wandell 說。

Wandell 是人類視覺和顏色感知方面的專家，他說使用相機讓他對大腦如何處理圖像的假設(shè)有了想法。他和包括電氣工程專業(yè)的 Jeffrey DiCarlo 和 Peter Catrysse 以及心理學(xué)專業(yè)的 Feng Xiao 在內(nèi)的學(xué)生利用人類視覺的想法創(chuàng)建了圖像處理算法，以優(yōu)化打印或在計算機顯示器上顯示的圖像質(zhì)量。

Wandell 說，雖然目前的相機可以聚焦物體并判斷照明水平，但從歷史上看，它們并未用于圖像分析。他說，他們擅長的圖像捕捉是一項“完全不同的工作”。然而，人腦的強項是圖像分析，Wandell 表示未來的相機設(shè)計可能會借鑒生物學(xué)，為相機構(gòu)建更多智能。

華星視訊，iCatch芯片核心戰(zhàn)略合作伙伴，是一家攝像頭方案定制開發(fā)服務(wù)商，專注于攝像頭方案的定制開發(fā)生產(chǎn)，應(yīng)用于航拍攝像頭模塊、運動相機、防抖云臺相機、USB攝像頭、工業(yè)攝像機等視頻攝像產(chǎn)品。

作為全球著名的芯片開發(fā)商臺灣芯鼎科技iCatch的戰(zhàn)略合作伙伴，華星視訊的開發(fā)團隊積累了多年使用iCatch芯片為客戶研發(fā)各種視頻攝像產(chǎn)品的開發(fā)經(jīng)驗，可以快速為客戶研發(fā)產(chǎn)品，節(jié)省客戶的寶貴時間和金錢，使用iCatch的DSP IC芯片開發(fā)過100多個成功的產(chǎn)品，眾多產(chǎn)品都在批量生產(chǎn)中。

如您需定制攝像頭方案、運動相機方案，告訴我們您的需求，點擊“方案定制”，獲取定制方案。