機(jī)器視覺是人工智能正在快速發(fā)展的一個(gè)分支。簡(jiǎn)單說(shuō)來(lái),機(jī)器視覺就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。但由于機(jī)器視覺是一門交叉學(xué)科,涉及數(shù)字圖像處理技術(shù)、模式識(shí)別、自動(dòng)控制、照明、人機(jī)界面等多個(gè)領(lǐng)域。因此,很難給機(jī)器視覺下一個(gè)準(zhǔn)確的定義。
制造工程學(xué)會(huì)(SME)和機(jī)器人工業(yè)協(xié)會(huì)(RIA)將機(jī)器視覺定義為:機(jī)器視覺利用光學(xué)和非接觸式傳感器自動(dòng)獲取和解釋真實(shí)物體的圖像,以獲取有用的信息來(lái)控制機(jī)器的運(yùn)動(dòng)或過(guò)程控制。
在機(jī)器視覺系統(tǒng)中,其基本工作流程為:首先照明光源發(fā)出的光照射在被測(cè)物體上;然后再通過(guò)鏡頭成像后由相機(jī)捕獲;隨后,由圖像采集卡收集并經(jīng)計(jì)算機(jī)處理;最后,以預(yù)先設(shè)計(jì)的圖像形式顯示在計(jì)算機(jī)屏幕上,如圖1所示。在這其中,機(jī)器視覺成像系統(tǒng)的成像質(zhì)量決定了整體機(jī)器視覺系統(tǒng)的檢測(cè)精度,發(fā)揮著極為重要的作用。
圖1 機(jī)器視覺系統(tǒng)工作流程示意圖
機(jī)器視覺成像的一個(gè)重要特點(diǎn)是從圖像中獲取目標(biāo)的信息,傳統(tǒng)視覺成像主要依賴于2D視覺技術(shù):根據(jù)灰度或彩色圖像中的像素灰度特征獲取目標(biāo)中物體的紋理、形狀、位置、尺寸和方向等信息。但隨著當(dāng)前“智能制造”技術(shù)對(duì)機(jī)器視覺性能的要求逐漸增高,2D視覺技術(shù)的局限性愈發(fā)明顯,迫切需要3D視覺成像技術(shù)的發(fā)展及應(yīng)用。
目前,3D視覺成像技術(shù)主要依賴于飛行時(shí)間法(TOF)、結(jié)構(gòu)光法、立體視覺法、三角測(cè)量法和調(diào)頻連續(xù)波(FMCW)法等實(shí)現(xiàn)對(duì)目標(biāo)3D信息的感知和收集。
一、TOF法
TOF法的基本工作原理為利用光飛行的時(shí)間差來(lái)獲取物體的深度:探測(cè)系統(tǒng)與光源同時(shí)啟動(dòng),發(fā)射的光脈沖經(jīng)目標(biāo)物體后反射回探測(cè)中并由探測(cè)系統(tǒng)直接存儲(chǔ)往返時(shí)間,最后根據(jù)時(shí)間和光速的關(guān)系求得與目標(biāo)物體之間的距離。
這種測(cè)試方法也稱為直接TOF法(D-TOF),通常適用于單點(diǎn)測(cè)距系統(tǒng),與掃描技術(shù)相結(jié)合便可實(shí)現(xiàn)3D視覺成像。
圖2 PMD公司的工業(yè)TOF相機(jī)以及基于TOF法的自動(dòng)導(dǎo)引叉車示意圖
TOF成像可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集。其特點(diǎn)是:檢測(cè)速度快、視野范圍較大、工作距離遠(yuǎn)、價(jià)格便宜,但精度低,易受環(huán)境光的干擾。
二、結(jié)構(gòu)光法
結(jié)構(gòu)光投影3D成像目前是機(jī)器人3D視覺感知的主要方式,結(jié)構(gòu)光成像系統(tǒng)是由若干個(gè)投影儀和相機(jī)組成,如圖3所示,常用的結(jié)構(gòu)形式有:?jiǎn)瓮队皟x單相機(jī)、單投影儀-雙相機(jī)、單投影儀多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)多投影儀等典型結(jié)構(gòu)形式。
圖3 基于紅外結(jié)構(gòu)光的深度相機(jī):Astra Stereo S U3
結(jié)構(gòu)光投影3D成像的基本工作原理是:利用計(jì)算機(jī)生成結(jié)構(gòu)光圖案或用特殊的光學(xué)裝置產(chǎn)生結(jié)構(gòu)光,經(jīng)過(guò)光學(xué)投影系統(tǒng)投射至被測(cè)物體表面,然后采用圖像獲取設(shè)備(如CCD或CMOS相機(jī))采集被物體表面調(diào)制后發(fā)生變形的結(jié)構(gòu)光圖像,利用圖像處理算法計(jì)算圖像中每個(gè)像素點(diǎn)與物體輪廓上點(diǎn)的對(duì)應(yīng)關(guān)系;最后通過(guò)系統(tǒng)結(jié)構(gòu)模型及其標(biāo)定技術(shù),計(jì)算得到被測(cè)物體的三維輪廓信息,如圖4所示。根據(jù)結(jié)構(gòu)光投影次數(shù)劃分,結(jié)構(gòu)光投影3D成像可以分成單次投影3D成像和多次投影3D成像方法。
圖4 結(jié)構(gòu)光投影3D成像的基本工作原理圖
其中,單次投影3D成像方法曝光和測(cè)量時(shí)間短,抗振動(dòng)性能好,適合機(jī)器人實(shí)時(shí)運(yùn)動(dòng)引導(dǎo)和手眼機(jī)器人等需要對(duì)運(yùn)動(dòng)物體進(jìn)行3D成像的應(yīng)用。但該方法景深較低,無(wú)法在大視場(chǎng)情況下獲得較高的垂直空間分辨率。
而多次投影3D成像方法恰能實(shí)現(xiàn)較高的空間分辨率,能有效解決目標(biāo)表面斜率階躍變化的問題,但也具有相應(yīng)的不足之處:抗振動(dòng)性能較差,無(wú)法準(zhǔn)確的測(cè)量連續(xù)運(yùn)動(dòng)的物體;測(cè)量精度對(duì)投影儀、相機(jī)的環(huán)境變化敏感;實(shí)時(shí)性相對(duì)較差。
三、立體視覺法
立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu),一般情況下是指從不同的視點(diǎn)獲取兩幅或多幅圖像重構(gòu)目標(biāo)物體3D結(jié)構(gòu)或深度信息。目前立體視覺3D成像方法可以分為單目視覺、雙目視覺、多(目)視覺和光場(chǎng)3D成像等,其中最為典型的便是雙目立體視覺3D成像。
圖5 Intel實(shí)感深度攝像頭D455示意圖及內(nèi)部結(jié)構(gòu)圖
雙目立體視覺方法是利用兩個(gè)相機(jī)從兩個(gè)不同的視點(diǎn)對(duì)同一個(gè)目標(biāo)物體獲得兩個(gè)視點(diǎn)圖像,然后計(jì)算兩個(gè)視點(diǎn)圖像的視差以此獲得目標(biāo)物體的3D深度信息,如圖6所示,該計(jì)算過(guò)程一般分為以下四個(gè)步驟:圖像畸變矯正、立體圖像校對(duì)、圖像配準(zhǔn)和三角法重投影視差圖計(jì)算。
圖6 雙目立體視覺工作原理示意圖
這種雙目立體視覺3D成像的方法是被動(dòng)視覺成像的一種,比較依賴于機(jī)接收到的由目標(biāo)場(chǎng)景產(chǎn)生的光輻射信息,已成功應(yīng)特定條件下的3D測(cè)量場(chǎng)景,但場(chǎng)景應(yīng)用有限,對(duì)場(chǎng)景要求較高,比如:目標(biāo)場(chǎng)景光輻射動(dòng)態(tài)范圍較小且無(wú)遮擋、目標(biāo)物體表面光滑或紋理清晰、幾何規(guī)則明顯等。
四、三角測(cè)量法
激光三角測(cè)量法已經(jīng)存在了數(shù)十年,且目前仍然被廣泛使用,其主要作用是測(cè)量目標(biāo)物體上單個(gè)點(diǎn)的準(zhǔn)確深度。
其工作原理是利用激光光源、目標(biāo)物體和相機(jī)定義一個(gè)空間三角形,并通過(guò)確定三者之間的相交角度來(lái)計(jì)算目標(biāo)物體單個(gè)點(diǎn)的3D坐標(biāo)信息,如圖7所示。在此基礎(chǔ)上,將其與線掃描技術(shù)和面掃描技術(shù)相結(jié)合便可實(shí)現(xiàn)2D和3D的測(cè)量。
圖7 三角測(cè)量法工作原理示意圖
三角測(cè)量法具有非常高的分辨率和測(cè)量精度,其分辨率可擴(kuò)展到毫米及微米級(jí)別,但在實(shí)際應(yīng)用中受相機(jī)和激光光源橫向距離的限制,并且測(cè)量時(shí)間較長(zhǎng),僅適用于較短的距離的測(cè)量。
五、FMCW法
FMCW法也稱為相干3D成像法,是通過(guò)一系列連續(xù)調(diào)制(如正弦調(diào)制、平方幅度調(diào)制等)的出射激光或LED發(fā)射探測(cè)光,經(jīng)目標(biāo)物體反射后,根據(jù)發(fā)射和接收信號(hào)之間的調(diào)制幅度的相移來(lái)獲得物體距離等信息。
相比于TOF法,F(xiàn)MCW法不依賴于光脈沖的飛行之間和發(fā)射光的幅度和功率,而是依賴于窄線寬激光器與相干接收器耦合產(chǎn)生的低功率頻率啁啾,具有更高的靈敏度、精度和準(zhǔn)確度,并且具有較為優(yōu)異的抗干擾性,但由于確定相移需要更長(zhǎng)的測(cè)量和積分時(shí)間,且由于相移重復(fù)回產(chǎn)生距離歧義的問題,因此該方法僅適用于短距離的測(cè)量。
圖8 SiLC Technologies的“4D + Vision Chip”FMCW激光雷達(dá)傳感器示意圖
總結(jié)
隨著對(duì)機(jī)器視覺系統(tǒng)的研究和探索,它已經(jīng)在制造業(yè)生產(chǎn)、日常生活、以及醫(yī)療健康等方面扮演者越來(lái)越重要的角色,極大地提高了現(xiàn)有的生產(chǎn)力和自動(dòng)化水平,必將是我國(guó)智能制造中亟需發(fā)展和研究的項(xiàng)目。
但該系統(tǒng)較為復(fù)雜,涉及多個(gè)學(xué)科的交叉,比如光學(xué)成像、圖像處理、自動(dòng)化、控制等。因此必將出現(xiàn)大量的學(xué)科交叉問題及瓶頸,而如何在其中探索出高準(zhǔn)確性、實(shí)時(shí)性和強(qiáng)魯棒性等性能的復(fù)合方案將是研究者和應(yīng)用企業(yè)追尋及探索的方向。