三維機(jī)器視覺(jué)基礎(chǔ)

機(jī)器視覺(jué)能力正在迅速擴(kuò)大超過(guò)二維圖像。

機(jī)器視覺(jué)技術(shù)在生產(chǎn)現(xiàn)場(chǎng)應(yīng)用中得到廣泛的接受和應(yīng)用。雖然大多數(shù)這些應(yīng)用程序是在二維空間中，提供的系統(tǒng)和組件提供的三維信息的可用性顯著增長(zhǎng)。雖然在機(jī)器視覺(jué)應(yīng)用中的三維成像已經(jīng)存在多年，隨著技術(shù)的不斷擴(kuò)大和成本的不斷縮小，三維成像技術(shù)的應(yīng)用范圍越來(lái)越廣。由于這一個(gè)子集的機(jī)器視覺(jué)技術(shù)可能是不太熟悉的許多，更廣泛的理解的基本面可能會(huì)揭示更多的方式，可用于自動(dòng)檢查和指導(dǎo)的三維機(jī)器視覺(jué)。在本教程中，我們將提供一個(gè)概述的一些關(guān)鍵概念，技術(shù)和使用的三維機(jī)器視覺(jué)。

 

概述

我們的眼睛（作為一個(gè)“立體成像對(duì)”）在三個(gè)維度感知的視覺(jué)數(shù)據(jù)，我們使用這些數(shù)據(jù)直觀地作出決定。然而，一臺(tái)機(jī)器視覺(jué)相機(jī)，處理一個(gè)平面，二維圖像顯著更有限的數(shù)據(jù)可用于決策。本質(zhì)上是一個(gè)機(jī)器視覺(jué)系統(tǒng)的一個(gè)二維圖像必須完全依賴于亮度，對(duì)比度和唯一的X，Y和旋轉(zhuǎn)位置相對(duì)于相機(jī)。它是非常有價(jià)值的，當(dāng)機(jī)器視覺(jué)應(yīng)用可以利用額外的數(shù)據(jù)，如可在一個(gè)三維視圖，如一個(gè)物體的高度，甚至在圖像中的每一個(gè)點(diǎn)的高度。困難的檢查，可能需要多個(gè)相機(jī)或精密零件介紹可能會(huì)簡(jiǎn)化與三維數(shù)據(jù)的可用性。其他應(yīng)用程序，如自動(dòng)導(dǎo)航的運(yùn)動(dòng)和位置或測(cè)量的物體在三維空間從根本上需要的三維信息。

簡(jiǎn)單地說(shuō)，機(jī)器視覺(jué)中的三維成像的基本任務(wù)是在一個(gè)場(chǎng)景中提供高度信息，相對(duì)于一個(gè)固定的或任意的平面。的高度信息，然后進(jìn)一步處理，以提供空間測(cè)量，形狀位置和分析，特征識(shí)別，和許多其他復(fù)雜的檢查任務(wù)。

在數(shù)字成像世界中存在的許多技術(shù)和方法，用于獲取三維圖像和信息。在學(xué)術(shù)界和工業(yè)界的研究人員都在積極開(kāi)發(fā)新技術(shù)，并改進(jìn)現(xiàn)有的或商業(yè)化的，已知的方法。從圖像中獲取三維信息的一些定義良好的方法包括：

 

立體/多臺(tái)相機(jī)

結(jié)構(gòu)光線或

“光之表”

具有不同照明方向、顏色或形狀的多幅圖像

單或多相機(jī)高度從焦點(diǎn)，形狀，陰影

光圖案投影（如微軟的Kinect）

飛行時(shí)間

用相移干涉術(shù)的條紋投影

 

這些方法中的一些被用于在計(jì)算機(jī)成像中的三維場(chǎng)景的采集，主要用于一個(gè)對(duì)象的定義和重建。在某些情況下，技術(shù)是用于空間運(yùn)動(dòng)捕捉（想想微軟的Kinect）。上面提到的技術(shù)雖然，某些已經(jīng)獲得了更廣泛的使用在工業(yè)自動(dòng)化，由于部分原因：1）的性質(zhì)，經(jīng)常發(fā)現(xiàn)在機(jī)器視覺(jué)項(xiàng)目，2）的可靠性和魯棒性的技術(shù)，更關(guān)鍵的是，3）在工廠車間環(huán)境的易用性。更常見(jiàn)的（現(xiàn)在）機(jī)器視覺(jué)的三維成像技術(shù)是立體聲（或多個(gè)）相機(jī)成像，使用的結(jié)構(gòu)光線或模式與單個(gè)或多個(gè)相機(jī)，和飛行傳感器的時(shí)間。

 

機(jī)器視覺(jué)的三維數(shù)據(jù)

在考慮哪些技術(shù)（S）和組件使用，重要的是要了解類型的信息，可從一個(gè)三維圖像和什么將是最有用的目標(biāo)應(yīng)用。在一般情況下，有兩種類型的三維圖像數(shù)據(jù)，可以在典型的機(jī)器視覺(jué)應(yīng)用：?jiǎn)吸c(diǎn)位置確定和點(diǎn)云圖像表示。（請(qǐng)注意，這些都不是特別鏈接到上面提到的任何一種成像技術(shù)，不同的技術(shù)可能會(huì)產(chǎn)生任何類型的數(shù)據(jù)取決于實(shí)現(xiàn)。）

 

點(diǎn)云

當(dāng)我們想到一個(gè)三維場(chǎng)景時(shí)，它不太難想象一個(gè)場(chǎng)景作為一個(gè)巨大的個(gè)體點(diǎn)集合：一個(gè)點(diǎn)云。每一點(diǎn)都有一個(gè)X，Y和Z在空間中的位置。機(jī)器視覺(jué)點(diǎn)云也可以被稱為一個(gè)范圍內(nèi)的地圖，因?yàn)槊總€(gè)點(diǎn)的高度組件通常是相對(duì)于一個(gè)特定的平面，這取決于所使用的成像技術(shù)和組件。隨著一個(gè)點(diǎn)云數(shù)據(jù)表示，進(jìn)一步處理是在場(chǎng)景中提取一個(gè)單一的點(diǎn)（例如，一個(gè)平面上的最高點(diǎn)）；隔離功能或?qū)ο蟮幕A(chǔ)上的空間高度相對(duì)于一個(gè)平面測(cè)量或質(zhì)量評(píng)價(jià)；或搜索和提供的對(duì)象的位置在一個(gè)復(fù)雜的場(chǎng)景，根據(jù)存儲(chǔ)的三維模型的對(duì)象的形狀，往往是機(jī)器人指導(dǎo)的目的。

 

單點(diǎn)

從一個(gè)三維場(chǎng)景的數(shù)據(jù)可以只是個(gè)別點(diǎn)相關(guān)的特定的功能或?qū)ο蟮奈恢?。往往較少的計(jì)算費(fèi)用，需要提取單點(diǎn)位置，從而更快的處理。從一個(gè)單一的點(diǎn)的位置和高度信息可以被用于在一個(gè)應(yīng)用程序中，雖然多個(gè)單獨(dú)的點(diǎn)往往被處理，以進(jìn)一步定義一個(gè)對(duì)象的空間方向和大小的位置和/或質(zhì)量檢查。隨著單個(gè)或少量的個(gè)體的三維點(diǎn)，匹配的模型或處理的一個(gè)復(fù)雜的或混亂的場(chǎng)景不能實(shí)現(xiàn)與一個(gè)完整的點(diǎn)云。

如何在機(jī)器視覺(jué)中使用的數(shù)據(jù)是依賴于應(yīng)用程序。一個(gè)重要的考慮因素是應(yīng)用程序所需的信息的范圍。注意在所有的情況下，一個(gè)單一的、未經(jīng)加工的三維圖像點(diǎn)提供一個(gè)X，Y，Z的相對(duì)位置平面。當(dāng)與圖像中的其他相關(guān)點(diǎn)相結(jié)合時(shí)，應(yīng)用程序的數(shù)據(jù)是一個(gè)完全的三維平面表示的點(diǎn)（或點(diǎn)）：X，Y和Z位置，和一個(gè)對(duì)象的偏航，俯仰和旋轉(zhuǎn)（W，P，R）相關(guān)的角度。（常見(jiàn)的是X，Y和Z軸的位置隨著繞Z軸旋轉(zhuǎn)的對(duì)象，有時(shí)被稱為2?三維機(jī)器視覺(jué)）。

一個(gè)清晰的了解應(yīng)用程序的要求，圖像內(nèi)容和所需的數(shù)據(jù)輸出是很重要的，以確定適當(dāng)?shù)?/span>3D成像技術(shù)和組件的機(jī)器視覺(jué)項(xiàng)目。

三維成像技術(shù)和組件

如前所述，各種各樣的成像技術(shù)的存在，可以提供三維信息的機(jī)器視覺(jué)應(yīng)用。我們將簡(jiǎn)要回顧這些技術(shù)的三，所使用的組件，和典型的應(yīng)用。

 

立體

立體成像涉及使用兩個(gè)相機(jī)來(lái)分析一個(gè)單一的視圖從不同的角度（多像人的眼睛）。通過(guò)攝像機(jī)的適當(dāng)?shù)男?zhǔn)，兩個(gè)不同的傳感器的幾何關(guān)系被定義相對(duì)于一個(gè)固定的世界坐標(biāo)系統(tǒng)。這種成像方法的一個(gè)相對(duì)簡(jiǎn)單的任務(wù)是定位相同的（或相應(yīng)的）在每個(gè)字段中的目標(biāo)特征，并應(yīng)用變換，以確定在三維空間中的位置，這一點(diǎn)。真正的困難時(shí)，出現(xiàn)的一個(gè)功能是不是很好或唯一定義的兩個(gè)意見(jiàn)。這被稱為一個(gè)對(duì)應(yīng)問(wèn)題。立體照相機(jī)的三維成像技術(shù)來(lái)提高使用極線幾何圖像中的點(diǎn)對(duì)點(diǎn)通信的結(jié)果更高級(jí)別的算法。以這種方式，立體成像可以產(chǎn)生一個(gè)三維點(diǎn)云的場(chǎng)景，雖然數(shù)據(jù)可能不是有效的圖像中的每一個(gè)像素。

結(jié)構(gòu)光線和投影模式

在一般情況下，作為一個(gè)簡(jiǎn)化的解釋，使用類型的結(jié)構(gòu)光的系統(tǒng)，利用已知的光照?qǐng)D案的幾何失真在一個(gè)復(fù)雜的三維表面。在機(jī)器視覺(jué)中最常見(jiàn)的是使用一個(gè)投射的光（也稱為“光之光”）到一個(gè)表面上。一個(gè)標(biāo)準(zhǔn)的攝像機(jī)捕捉到許多光線為對(duì)象的圖像（或相機(jī)/照明）在運(yùn)動(dòng)。有了一個(gè)正確的校準(zhǔn)系統(tǒng)，單獨(dú)的線圖像相結(jié)合，提供了一個(gè)完整的點(diǎn)云表示的場(chǎng)景的三維輪廓。在某些情況下，投影光模式與立體相機(jī)一起使用，以幫助克服對(duì)應(yīng)的問(wèn)題。已知的光模式可以比隨機(jī)或未定義的功能更容易辨認(rèn)。

 

 

飛行時(shí)間

飛行成像時(shí)間的基本概念是將光投射到一個(gè)物體上，測(cè)量光返回傳感器的時(shí)間量，從而計(jì)算出距離。這些傳感器是在廣泛使用，但目前缺乏的空間分辨率的位置和距離是適當(dāng)?shù)?，為要求的機(jī)器視覺(jué)任務(wù)。改進(jìn)的技術(shù)正在實(shí)施的一些供應(yīng)商。

 

執(zhí)行中的挑戰(zhàn)

使用三維成像的機(jī)器視覺(jué)可以需要顯著更多的努力，在實(shí)施和整合比二維成像技術(shù)，無(wú)論技術(shù)。特別是，三維系統(tǒng)和組件必須仔細(xì)設(shè)置和校準(zhǔn)，以獲得準(zhǔn)確的數(shù)據(jù)。有一些獨(dú)立的系統(tǒng)在市場(chǎng)上，預(yù)先校準(zhǔn)到一個(gè)特定的領(lǐng)域（在三維意義上，一個(gè)立方體，而不是一個(gè)扁平的正方形），事實(shí)上，這些組件更容易使用，但有一些限制的交流。由于這仍然是一個(gè)成像任務(wù)，照明仍然是一個(gè)重要的考慮因素。關(guān)于使用正確和適當(dāng)?shù)墓獾膽?yīng)用程序的所有通常的預(yù)防措施仍然適用，并可能更因此在該部分和特征的變化可能會(huì)更加明顯，當(dāng)試圖圖像的一個(gè)對(duì)象，預(yù)計(jì)將改變的位置和方向。

然而，與所有機(jī)器視覺(jué)，更好的可用的數(shù)據(jù)，更好的潛在的強(qiáng)大和可靠的應(yīng)用。隨著三維檢查技術(shù)變得更容易獲得，和熟悉的機(jī)器視覺(jué)工程師，技術(shù)的價(jià)值將是明顯的機(jī)器視覺(jué)任務(wù)的一個(gè)增長(zhǎng)的子集。