能讓制造業(yè)提高生產(chǎn)率的機(jī)器人之眼 3D機(jī)器視覺(jué)系統(tǒng)的研發(fā)軼事

佳能3DMV的RV系列的研發(fā)目標(biāo)是：在以汽車(chē)、電子設(shè)備為首的制造業(yè)的工廠(chǎng)中，對(duì)散亂堆積狀的零部件進(jìn)行揀配。客戶(hù)的要求是高速、高精度、易于安裝設(shè)置、防水/防塵、免維修等。面對(duì)客戶(hù)提出的這些嚴(yán)酷的要求，技術(shù)人員到底是如何響應(yīng)的？

——3DMV在全球范圍內(nèi)都是一個(gè)比較新的市場(chǎng)。佳能是在什么時(shí)候決定進(jìn)入這個(gè)市場(chǎng)的？

在汽車(chē)工廠(chǎng)中的使用示例

浦川隆史
核心技術(shù)的研究開(kāi)始于2008年，在2012年左右轉(zhuǎn)向?qū)⒓夹g(shù)產(chǎn)品化的工作。之所以進(jìn)入該市場(chǎng)，是因?yàn)槲覀冋J(rèn)為佳能在光學(xué)和圖像處理方面比較強(qiáng)，在這個(gè)領(lǐng)域有優(yōu)勢(shì)。

3DMV大致分兩種，一種是固定型3DMV，一種是安裝到機(jī)械臂上的小型3DMV。我們認(rèn)為在使用固定型3DMV進(jìn)行散亂堆積狀的零部件揀配方面存在一些需求，于是開(kāi)始啟動(dòng)該項(xiàng)目。較初是制作了一個(gè)將佳能制造的投影儀和相機(jī)結(jié)合起來(lái)進(jìn)行零部件揀配的試制品。當(dāng)時(shí)這個(gè)產(chǎn)品的個(gè)頭非常大，大概是現(xiàn)在的產(chǎn)品的三、四倍大。

——RV系列的規(guī)格是怎么確定下來(lái)的？

浦川
我們向正研究引進(jìn)3DMV的企業(yè)征求了意見(jiàn)，得知較大的問(wèn)題是調(diào)試（SET UP）。

吉川博志
3DMV的工作原理如下。首先，對(duì)散裝零部件進(jìn)行圖形投影（下圖①）并進(jìn)行距離測(cè)量后（下圖②），使用事先錄入了學(xué)習(xí)數(shù)據(jù)的“識(shí)別詞典”（下圖③）和3DCAD數(shù)據(jù)進(jìn)行比對(duì)，從而檢測(cè)出每個(gè)零部件的位置和姿勢(shì)。然后，判斷機(jī)械手可否抓?。⊕洌ㄏ聢D④），并將判斷結(jié)果發(fā)送到機(jī)械手控制裝置（下圖⑤）。市場(chǎng)上已有的3DMV存在一個(gè)問(wèn)題，那就是將零部件錄入到這個(gè)識(shí)別詞典的作業(yè)非常復(fù)雜且耗時(shí)。我們較初開(kāi)發(fā)的系統(tǒng)也存在這樣的問(wèn)題：先是將零部件載置到旋轉(zhuǎn)平臺(tái)上旋轉(zhuǎn)，同時(shí)使用10臺(tái)相機(jī)從各個(gè)角度進(jìn)行拍攝，然后由具有專(zhuān)業(yè)知識(shí)的技術(shù)人員根據(jù)這些數(shù)據(jù)進(jìn)行細(xì)微的參數(shù)調(diào)整。

鑒于上述問(wèn)題，我們決定研發(fā)一個(gè)這樣的系統(tǒng)：將對(duì)象零部件的CAD數(shù)據(jù)錄入到系統(tǒng)中，沒(méi)有專(zhuān)業(yè)知識(shí)的客戶(hù)只要對(duì)散裝零部件進(jìn)行5次拍攝，就可以自動(dòng)錄入識(shí)別詞典。如果這個(gè)系統(tǒng)得以實(shí)現(xiàn)，就能在競(jìng)爭(zhēng)中處于很大的有利地位。

3DMV的工作流程

——RV系列的產(chǎn)品寬約25cm，高約20cm，重量約為6kg，與其他公司的產(chǎn)品相比更加緊湊。相機(jī)與投影儀成為一體，安裝設(shè)置非常簡(jiǎn)單。但是，要用如此小的機(jī)身實(shí)現(xiàn)高精度的識(shí)別，是不是很不容易啊？

浦川
在RV系列中，為了識(shí)別零部件的形狀和距離，我們使用了“主動(dòng)立體法（Active Stereo）”。所謂主動(dòng)立體法，就是由投影儀將光投射到對(duì)象物上，然后通過(guò)相機(jī)對(duì)該光的反射進(jìn)行測(cè)量，從而計(jì)算出位置。投影儀與相機(jī)之間的距離（基線(xiàn)長(zhǎng)度）越大，測(cè)量誤差就越容易減小。但是，為了響應(yīng)緊湊機(jī)身這一需求，可不能將產(chǎn)品個(gè)頭整的比競(jìng)爭(zhēng)對(duì)手的產(chǎn)品還大不少。RV系列的基線(xiàn)長(zhǎng)度在商品企劃的早期階段就定下了，為了實(shí)現(xiàn)這一目標(biāo)，光學(xué)設(shè)計(jì)、機(jī)械設(shè)計(jì)、以及擔(dān)任軟件開(kāi)發(fā)的人員同心協(xié)力，共同商量對(duì)策。

——在機(jī)械設(shè)計(jì)方面，你們下了哪些功夫呢？

浦川
在外殼的構(gòu)造和組裝方法上有個(gè)特點(diǎn)，就是它的構(gòu)造類(lèi)似于將外殼組裝到一定程度之后再進(jìn)行內(nèi)部組裝的解套式益智玩具。

結(jié)城寬之
估計(jì)工廠(chǎng)負(fù)責(zé)組裝的工作人員大吃一驚（笑）。

佳能RV系列的特長(zhǎng)

浦川
如果允許將外殼做大的話(huà)，完全可以使用更簡(jiǎn)單點(diǎn)兒的構(gòu)造。而且，我們?cè)谘邪l(fā)過(guò)程中又收到了防水/防塵、自然空冷的需求。在初始階段定的式樣是跟其他公司的產(chǎn)品一樣，使用風(fēng)扇進(jìn)行冷卻。但是，在汽車(chē)組裝等工廠(chǎng)，因?yàn)闀?huì)產(chǎn)生大量的油霧，所以風(fēng)扇容易發(fā)生故障。因此，我們還收到了希望盡量不要使用驅(qū)動(dòng)物的要求，因?yàn)槿f(wàn)一發(fā)生故障，就會(huì)出現(xiàn)整個(gè)生產(chǎn)線(xiàn)停工的情況。此外，我們還進(jìn)一步加強(qiáng)了免維護(hù)性，一旦安裝完畢后就不需要再進(jìn)行維護(hù)。因?yàn)樵诂F(xiàn)場(chǎng)進(jìn)行維護(hù)的話(huà)，經(jīng)過(guò)了精密調(diào)整的校準(zhǔn)會(huì)產(chǎn)生誤差。

為了在競(jìng)爭(zhēng)中占據(jù)優(yōu)勢(shì)而將機(jī)身做小，同時(shí)在防水/防塵、自然空冷且免維護(hù)方面不斷深挖，較終呈現(xiàn)出的就是這樣的一種構(gòu)造。我個(gè)人把這種構(gòu)造叫做“瓶中船”（一種工藝品，將船的模型放入瓶口較小的瓶中）（笑）。

——這么復(fù)雜的構(gòu)造是怎么設(shè)計(jì)出來(lái)的？

浦川
部件能否分毫不差地放進(jìn)外殼里呢？我們用CAD使勁地模擬，就像實(shí)際安裝部件一樣，一點(diǎn)一點(diǎn)兒地移動(dòng)部件并加以確認(rèn)。是簡(jiǎn)單的重復(fù)操作加上現(xiàn)場(chǎng)發(fā)揮（笑）。即便如此，那時(shí)我也仍然擔(dān)心有沒(méi)有漏掉什么要素。

3DMV使用相機(jī)和投影儀計(jì)算出到達(dá)零部件的距離。為了實(shí)現(xiàn)有別于普通相機(jī)的光學(xué)性能，技術(shù)人員反復(fù)進(jìn)行了模擬和實(shí)驗(yàn)。

——請(qǐng)問(wèn)當(dāng)時(shí)在光學(xué)方面的課題是什么？

結(jié)城
是精度！費(fèi)了我們不少心血。3DMV所要求的光學(xué)性能與普通鏡頭大不相同。

普通鏡頭的要求是像的扭曲要少，以及分辨率和亮度等。說(shuō)得極端點(diǎn)兒，就是不管光是通過(guò)什么方式穿過(guò)透鏡的，只要較終成像沒(méi)問(wèn)題就行了。

而在3DMV中，為了實(shí)現(xiàn)高速、高精度，使用了立體測(cè)距法，其原理是以針孔相機(jī)為前提的。立體測(cè)距法的原理簡(jiǎn)單而言如圖1所示：讓投影儀的某一像素發(fā)光，該光在物體上反射，然后映到相機(jī)的某一像素上。光的特性是直線(xiàn)前進(jìn)，因此投影儀發(fā)出的光可以用穿過(guò)針孔的直線(xiàn)（圖1中的虛線(xiàn)）來(lái)表示。同樣，映射到相機(jī)的光也可以用穿過(guò)針孔的直線(xiàn)來(lái)表示。因此，兩條直線(xiàn)的交點(diǎn)就是反射位置即物體的位置，以此可以確定物體的三維位置。

但是，實(shí)際如果放上個(gè)針孔，那么穿過(guò)針孔的光的光亮很少，無(wú)法檢測(cè)，因此要使用透鏡。圖2的示例中，紅線(xiàn)表示實(shí)際的光束，光線(xiàn)照射到紅圓點(diǎn)部分。在立體測(cè)距法中，是按針孔相機(jī)模型來(lái)計(jì)算的，因此如果使用普通的鏡頭，就會(huì)把虛線(xiàn)路徑當(dāng)做光通過(guò)的路線(xiàn)來(lái)計(jì)算，從而導(dǎo)致計(jì)算出的反射位置與實(shí)際的反射位置出現(xiàn)誤差。

因此，在3DMV的鏡頭的設(shè)計(jì)方面，除普通鏡頭的性能外，為了使光路與針孔相機(jī)一致，還需要進(jìn)行更加嚴(yán)密的光學(xué)設(shè)計(jì)。

立體測(cè)距法

——是通過(guò)在計(jì)算機(jī)上模擬的方式來(lái)提高光學(xué)設(shè)計(jì)精度的嗎？

結(jié)城
有些問(wèn)題確實(shí)是通過(guò)設(shè)計(jì)來(lái)解決的，但實(shí)際制造鏡頭后發(fā)現(xiàn)，存在一些無(wú)法達(dá)到預(yù)期精度的情況。這時(shí)候需要考慮這種現(xiàn)象的原理是什么。我們先提出假設(shè)并進(jìn)行試驗(yàn)，然后考慮解決方案并嘗試解決。這種情況發(fā)生過(guò)很多。

——機(jī)械設(shè)計(jì)受光學(xué)設(shè)計(jì)影響的情況是不是很多？

結(jié)城
首先由機(jī)械設(shè)計(jì)組確定基線(xiàn)長(zhǎng)度，然后我們進(jìn)行光學(xué)系統(tǒng)的設(shè)計(jì)以實(shí)現(xiàn)機(jī)械設(shè)計(jì)組設(shè)定的基線(xiàn)長(zhǎng)度，接著由機(jī)械設(shè)計(jì)組研究能不能納入到機(jī)身內(nèi)。我們就是通過(guò)這種方式來(lái)推進(jìn)研發(fā)的。

浦川
在工位方面，光學(xué)設(shè)計(jì)和機(jī)械設(shè)計(jì)的工作人員是毗鄰而居的。這樣一來(lái)，光學(xué)系統(tǒng)方面若有什么要求，機(jī)械設(shè)計(jì)方面的工作人員能夠馬上進(jìn)行研究。

結(jié)城
也出現(xiàn)過(guò)一些“討價(jià)還價(jià)”，比如：鏡頭的光學(xué)性能會(huì)受到熱的影響，于是光學(xué)設(shè)計(jì)人員會(huì)請(qǐng)求機(jī)械設(shè)計(jì)人員對(duì)于某個(gè)位置想辦法不要讓它出現(xiàn)溫度變化等等。

從成堆的散裝零部件中，識(shí)別一個(gè)個(gè)的零部件形狀，并將其揀起來(lái)。為了謀求生產(chǎn)線(xiàn)的高速化，RV系列用約為1.8秒到2.5秒這樣很短的時(shí)間進(jìn)行零部件的距離測(cè)量和識(shí)別。為了使“正確性”和“速度”兩者兼得，軟件技術(shù)人員研發(fā)出了新的算法。

——識(shí)別對(duì)象零部件的形狀并掌握其位置，這種圖像處理是通過(guò)軟件來(lái)進(jìn)行的吧？具體是怎么工作的能請(qǐng)您簡(jiǎn)單介紹一下嗎？

吉川
3DMV的工作大致分三個(gè)步驟：“圖形投影”、“測(cè)量距離”、“零部件識(shí)別”。

所謂圖形投影，就是由投影儀將特定的圖形投影到散裝零部件，然后由相機(jī)對(duì)其進(jìn)行拍攝。RV系列使用了一種名為“空間編碼法”的方法。

在空間編碼法中，圖1所示的黑白條紋圖形圖像被投影儀投影到對(duì)象物上，然后由照相機(jī)進(jìn)行拍攝（圖2）。關(guān)于圖1的條紋圖形圖像，使用的是傳感器相關(guān)領(lǐng)域常用的名為格雷碼的二進(jìn)制符號(hào)。當(dāng)投影儀要投影8根條紋時(shí)，需要準(zhǔn)備條紋寬度各異的三種圖形圖像。一邊切換圖形圖像一邊由相機(jī)進(jìn)行拍攝，會(huì)得到圖3所示的圖像，投影后的條紋會(huì)因?qū)ο笪锔叨鹊牟煌l(fā)生偏差。對(duì)所有像素按圖像黑色部分為0、白色部分為1的原則進(jìn)行分配，則如圖3下方的表所示，各像素都得到一個(gè)三位數(shù)的二進(jìn)制數(shù)。不同的條紋有不同的二進(jìn)制數(shù)，因此可以識(shí)別某一條紋是第幾根條紋，如此一來(lái)即可知道投影儀的投射方向。三角測(cè)量是在投影儀的條紋與條紋之間的邊界位置進(jìn)行的。在圖2中，相機(jī)延伸出來(lái)的紅線(xiàn)，表示在第4根條紋與第5根條紋之間的邊界進(jìn)行了三角測(cè)量。這里我們是以條紋數(shù)量為8根的示例進(jìn)行的說(shuō)明，而RV系列實(shí)際上是投影1,000根以上的條紋，因此可以獲取能很詳細(xì)地表示散裝零部件整體的3D形狀的測(cè)量點(diǎn)群。

獲取測(cè)量點(diǎn)群后，進(jìn)行“零部件識(shí)別”。關(guān)于“零部件識(shí)別”，首先使用事先錄入的零部件識(shí)別詞典找出大致的位置姿勢(shì)，較后將3D CAD數(shù)據(jù)套用到測(cè)量值上，從而高精度地測(cè)量出位置姿勢(shì)。這樣就可以判定機(jī)械臂能否揀配零部件，并將判定結(jié)果告訴機(jī)械控制裝置，然后實(shí)際驅(qū)動(dòng)機(jī)械臂執(zhí)行作業(yè)。就是這樣的工作過(guò)程。

空間編碼法

——這次的軟件在哪些方面下了功夫？

吉川
為了減少計(jì)算量，提高距離測(cè)量和零部件檢測(cè)速度，我們?cè)谒惴ㄉ舷铝瞬簧俟Ψ颉?/p>

例如，在進(jìn)行圖形投影時(shí)，以往還需要準(zhǔn)備一張將條紋進(jìn)行黑白反顯的圖形，并且在各階段都需要設(shè)置并使用兩個(gè)圖形，以此來(lái)提高距離測(cè)量的精度。但是，這樣的話(huà)，需要處理的圖形就翻倍了。因此，我們進(jìn)行了改進(jìn)，只是在較后才使用反顯圖形，從而使所需圖形數(shù)量減半。

除此之外，在零部件檢測(cè)的算法上，我們也下了一番功夫。在RV系列中，在較初將零部件錄入識(shí)別詞典時(shí)，要改變散裝圖形進(jìn)行五次拍攝。通過(guò)事先獲取從各個(gè)角度觀(guān)察到的表面狀態(tài)的濃淡圖像，使零部件之間的邊界更加容易判斷，從而提高零部件檢測(cè)的精度。前面已說(shuō)過(guò)要將測(cè)量點(diǎn)群與零部件的3D CAD數(shù)據(jù)進(jìn)行比對(duì)，在此基礎(chǔ)上再結(jié)合表示濃淡變化的2D圖像，這樣零部件檢測(cè)就不容易失敗了。通過(guò)采用這種辦法，成功地使計(jì)算處理減負(fù)，縮短了零部件檢測(cè)時(shí)間。

使用CG學(xué)習(xí)零部件在各種姿勢(shì)下呈現(xiàn)出的形態(tài)的零部件檢測(cè)方式

——客戶(hù)的反應(yīng)怎么樣？

百海浩二
以往的3DMV的話(huà)，在設(shè)置上特別麻煩。而RV系列的話(huà)，只要對(duì)散裝零部件進(jìn)行五次拍攝，然后按下詞典制作按鈕，即可完成設(shè)置，這一點(diǎn)受到了客戶(hù)的好評(píng)。軟件的用戶(hù)界面也因?yàn)楹糜枚艿胶迷u(píng)。

但是，客戶(hù)現(xiàn)場(chǎng)所使用的零部件種類(lèi)比我們想象的更加多樣化，有薄的、小的、透明的等等，可謂是多種多樣。今后需要進(jìn)一步增加可應(yīng)對(duì)的零部件范圍。

另外，有些客戶(hù)提出希望進(jìn)一步提高識(shí)別速度，而有些客戶(hù)則比較看重其工作不出問(wèn)題。因?yàn)閷?duì)于將降低整個(gè)生產(chǎn)線(xiàn)的成本看做首要目標(biāo)的客戶(hù)而言，生產(chǎn)線(xiàn)的停滯會(huì)造成巨大的損失。

吉川
對(duì)于這種需求，我們與產(chǎn)品企劃部門(mén)進(jìn)行了磋商，決定通過(guò)軟件版本升級(jí)的方式來(lái)應(yīng)對(duì)。

RV系列經(jīng)過(guò)硬件及軟件技術(shù)人員的共同努力，克服重重困難，較終實(shí)現(xiàn)了產(chǎn)品化。要想進(jìn)軍新市場(chǎng)，需要由多個(gè)領(lǐng)域的技術(shù)人員攜起手來(lái)、共同努力以滿(mǎn)足客戶(hù)的需求。

——今后3DMV將會(huì)如何發(fā)展下去？

百海
RV系列產(chǎn)品的目標(biāo)是散裝零部件的揀配，今后的話(huà)計(jì)劃研發(fā)能在產(chǎn)品檢查等領(lǐng)域使用的產(chǎn)品，以及能搭載在機(jī)械臂上使用的產(chǎn)品。

浦川
如果是機(jī)械臂搭載型的產(chǎn)品的話(huà)，不僅能進(jìn)行零部件的揀配，有可能還可以直接拿著零部件進(jìn)行組裝。但是，像RV系列那樣在機(jī)械臂揀配零部件并移動(dòng)的過(guò)程中沒(méi)有時(shí)間進(jìn)行其他零部件的檢測(cè)處理，因此與目前相比必須進(jìn)一步提高距離測(cè)量以及零部件檢測(cè)速度。為了實(shí)現(xiàn)這一目標(biāo)，需要另外研發(fā)新的算法。

百海
我們還收到了制造業(yè)之外行業(yè)的一些需求，如倉(cāng)庫(kù)、物流等行業(yè)，他們也想要使用該產(chǎn)品。對(duì)于這些新用途所需要的性能等，我們需要重新進(jìn)行研究。

——通過(guò)RV系列的研發(fā)，各位覺(jué)得今后的產(chǎn)品研發(fā)需要哪些東西？

百海
單憑一個(gè)技術(shù)領(lǐng)域就能實(shí)現(xiàn)一個(gè)產(chǎn)品的情況已不復(fù)存在?，F(xiàn)在的產(chǎn)品研發(fā)，要求將各種領(lǐng)域的技術(shù)融會(huì)貫通，作為一個(gè)系統(tǒng)來(lái)完成。雖然是老生常談了，但在這里我還是要強(qiáng)調(diào)一下：工程師必須具備寬廣的視野。

浦川
RV系列正是如此，它是硬件與軟件融為一體、密不可分的產(chǎn)品。研發(fā)的時(shí)候，我們定期將各領(lǐng)域工作人員召集到一起召開(kāi)例會(huì)，頻繁地進(jìn)行了信息共享。

結(jié)城
RV系列研發(fā)項(xiàng)目有一個(gè)特點(diǎn)，就是為了使產(chǎn)品盡早成形，我們?nèi)w成員做到了同心協(xié)力、共同出謀劃策。沒(méi)有硬件與軟件之分，幾個(gè)人匯聚一堂，想方設(shè)法讓產(chǎn)品成形，這或許正是這個(gè)項(xiàng)目成功的關(guān)鍵之所在。

吉川
在軟件方面，我希望積極引入當(dāng)前的AI（人工智能）等技術(shù)革新，并持之以恒地改良下去。但是，并非算法先進(jìn)就一定能做出好產(chǎn)品。有些時(shí)候，反而是比較單純的算法更高速更易用。要考慮到在現(xiàn)場(chǎng)“是否真的管用”，我認(rèn)為研發(fā)工作中需要具備這種看問(wèn)題的角度。

百海
現(xiàn)在這個(gè)時(shí)代，并非只要做出“好產(chǎn)品”就一定能賣(mài)出去。我認(rèn)為研發(fā)中需要這樣的研發(fā)人員：能了解客戶(hù)，并能與客戶(hù)建立深度信任關(guān)系。

現(xiàn)在，產(chǎn)業(yè)領(lǐng)域正經(jīng)歷著巨大的變革。IoT可在機(jī)器之間相互通信并自動(dòng)執(zhí)行處理，大數(shù)據(jù)解析可以從大量的數(shù)據(jù)中總結(jié)出知識(shí)和規(guī)律，這些變革導(dǎo)致制造業(yè)的形態(tài)與以往相比正在發(fā)生翻天覆地的變化。機(jī)器人和3DMV也將成為加速這種潮流的重要因素。今后不僅是零部件的揀配，而且組裝和檢查等現(xiàn)在需要人手進(jìn)行的這些作業(yè)，也定將逐漸實(shí)現(xiàn)自動(dòng)化。

人類(lèi)社會(huì)越來(lái)越成為人與機(jī)器共生的世界。3DMV等技術(shù)今后將會(huì)給這個(gè)世界帶來(lái)哪些影響？讓我們拭目以待吧。

采訪(fǎng)與撰稿
山路 達(dá)也（Yamaji Tatsuya）
1970年出生。曾擔(dān)任雜志社編輯工作，后獨(dú)立成為自由撰稿人/編輯人。目前活躍在IT、科學(xué)、環(huán)境領(lǐng)域，從事采訪(fǎng)和寫(xiě)作活動(dòng)。
著書(shū)有《Apple、Google成為神的日子》（與他人合著）、《新超傳導(dǎo)入門(mén)》、《Google的72小時(shí)》（與他人合著）、《彈言》（與他人合著）等。

此次“訪(fǎng)談”的研發(fā)人員