利用智能相機為工業(yè)機器人實現(xiàn)精確抓取
北京現(xiàn)代擁有3座整車生產(chǎn)工廠、3座發(fā)動機生產(chǎn)工廠和1座承擔(dān)自主研發(fā)的技術(shù)中心。北京現(xiàn)代擁有近300 臺機器人,分別應(yīng)用在車身焊接、車身沖壓、發(fā)動機組裝、涂裝等各種關(guān)鍵工位中。公司依靠先進的自動化制造裝備,保障100%焊接與運輸自動化率,100%自動化沖壓生產(chǎn),確保車身焊接質(zhì)量與車身強度。
在發(fā)動機生產(chǎn)工廠,汽車發(fā)動機的缸體搬運工作是由韓國現(xiàn)代公司制造的機器人來進行。在引導(dǎo)機器人進行缸體搬運時,采用的是由韓方定制的工業(yè)相機+視覺軟件的方式。在生產(chǎn)過程中,遇到了棘手問題,主要是:相機拍照一次檢測不成功,需要多次拍照才有可能檢測成功,影響了工作效率。因此,北京現(xiàn)代決定進行技術(shù)改造,以實現(xiàn)機器人對缸體的高效精確抓取。
在改造時,這個問題一直困擾著北京現(xiàn)代的技術(shù)人員。在應(yīng)用現(xiàn)場,缸體是碼放在一層層的拖盤上,每隔一層缸體碼放的方向不同(如圖1 所示)。由于缸體只有一個抓取位置(如圖2 所示),所以機器人在抓取時,會自動將爪具旋轉(zhuǎn)0 度、90 度、180 度或270 度,然后根據(jù)每層托盤上每個缸體的大概位置去拍照抓取,同時相機也會跟著爪具進行旋轉(zhuǎn)。這樣,得到的圖像都是一個方向的,而相機卻跟著機器人改變了拍照方向,這直接影響了抓取的準確性。
圖1
圖2
因此,要成功實現(xiàn)技改,就要搬掉這個攔路虎,北京現(xiàn)代的技術(shù)人員詳細分析了迫切需要解決的兩個技術(shù)難點。 第一:機器人坐標系與圖像坐標系的對應(yīng)關(guān)系(N 點校準)。
從理論上來說,如果機器人旋轉(zhuǎn)0 度、90 度、180 度或270 度時的旋轉(zhuǎn)中心是一致的,那么,就可以只針對0 度時的坐標對應(yīng)關(guān)系做N 點Calibrate,其他三個角度時的坐標系對應(yīng)只是象限不一樣。
1)機器人坐標系與圖像坐標系都是0 度時,兩個坐標系是重合的(如圖3 所示)。這時,在做完N 點Calibrate 后,機器人坐標與圖像坐標可直接一一對應(yīng)。
2)機器人坐標分別旋轉(zhuǎn)90 度、180 度和270 度時,圖像坐標系雖然沒有改變,但是卻與機器人坐標系的其他象限有了對應(yīng)關(guān)系(如圖4、圖5、圖6 所示)。
3)如果機器人的旋轉(zhuǎn)中心是一樣的,就可以得到一個擬合圓(如圖7 所示)。
圖3
圖4
圖5
圖6
圖7
需要注意的是:機器人在抓取位置旋轉(zhuǎn)四個方向拍照時,必須是以同一固定點為圓心進行旋轉(zhuǎn),只有這樣四個方向(象限)的點才能對應(yīng)起來,這時只要在一個方向做9 點標定即可。否則,如果機器人在抓取位置旋轉(zhuǎn)四個方向拍照時,不是以同一點為圓心進行旋轉(zhuǎn),那每個方向(象限)都要重新做9 點標定,因為每個方向的點是不能對應(yīng)。
最終經(jīng)過確認,機器人夾具在旋轉(zhuǎn)0 度、90 度、180 度和270 度時的旋轉(zhuǎn)中心很難保持一致,所以只校準一次并對應(yīng)象限的方法就不能使用了。這樣,四個角度時都要分別做N 點Calibrate。
第二:拍照后,必須確定圖像特征的旋轉(zhuǎn)中心的偏移量,圖像特征旋轉(zhuǎn)中心與偏移量的和,必須與機器人夾具的旋轉(zhuǎn)中心保持一致,否則抓取時就會產(chǎn)生很大誤差。
為解決技術(shù)改造中遇到的這些難點,并選擇一個令人信任的技術(shù)解決方案,北京現(xiàn)代的技改部門在綜合比較技術(shù)實力、產(chǎn)品性價比、售后服務(wù)能力和服務(wù)質(zhì)量等多種考慮下,決定選擇機器視覺領(lǐng)域內(nèi)的領(lǐng)軍企業(yè)——康耐視公司。
雖然康耐視In-Sight 產(chǎn)品支持多種工業(yè)通訊協(xié)議,但是在本次應(yīng)用中與機器人只是采用最簡單的RS-232 串口通訊方式(見圖10)。
圖8
在現(xiàn)場,機器人有兩個位置比較重要,一個是拍照位置,另一個是抓取位置,這兩個位置都有固定坐標。對關(guān)鍵的圖像定位問題,康耐視In-Sight 產(chǎn)品有其創(chuàng)新的解決方案。
1)得到基準模型圖像。機器人由拍照位置走到抓取位置,然后把缸體移到夾具正好能夠正確抓到的位置,這個位置就是抓取的基準位置。固定好缸體后,機器人從抓取位置回到照相位置,然后進行拍照,得到的這張圖像就可以作為基準模型圖像。
2)得到兩張抓取位置旋轉(zhuǎn)某個角度的圖像。在得到基準模型圖像后,機器人由拍照位置再走到抓取位置,抓住缸體逆時針或順時針旋轉(zhuǎn)某個角度(例如CCW-10 度或CW-10 度),然后松開缸體,再回到拍照位置進行拍照,得到第二張圖像。同樣再按此步驟操作得到第三張圖像。
3)得到這三張圖像后,就可以在這三張圖像上用PatMax 工具查找同一特征點,根據(jù)得到的三個點就可以擬合出一個圓,這個圓的圓心坐標就是機器人夾具的旋轉(zhuǎn)中心。
具體如圖9、圖10 所示。
圖9
圖10
In-Sight 相機與機器人實現(xiàn)了完美的無縫配合,具體工作過程如下。
1)工件分層碼放在旁邊,每次只將一層工件放到拍照與抓取位置(如圖11 所示)。
2)機器人在拍照前會事先知道這一層是如何擺放的。每個工件的拍照位置都是在機器人程序中事先設(shè)置好的。例如:抓取工件(0 度)時,機器人不需要旋轉(zhuǎn),直接到拍照位置進行拍照后抓取。在抓取工件(180 度)時,機器人會自動旋轉(zhuǎn)180 度,然后再到拍照位置進行拍照后抓取。同理,下一層的工件是以90 度和270 度進行擺放的。
3)機器人到達拍照位置后,首先向相機發(fā)送START1,讓相機進行拍照檢測。如果定位成功,相機給機器人返回OK。機器人在收到OK 后,再向相機發(fā)送SHIFT8。相機再把定位坐標和角度返回給機器人。如果定位失敗,相機給機器人返回NG。機器人會自動微調(diào)當(dāng)前位置,然后再次發(fā)送START1,讓相機重新拍照。直到檢測成功。相機拍照后,會把工件的當(dāng)前坐標與當(dāng)初訓(xùn)練的基準抓取位置坐標相減,然后把坐標差值和角度傳送給機器人,機器人以當(dāng)初訓(xùn)練的基準抓取位置坐標為基礎(chǔ)進行調(diào)整,然后再去抓取工件。
經(jīng)過一系列的現(xiàn)場測試,北京現(xiàn)代采用康耐視的In-Sight 智能相機后,成功解決了令人撓頭的技術(shù)難題?!翱的鸵暤腜atMax 工具提出了視覺行業(yè)最佳的定位算法,即使在比較復(fù)雜的情況下也能提供非常準確的定位。而且還提供了非常豐富的通訊方式,便于集成到現(xiàn)有系統(tǒng)中?!北本┈F(xiàn)代保全部的沈劍表示。
他對In-Sight智能相機的表現(xiàn)給出了極高的評價,“經(jīng)過改造后,機器人工作很流暢,且抓取都很準確,幾乎沒有定位不到的情況。在調(diào)試過程中,PatMax 工具的優(yōu)越性得到了淋漓盡致的體現(xiàn),我們非常滿意?!鄙騽ψ詈蟊硎?,在現(xiàn)場還有四臺現(xiàn)代機器人,情況與被改造工位很相似?!霸谶@臺機器人調(diào)試完畢時,我們就已經(jīng)開始準備改造其他四臺機器人的視覺系統(tǒng)了。”
來源:機器人庫
提交
新大陸自動識別精彩亮相2024華南國際工業(yè)博覽會
派拓網(wǎng)絡(luò)被Forrester評為XDR領(lǐng)域領(lǐng)導(dǎo)者
智能工控,存儲強基 | ??低晭砭手黝}演講
展會|Lubeworks路博流體供料系統(tǒng)精彩亮相AMTS展會
中國聯(lián)通首個量子通信產(chǎn)品“量子密信”亮相!