AI 技術(shù)應(yīng)用落地的元年，工業(yè)是主戰(zhàn)場，尤其是工業(yè)缺陷檢測。

在“生產(chǎn)制造-缺陷檢測-工藝優(yōu)化-生產(chǎn)制造”的智能制造閉環(huán)鏈條中，基于AI的智能缺陷檢測扮演著“把關(guān)者”的角色。但這個把關(guān)者長期以來卻缺少一個稱手的工具——樣本量大、精度高、語義豐富的缺陷數(shù)據(jù)集。

近日，ECCV2024接收的一篇論文引起業(yè)界廣泛關(guān)注，該工作提出了Defect Spectrum缺陷數(shù)據(jù)集及DefectGen缺陷生成模型，主攻工業(yè)智能檢測，可解決模型無法識別的缺陷類別和位置問題，有效提升10.74%召回率，降低33.1%過殺率。

這是港科廣和專注于智能制造領(lǐng)域的人工智能獨角獸思謀科技聯(lián)合發(fā)布的又一杰作。去年，該合作團(tuán)隊提出的《Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for Multi-View Reconstruction with Reflection》被選為ICCV最佳論文候選。

Project Page: https://envision-research.github.io/Defect_Spectrum/

Arxiv Page: https://arxiv.org/abs/2310.17316 

Github Repo: https://github.com/EnVision-Research/Defect_Spectrum 

Dataset Repo: https://huggingface.co/datasets/DefectSpectrum/Defect_Spectrum

突破傳統(tǒng)限制，更貼近落地生產(chǎn)

高質(zhì)量的數(shù)據(jù)集對CV技術(shù)和人工智能的發(fā)展起著至關(guān)重要的作用。如ImageNet不僅推動了算法的創(chuàng)新，還促進(jìn)產(chǎn)業(yè)發(fā)展和進(jìn)步。

在工業(yè)界，MVTec、VISION VI、DAGM2007等數(shù)據(jù)集幫助視覺學(xué)習(xí)算法更接近工業(yè)生產(chǎn)實際場景，但由于樣本量、精度、語義描述的不足，始終限制著AI工業(yè)檢測的發(fā)展。

Defect Spectrum數(shù)據(jù)集帶著突破傳統(tǒng)缺陷檢測界限的任務(wù)而來，為工業(yè)缺陷提供了詳盡、語義豐富的大規(guī)模標(biāo)注，首次實現(xiàn)了超高精度及豐富語義的工業(yè)缺陷檢測。

相比其他工業(yè)數(shù)據(jù)集，“Defect Spectrum”數(shù)據(jù)集提供了5438張缺陷樣本、125種缺陷類別，并提供了像素級的細(xì)致標(biāo)簽，為每一個缺陷樣本提供了精細(xì)的語言描述，實現(xiàn)了前所未有的性能突破。

相比其他工業(yè)數(shù)據(jù)集，Defect Spectrum精準(zhǔn)度更高、標(biāo)注更豐富

Defect Spectrum與其他數(shù)據(jù)集的數(shù)量、性質(zhì)對比

從實際的工業(yè)生產(chǎn)來看，工廠對缺陷檢測的要求細(xì)致，需要在控制缺陷件的同時保證收益率。然而，現(xiàn)有缺陷檢測數(shù)據(jù)集常常缺乏應(yīng)用所需的精確度和語義豐富性，無法良好支持實際生產(chǎn)。

例如，一件衣服的拉鏈齒出現(xiàn)了錯位，雖然缺陷尺寸不大但卻影響衣物功能，導(dǎo)致拉鏈無法正常使用，消費者不得不將其退回工廠進(jìn)行修復(fù)。然而，如果缺陷發(fā)生在衣物的面料上，比如輕微的鉤絲或顏色略有差異，這時就需要仔細(xì)權(quán)衡其尺寸和影響。小規(guī)模的面料缺陷可被歸類在可接受的范圍內(nèi)，允許這些產(chǎn)品通過不同的分銷策略銷售，比如以打折價格進(jìn)行銷售，在不影響整體質(zhì)量的同時保有收益。

傳統(tǒng)數(shù)據(jù)集如MVTEC和AeBAD盡管提供了像素級的標(biāo)注，但常常局限于binary mask，無法細(xì)致區(qū)分缺陷類型和位置。Defect Spectrum數(shù)據(jù)集通過與工業(yè)界四大基準(zhǔn)的合作，重新評估并精細(xì)化已有的缺陷標(biāo)注，對細(xì)微的劃痕和凹坑進(jìn)行了更精確的輪廓繪制，且通過專家輔助填補了遺漏的缺陷，確保了標(biāo)注的全面性和精確性。

通過Defect Spectrum數(shù)據(jù)集這個強大的工具，工廠缺陷檢測系統(tǒng)能夠迅速識別、立即標(biāo)記，并采取相關(guān)修復(fù)策略。

革命性生成模型，專攻缺陷樣本不足

港科大和思謀科技研究團(tuán)隊還提出了缺陷生成模型Defect-Gen，一個兩階段的基于擴(kuò)散的生成器。

Defect-Gen兩階段生成流程示意圖

Defect-Gen專門解決當(dāng)前數(shù)據(jù)集中缺陷樣本不足的問題，通過利用極少量的工業(yè)缺陷數(shù)據(jù)生成圖像與像素級缺陷標(biāo)簽，即使在有限的數(shù)據(jù)集上也能工作，為AI在復(fù)雜工業(yè)環(huán)境中的應(yīng)用開辟了新的可能。

Defect-Gen具體通過兩個關(guān)鍵方法提高圖像的多樣性和質(zhì)量：一是使用Patch級建模，二是限制感受野。

為彌補Patch級建模在表達(dá)整個圖像結(jié)構(gòu)上的不足，研究團(tuán)隊首先在早期步驟中使用大感受野模型捕捉幾何結(jié)構(gòu)，然后在后續(xù)步驟中切換到小感受野模型生成局部Patch，可在保持圖像質(zhì)量的同時，顯著提升了生成的多樣性。通過調(diào)整兩個模型的接入點和感受野，模型在保真度和多樣性之間實現(xiàn)了良好的平衡。而生成數(shù)據(jù)同樣可以作為數(shù)據(jù)飛輪的一部分，并加速其運轉(zhuǎn)。

目前，Defect Spectrum數(shù)據(jù)集的5438張缺陷樣本中，有1920張由Defect-Gen生成。研究團(tuán)隊對應(yīng)用Defect-Gen生成模型的Defect Spectrum數(shù)據(jù)集進(jìn)行了全面的評估，驗證了Defect Spectrum在各種工業(yè)缺陷檢測挑戰(zhàn)中的適用性和優(yōu)越性。

部分缺陷檢測網(wǎng)絡(luò)在Defect Spectrum數(shù)據(jù)集上的測評結(jié)果

Defect Spectrum數(shù)據(jù)集上的實際評估標(biāo)準(zhǔn)

Defect Spectrum在實際評估中的優(yōu)異表現(xiàn)

比起原有的數(shù)據(jù)集，在Defect Spectrum數(shù)據(jù)集上訓(xùn)練的模型召回率(recall)提升10.74%，過殺率(False Positive Rate)降低了33.1%。

Defect Spectrum數(shù)據(jù)集的引入，猶如為工業(yè)生產(chǎn)注入了一劑強心針。它讓缺陷檢測系統(tǒng)更加貼近實際生產(chǎn)需求，實現(xiàn)了高效、精準(zhǔn)的缺陷管理。同時為未來的預(yù)測性維護(hù)提供了寶貴的數(shù)據(jù)支持，通過記錄每個缺陷的類別和位置，工廠可以不斷優(yōu)化生產(chǎn)流程，改進(jìn)產(chǎn)品修復(fù)方法，最終實現(xiàn)更高的生產(chǎn)效益和產(chǎn)品質(zhì)量。

目前Defect Spectrum數(shù)據(jù)集已應(yīng)用于思謀科技缺陷檢測視覺模型的預(yù)訓(xùn)練中，未來將與IndustryGPT等工業(yè)大模型融合，深度落地并服務(wù)于工業(yè)質(zhì)檢業(yè)務(wù)。AI技術(shù)落地驅(qū)動產(chǎn)業(yè)發(fā)展，也正是學(xué)術(shù)界和工業(yè)界共同努力方向。