如何將分類器和特征提取器集成到一個(gè)統(tǒng)一的模型框架中進(jìn)行聯(lián)合優(yōu)化學(xué)習(xí)是人工智能算法設(shè)計(jì)中的一大挑戰(zhàn)，這將可以充分發(fā)揮特征提取器與分類器的性能，從而使系統(tǒng)的識(shí)別精度達(dá)到最佳狀態(tài)。

經(jīng)兩年多的嚴(yán)格評審，由深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院計(jì)算機(jī)視覺所博士生張峻弘同學(xué)為第一作者、導(dǎo)師賴志輝教授為通訊作者，深圳市寶安區(qū)中心醫(yī)院甲乳外科主任孔恒、南京理工大學(xué)教授楊健為合作者完成的論文“”Learning the Optimal Discriminant SVM With Feature Extraction”，近日發(fā)表于計(jì)算機(jī)、人工智能領(lǐng)域權(quán)威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）。該期刊在中國計(jì)算機(jī)學(xué)會(huì)推薦的人工智能領(lǐng)域A類期刊中位列首位，最新影響因子為24.6（2023年），五年平均影響因子26.7，張峻弘同學(xué)為計(jì)算機(jī)軟件學(xué)院首篇發(fā)表TPAMI論文的在讀學(xué)生。據(jù)公開資料顯示，這是深圳大學(xué)第二篇在讀研究生以第一作者身份在該期刊發(fā)表的研究成果。

為解決上述問題，該文提出了最優(yōu)判別支持向量機(jī)（Optimal Discriminant Support Vector Machine，ODSVM）算法，通過設(shè)計(jì)判別信息的圖結(jié)構(gòu)保持優(yōu)化問題，將支持向量分類與判別性子空間學(xué)習(xí)無縫地設(shè)計(jì)到一個(gè)框架中進(jìn)行聯(lián)合優(yōu)化，以同時(shí)獲得最優(yōu)判別子空間和最優(yōu)的SVM分類器，從而使SVM的分類性能達(dá)到最佳，從而使其在圖像識(shí)別、腫瘤分類等任務(wù)中實(shí)現(xiàn)優(yōu)異的性能。

該工作主要貢獻(xiàn)如下：

(1)在模型設(shè)計(jì)方面：提出基于圖正則重構(gòu)的判別特征提取準(zhǔn)則，并由此設(shè)計(jì)了特征提取器與支持向量機(jī)分類器的聯(lián)合優(yōu)化學(xué)習(xí)框架，即ODSVM；

(2)在優(yōu)化算法方面：通過交替最小化法、對偶方法等技術(shù)求解二分類與多分類ODSVM問題，特別地，針對多分類情形設(shè)計(jì)帶剪枝的序列最小化算法，顯著提高了算法效率，從而可用于較大規(guī)模數(shù)據(jù)；

(3)在理論證明方面：嚴(yán)格證明了ODSVM的優(yōu)化算法的全局收斂性，為算法穩(wěn)定性提供了理論保證。本文首次為基于表示學(xué)習(xí)的SVM算法建立了收斂性基礎(chǔ)理論。

圖1.可視化ODSVM學(xué)習(xí)到的特征，不同顏色表示不同類別的數(shù)據(jù)，可見其性能之優(yōu)異。

圖2. ODSVM的收斂性與識(shí)別率變化情況。在不同的二分類、多分類任務(wù)中，ODSVM模型的目標(biāo)函數(shù)值能快速單調(diào)下降且收斂，分類準(zhǔn)確率呈迅速上升并逼近最高精度。

該研究得到了國家自然科學(xué)基金、廣東省自然科學(xué)基金、深圳市科技計(jì)劃重點(diǎn)項(xiàng)目等的資助。論文鏈接與具體信息如下：

Junhong Zhang, Zhihui Lai*, Heng Kong, Jian Yang. Learning the optimal discriminant SVM with feature extraction, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 47, no. 4, pp. 2897-2911, 2025.（https://xplorestaging.ieee.org/document/10840348）