西工大新聞網(wǎng)8月3日電（趙斌 王棟 王之港 王丞澤）近日，西北工業(yè)大學(xué)光電與智能研究院李學(xué)龍教授和同事們?cè)?strong style="text-indent: 2em;">大模型異構(gòu)智能體方面取得重大進(jìn)展，實(shí)現(xiàn)了大模型對(duì)無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂三種智能體的真機(jī)協(xié)同控制。該成果展示了大模型在智能體控制方面的能力，也為智能無(wú)人系統(tǒng)的研究提供了無(wú)限可能。
在人工智能領(lǐng)域，大模型控制智能體是大勢(shì)所趨。團(tuán)隊(duì)提出了一種大模型驅(qū)動(dòng)的異構(gòu)智能體協(xié)同控制算法框架，使異構(gòu)智能體系統(tǒng)具備高層語(yǔ)義理解能力、自身技能認(rèn)知能力和復(fù)雜任務(wù)執(zhí)行能力。該框架可將一個(gè)跨場(chǎng)景、跨智能體的復(fù)雜任務(wù)，通過(guò)語(yǔ)義理解和任務(wù)分解拆分成異構(gòu)智能體協(xié)同執(zhí)行的多個(gè)子任務(wù)，然后通過(guò)無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂的聯(lián)合控制，實(shí)現(xiàn)異構(gòu)智能體的高效協(xié)作。
懂所思、知所能、行所意，是大模型異構(gòu)智能體的主要能力。
懂所思：高層語(yǔ)義理解能力
如何充分發(fā)揮大模型的語(yǔ)義理解能力，讓無(wú)人機(jī)、機(jī)器狗、機(jī)械臂等人造智能體能夠根據(jù)輸入的自然語(yǔ)言分工合作，是智能體在現(xiàn)實(shí)場(chǎng)景中執(zhí)行復(fù)雜任務(wù)的前提條件。
針對(duì)該問(wèn)題，團(tuán)隊(duì)利用國(guó)產(chǎn)大模型作為語(yǔ)義理解底座，以無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂三種異構(gòu)智能體作為協(xié)同控制平臺(tái)，設(shè)計(jì)了融合環(huán)境信息與自身狀態(tài)的語(yǔ)義交互框架，實(shí)現(xiàn)了對(duì)異構(gòu)智能體任務(wù)理解、硬件控制、協(xié)調(diào)合作等復(fù)雜需求的高層語(yǔ)義交互。
知所能：自身技能認(rèn)知能力
智能體的行為能力易受周?chē)h(huán)境、自身機(jī)械結(jié)構(gòu)等限制因素的影響。如何在多變的外界環(huán)境下讓智能體準(zhǔn)確地認(rèn)知當(dāng)前自身的行為能力，是異構(gòu)智能體協(xié)同的關(guān)鍵環(huán)節(jié)。
為了實(shí)現(xiàn)這一目標(biāo)，團(tuán)隊(duì)提出了異構(gòu)智能體通用中層技能認(rèn)知算法，實(shí)現(xiàn)了異構(gòu)智能體間精細(xì)的硬件協(xié)同控制。在此基礎(chǔ)上，智能體通過(guò)自主環(huán)境感知、自身狀態(tài)建模、協(xié)同運(yùn)動(dòng)規(guī)劃，自適應(yīng)地調(diào)整技能執(zhí)行。
行所意：復(fù)雜任務(wù)執(zhí)行能力
為了完成復(fù)雜任務(wù)目標(biāo)，異構(gòu)智能體協(xié)作需要依據(jù)子任務(wù)間的依賴(lài)關(guān)系和環(huán)境約束，設(shè)計(jì)安全合理的子任務(wù)執(zhí)行次序和方式。
針對(duì)該問(wèn)題，團(tuán)隊(duì)設(shè)計(jì)了多智能體閉環(huán)反饋的任務(wù)執(zhí)行機(jī)制，實(shí)現(xiàn)了異構(gòu)智能體在任務(wù)執(zhí)行層面的自主協(xié)同。在任務(wù)執(zhí)行的過(guò)程中，智能體向任務(wù)分解模塊報(bào)告子任務(wù)執(zhí)行狀態(tài)，形成任務(wù)分配與執(zhí)行動(dòng)態(tài)閉環(huán)，實(shí)現(xiàn)任務(wù)目標(biāo)導(dǎo)向的異構(gòu)智能體高效協(xié)同。
該成果是大模型算法和智能體硬件交叉的創(chuàng)新性研究，實(shí)現(xiàn)了用更自然、更直觀(guān)的方式進(jìn)行多種智能體的控制，降低了人機(jī)交互的門(mén)檻。同時(shí)，該研究也將促進(jìn)異構(gòu)智能體之間協(xié)作的自主性和流暢度，對(duì)人工智能在災(zāi)難救援、工業(yè)生產(chǎn)等復(fù)雜場(chǎng)景下的靈活應(yīng)用具有重要意義。
西北工業(yè)大學(xué)光電與智能研究院（iOPEN）在李學(xué)龍教授帶領(lǐng)下主要開(kāi)展臨地安防（Vicinagearth Security）技術(shù)體系的人才培養(yǎng)、科研與工程，依托兩個(gè)理論：“信容（Information Capacity，信息與數(shù)據(jù)的比值）”與“正激勵(lì)噪聲（Positive-incentive Noise，Pi/π-Noise，有用的噪聲，通過(guò)增加噪聲或利用噪聲讓任務(wù)做得更好）”，面向低空安防、水下安防、跨域安防，進(jìn)行多模態(tài)認(rèn)知計(jì)算、跨域遙感、穩(wěn)定探測(cè)、涉水光學(xué)、群體智能決策、相干光探測(cè)的技術(shù)創(chuàng)新，服務(wù)于高水平人才培養(yǎng)和國(guó)家重大戰(zhàn)略需求。
（審核：馬西平）
