依托國(guó)家重點(diǎn)研發(fā)計(jì)劃課題與國(guó)家自然科學(xué)基金支持,上海理工大學(xué)智能康復(fù)工程研究院科研團(tuán)隊(duì)提出一種用戶(hù)-機(jī)器閉環(huán)協(xié)同適應(yīng)策略。該創(chuàng)新方案融合多模態(tài)漸進(jìn)域?qū)股窠?jīng)網(wǎng)絡(luò)、增強(qiáng)現(xiàn)實(shí)反饋系統(tǒng)及基于場(chǎng)景的動(dòng)態(tài)非對(duì)稱(chēng)訓(xùn)練策略,構(gòu)建了跨環(huán)境自適應(yīng)控制體系。實(shí)驗(yàn)驗(yàn)證表明,通過(guò)AR系統(tǒng)提供的實(shí)時(shí)視覺(jué)反饋與閉環(huán)域自適應(yīng)算法的深度耦合顯著提升了復(fù)雜非訓(xùn)練環(huán)境下的sEMG識(shí)別精度,為實(shí)現(xiàn)肌電接口從實(shí)驗(yàn)室到真實(shí)場(chǎng)景的工程化應(yīng)用提供了關(guān)鍵技術(shù)突破。研究成果為下一代神經(jīng)假體的環(huán)境適應(yīng)性設(shè)計(jì)提供了重要理論支撐。相關(guān)結(jié)果發(fā)表于《IEEE Transactions on Neural Systems and Rehabilitation Engineering》。 多功能肌電假肢是上肢缺失者首選的康復(fù)解決方案,但是長(zhǎng)期的訓(xùn)練對(duì)使用者的生理和心理要求都很高,經(jīng)常會(huì)導(dǎo)致積極性降低,進(jìn)而中斷訓(xùn)練。因此,如何提高截肢者的積極性和訓(xùn)練毅力成為一個(gè)關(guān)鍵而又具有挑戰(zhàn)性的問(wèn)題。現(xiàn)有研究表明,在受控實(shí)驗(yàn)室條件下,sEMG信號(hào)識(shí)別可以實(shí)現(xiàn)出色的性能。然而,現(xiàn)實(shí)世界中存在的信號(hào)噪聲、個(gè)體生理變化和環(huán)境干擾削弱了其魯棒性,嚴(yán)重阻礙了其廣泛應(yīng)用。缺乏直觀、抗疲勞的肌電界面是阻礙假肢在截肢者中廣泛應(yīng)用的根本障礙。目前的虛擬訓(xùn)練系統(tǒng)存在多種局限性,包括訓(xùn)練任務(wù)偏離實(shí)際假肢控制情況、依賴(lài)主觀評(píng)價(jià)指標(biāo)以及任務(wù)過(guò)于簡(jiǎn)單。最關(guān)鍵的是,這些系統(tǒng)往往忽略了感官保真度因素,如肌肉力量、環(huán)境交互反饋和位置感知。這種疏忽影響了在未經(jīng)訓(xùn)練的條件下驗(yàn)證新興肌電接口可靠性的能力。先前的研究強(qiáng)調(diào),雖然主觀評(píng)估和任務(wù)完成速度能提供有價(jià)值的見(jiàn)解,但肢體運(yùn)動(dòng)學(xué)和運(yùn)動(dòng)學(xué)變異性數(shù)據(jù)能提供更深刻的訓(xùn)練效果見(jiàn)解。值得注意的是,與肢體完整的人相比,假肢使用者通常表現(xiàn)出更大的運(yùn)動(dòng)變異性,尤其是在關(guān)節(jié)軌跡方面。從長(zhǎng)遠(yuǎn)來(lái)看,本研究的目標(biāo)是開(kāi)發(fā)一種自然自適應(yīng)肌電界面,使用戶(hù)能夠控制手部的多個(gè)自由度。這種界面將使用戶(hù)能夠根據(jù)不同的任務(wù)和環(huán)境需求調(diào)節(jié)肌肉活動(dòng)水平并增強(qiáng)肌肉協(xié)調(diào)性,從而將假肢從半自動(dòng)配件轉(zhuǎn)變?yōu)樯眢w的延伸。此外,虛擬假肢系統(tǒng)需要準(zhǔn)確復(fù)制真實(shí)假肢的功能和互動(dòng)。這種能力將使用戶(hù)能夠在低風(fēng)險(xiǎn)環(huán)境中快速評(píng)估和評(píng)價(jià)假肢設(shè)計(jì)和控制功能。 本研究介紹了一種場(chǎng)景引導(dǎo)的自適應(yīng)增量學(xué)習(xí)策略,通過(guò)整合多模態(tài)自適應(yīng)算法、包含全息物體操作任務(wù)的AR環(huán)境以及基于場(chǎng)景的動(dòng)態(tài)非對(duì)稱(chēng)訓(xùn)練方案,實(shí)現(xiàn)用戶(hù)與機(jī)器的共同適應(yīng)。在算法方面,本研究創(chuàng)新性提出了一種稱(chēng)為多模態(tài)漸進(jìn)域?qū)股窠?jīng)網(wǎng)絡(luò)(MPDANN)的域適應(yīng)方法。MPDANN利用sEMG和慣性測(cè)量單元(Inertial Measurement Unit, IMU)數(shù)據(jù),旨在解決離線訓(xùn)練模型在多手臂位置條件下的長(zhǎng)期實(shí)時(shí)部署難題。該框架實(shí)現(xiàn)了從粗域到細(xì)域的兩階段對(duì)齊機(jī)制,通過(guò)雙域?qū)狗诸?lèi)器分別處理卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)中來(lái)自淺層的低級(jí)特征和來(lái)自深層的高級(jí)特征。這種分層對(duì)齊策略不僅實(shí)現(xiàn)了不同模態(tài)數(shù)據(jù)的特征解耦,更通過(guò)漸進(jìn)式域適應(yīng)過(guò)程促進(jìn)知識(shí)的增量遷移,有效應(yīng)對(duì)多源域差異帶來(lái)的泛化挑戰(zhàn)。圖1是本研究提出的MPDANN算法。 圖1:肌電界面自適應(yīng)算法。(a) CNN。(b) MPDANN。 (圖片來(lái)自原文) 為了增強(qiáng)用戶(hù)的神經(jīng)肌肉協(xié)調(diào)能力,本研究開(kāi)發(fā)了兩個(gè)AR交互系統(tǒng),可以將虛擬假肢疊加到現(xiàn)實(shí)世界的環(huán)境中,如圖2所示。兩個(gè)AR系統(tǒng)的核心差異在于是否集成虛擬力反饋模塊:AR-1環(huán)境僅提供物體的視覺(jué)映射,AR-2環(huán)境則疊加虛擬力反饋信號(hào)。通過(guò)這種設(shè)計(jì),健全受試者可以看到虛擬假肢取代了自然手臂,而截肢受試者則可以看到虛擬假肢從殘肢延伸出來(lái),從而為假肢的位置和手勢(shì)提供實(shí)時(shí)的視覺(jué)反饋。同時(shí),全息物體操作任務(wù)設(shè)置在較大的空間范圍,并采用了未經(jīng)訓(xùn)練的姿勢(shì),從而能夠系統(tǒng)地評(píng)估肢體姿勢(shì)和任務(wù)可變性對(duì)識(shí)別準(zhǔn)確性的影響。 圖2:實(shí)驗(yàn)裝置。(a) 沒(méi)有虛擬力反饋的AR-1環(huán)境中全息物體操作任務(wù)實(shí)時(shí)測(cè)試。(b) 有虛擬力反饋的AR-2環(huán)境中全息物體操作任務(wù)實(shí)時(shí)測(cè)試。(c) 成功完成全息對(duì)象操作任務(wù)的理想過(guò)程。(d) 成功完成全息對(duì)象操作任務(wù)的實(shí)際過(guò)程。(e) 沒(méi)有虛擬力反饋的AR-1環(huán)境實(shí)際測(cè)試場(chǎng)景。(f) 有虛擬力反饋的AR-2環(huán)境實(shí)際測(cè)試場(chǎng)景。(g) sEMG 臂環(huán)的佩戴位置。 (圖片來(lái)自原文) 為進(jìn)一步提升訓(xùn)練效能,本研究還設(shè)計(jì)了一種基于場(chǎng)景的動(dòng)態(tài)非對(duì)稱(chēng)訓(xùn)練方案,如圖3所示。該方案由兩個(gè)不連續(xù)的階段組成:離線訓(xùn)練階段收集了手臂五個(gè)矢狀位置的sEMG數(shù)據(jù),以訓(xùn)練有監(jiān)督的初始域適應(yīng)模型;實(shí)時(shí)識(shí)別階段通過(guò)八個(gè)空間位置的全息任務(wù)進(jìn)行非對(duì)稱(chēng)增量訓(xùn)練。該階段引入無(wú)監(jiān)督域適應(yīng)機(jī)制,創(chuàng)新性地將任務(wù)上下文作為監(jiān)督層,構(gòu)建動(dòng)態(tài)偽標(biāo)簽生成器以?xún)?yōu)化特征對(duì)齊過(guò)程。通過(guò)整合MPDANN中的增量學(xué)習(xí)和AR環(huán)境中的增量訓(xùn)練形成閉環(huán),不斷更新和優(yōu)化系統(tǒng)參數(shù),使模型能夠持續(xù)捕捉受試者神經(jīng)肌肉協(xié)調(diào)模式的動(dòng)態(tài)變化。 圖3:基于場(chǎng)景的動(dòng)態(tài)非對(duì)稱(chēng)訓(xùn)練方案 (圖片來(lái)自原文) 圖4直觀展現(xiàn)了AR-1環(huán)境中健全受試者和截肢受試者在不同階段的實(shí)時(shí)識(shí)別性能。在比較CNN和MPDANN的跨時(shí)段識(shí)別性能時(shí),所有指標(biāo)均具有顯著差異(p<0.01)。MPDANN在第一天和最后一天的訓(xùn)練中也有顯著提高(p<0.01)。經(jīng)過(guò)五天的實(shí)時(shí)訓(xùn)練,使用CNN的健全受試者的平均成功轉(zhuǎn)移次數(shù)略高于70次,而MPDANN則接近80次。未拾取和掉落的物體數(shù)量也呈類(lèi)似的下降趨勢(shì),MPDANN穩(wěn)定在1附近。使用CNN時(shí),完成時(shí)間始終保持在8秒以上,而MPDANN則將這一指標(biāo)從最初的8秒以上縮短到最后的4秒左右。CNN的完成率從68%到83%,而MPDANN的完成率一直超過(guò)80%,其中一名健全受試者的完成率最高達(dá)到98.75%。對(duì)于截肢受試者來(lái)說(shuō),最初的成功轉(zhuǎn)移物體數(shù)量與使用CNN的健全受試者相當(dāng),但經(jīng)過(guò)五天的實(shí)時(shí)訓(xùn)練后,成功轉(zhuǎn)移物體數(shù)量超過(guò)了使用CNN的健全受試者。未拾取物體的趨勢(shì)也反映了這一軌跡。雖然截肢者的掉落的物體數(shù)量始終低于使用CNN的健全受試者,但并沒(méi)有達(dá)到使用MPDANN的健全受試者的水平。完成率的趨勢(shì)與成功轉(zhuǎn)移物體數(shù)量的一致。截肢者的完成時(shí)間一開(kāi)始與使用CNN的健全受試者相當(dāng),后來(lái)逐漸向MPDANN的性能水平靠攏。由于樣本量較小,因此未對(duì)截肢者進(jìn)行統(tǒng)計(jì)分析。 圖4:AR-1環(huán)境實(shí)時(shí)識(shí)別性能。AB 代表健全受試者,AM 代表截肢受試者。(a) 成功轉(zhuǎn)移物體的數(shù)量,(b) 未被拾取的物體數(shù)量,(c) 掉落物體的數(shù)量,(d) 完成時(shí)間,以及 (e) 完成率。 (圖片來(lái)自原文) 受試者在AR-2環(huán)境中實(shí)時(shí)識(shí)別過(guò)程中的表現(xiàn)如圖5所示。在實(shí)時(shí)識(shí)別過(guò)程中,受試者使用開(kāi)發(fā)的AR系統(tǒng)完成了虛擬假肢控制和虛擬物體操作任務(wù)。對(duì)于健全受試者,CNN和MPDANN在成功轉(zhuǎn)移物體數(shù)量、未拾取物體數(shù)量、掉落物體數(shù)量、破碎物體數(shù)量、完成時(shí)間和成功率方面的差異在各次訓(xùn)練中均有顯著差異。MPDANN在第一天和最后一天的性能也有顯著差異(p<0.01)。經(jīng)過(guò)五天的實(shí)時(shí)訓(xùn)練后,對(duì)于身體健全的受試者而言,使用CNN時(shí)成功轉(zhuǎn)移物體數(shù)量在58個(gè)左右,而使用MPDANN時(shí)則在64個(gè)左右。未拾取物體和掉落物體的數(shù)量均呈現(xiàn)出下降的趨勢(shì),最后都接近1。使用CNN時(shí),完成時(shí)間始終高于8秒,而使用MPDANN時(shí),完成時(shí)間從一開(kāi)始就高于8秒,直到接近4秒。對(duì)于截肢受試者來(lái)說(shuō),成功轉(zhuǎn)移物體數(shù)量從一開(kāi)始與使用CNN的健全受試者一致,到經(jīng)過(guò)5天的實(shí)時(shí)訓(xùn)練后,能夠超過(guò)使用CNN的健全受試者的結(jié)果。未被拾起物體的數(shù)量和破碎物體的數(shù)量也呈現(xiàn)出下降的趨勢(shì)。至于在轉(zhuǎn)移過(guò)程中掉落的物體,截肢受試者的結(jié)果始終高于使用CNN的健全受試者的結(jié)果,但沒(méi)有趕上使用MPDANN的健全受試者的結(jié)果。在完成時(shí)間方面,截肢受試者的測(cè)試結(jié)果與使用CNN的健全受試者一致,直到接近使用MPDANN的健全受試者的結(jié)果。由于參加實(shí)驗(yàn)的受試者人數(shù)較少,因此未對(duì)截肢受試者進(jìn)行統(tǒng)計(jì)分析。 圖5:AR-2環(huán)境中的實(shí)時(shí)識(shí)別性能。AB 代表健全受試者,AM 代表截肢受試者。(a) 成功轉(zhuǎn)移物體的數(shù)量。(b) 完成率。(c) 完成時(shí)間。(d) 未拾取物體的數(shù)量。(e) 掉落物體的數(shù)量。(f) 破碎物體的數(shù)量。 (圖片來(lái)自原文) 深度學(xué)習(xí)算法的一個(gè)顯著特點(diǎn)是能夠在訓(xùn)練過(guò)程中生成大量數(shù)據(jù)。通過(guò)t-Distributed Stochastic Neighbor Embedding(t-SNE)利用稀疏、壓縮的數(shù)據(jù)表示揭示了數(shù)據(jù)的內(nèi)在結(jié)構(gòu),增強(qiáng)了模型的可解釋性,并提供了分析復(fù)雜架構(gòu)的工具。本研究采用t-SNE來(lái)可視化自適應(yīng)算法中兩個(gè)領(lǐng)域?qū)狗诸?lèi)器在學(xué)習(xí)過(guò)程中的行為(圖6)。t-SNE可視化顯示了原始特征中模糊不清的決策邊界(圖6a)。經(jīng)過(guò)低級(jí)特征域分類(lèi)(圖6b)后,任務(wù)相關(guān)的組件呈現(xiàn)出聚類(lèi)趨勢(shì);通過(guò)高級(jí)特征域分類(lèi)器(圖6c)進(jìn)一步細(xì)化后,這些邊界變得更加清晰。單靠系統(tǒng)級(jí)性能指標(biāo)無(wú)法將用戶(hù)適應(yīng)與解碼器適應(yīng)區(qū)分開(kāi)來(lái),因?yàn)樾阅懿▌?dòng)可能來(lái)自其中任何一個(gè)部分。為了識(shí)別共同適應(yīng)性交互,本研究使用sEMG調(diào)諧曲線來(lái)評(píng)估受試者的日常適應(yīng)性--量化sEMG活動(dòng)與預(yù)期手勢(shì)之間的關(guān)系。通過(guò)計(jì)算正確操作的前60秒內(nèi)所有電極的sEMG調(diào)諧曲線(圖6d、e),對(duì)用戶(hù)的逐次嘗試行為進(jìn)行了描述。圖6d比較了第一天和最后一天不同手勢(shì)的這些曲線,而圖6e則說(shuō)明了不同肢體位置的變化。這些結(jié)果表明,通過(guò)五天的訓(xùn)練,用戶(hù)能夠熟練地產(chǎn)生與目標(biāo)手勢(shì)一致的肌肉激活。綜合實(shí)驗(yàn)結(jié)果,本研究利用勢(shì)函數(shù)擬合了用戶(hù)與算法的交互模型,如圖6f所示。 圖6:肌電界面中的協(xié)同適應(yīng)。(a) 原始特征的t-SNE可視化。(b) 低級(jí)特征域分類(lèi)器特征的t-SNE可視化。(c) 高級(jí)特征域分類(lèi)特征的t-SNE可視化。(d) 實(shí)時(shí)測(cè)試中第一天和最后一天每個(gè)手勢(shì)的 sEMG 調(diào)諧曲線。(e) 實(shí)時(shí)測(cè)試中第一天和最后一天每個(gè)位置的sEMG調(diào)諧曲線。(f) 描述用戶(hù)-算法協(xié)同適應(yīng)模型動(dòng)態(tài)的潛在函數(shù)可視化。 (圖片來(lái)自原文) 為了提高受試者在未知環(huán)境中借助sEMG執(zhí)行全息物體操作任務(wù)的準(zhǔn)確率和適應(yīng)性,本研究提出了一種場(chǎng)景引導(dǎo)的自適應(yīng)增量學(xué)習(xí)策略。該策略創(chuàng)新性提出了整合sEMG和IMU數(shù)據(jù)的漸進(jìn)式領(lǐng)域適應(yīng)算法MPDANN、以全息物體操作任務(wù)為特色的AR環(huán)境,以及基于場(chǎng)景的動(dòng)態(tài)非對(duì)稱(chēng)訓(xùn)練方案。通過(guò)為期5天的實(shí)時(shí)實(shí)驗(yàn)評(píng)估發(fā)現(xiàn),使用MPDANN算法的任務(wù)完成率呈現(xiàn)漸進(jìn)式提升趨勢(shì),至實(shí)驗(yàn)第5天,所有受試者的任務(wù)完成率均穩(wěn)定超過(guò)80%。與此同時(shí),受試者的肌肉激活模式也表現(xiàn)出顯著的適應(yīng)性調(diào)整,反映出神經(jīng)肌肉系統(tǒng)對(duì)新型控制策略的有效學(xué)習(xí)。總之,本研究的研究將閉環(huán)系統(tǒng)的視覺(jué)反饋與實(shí)時(shí)領(lǐng)域適應(yīng)算法相結(jié)合。這種結(jié)合促進(jìn)了用戶(hù)與算法之間的協(xié)作過(guò)程,允許即時(shí)糾錯(cuò)并開(kāi)發(fā)一致、穩(wěn)定和個(gè)性化的控制策略。 參考文獻(xiàn): Wei Li, Ping Shi, Sujiao Li, and Hongliu Yu, “Enhancing and Optimizing User-machine Closed-loop Co-adaptation in Dynamic Myoelectric Interface,” IEEE Trans. Neural Syst. Rehabil. Eng., pp. 1–1, 2025, doi: 10.1109/TNSRE.2025.3558687.