文獻(xiàn)分享 | 通過(guò)眼動(dòng)控制機(jī)器人的腦機(jī)接口

分類：

學(xué)術(shù)動(dòng)態(tài)

作者：

高密度肌電

來(lái)源：

發(fā)布時(shí)間：

2024-09-05

訪問(wèn)量：

人機(jī)交互是一個(gè)快速發(fā)展的領(lǐng)域，機(jī)器人在我們的日常生活中發(fā)揮著越來(lái)越積極的作用。病人護(hù)理是機(jī)器人越來(lái)越多出現(xiàn)的領(lǐng)域之一，尤其是對(duì)殘疾人來(lái)說(shuō)。患有神經(jīng)退行性疾病的人可能不會(huì)有意識(shí)或自愿地進(jìn)行除眼睛或眼瞼以外的運(yùn)動(dòng)。在這種情況下，腦機(jī)接口(BCI)系統(tǒng)提供了與外部世界通信或交互的另一種方式。為了改善殘障人士的生活，本文提出了一種新的腦機(jī)接口，用于控制輔助機(jī)器人。在本研究中，腦電圖(EEG)信號(hào)的眼睛偽影被認(rèn)為是有價(jià)值的信息來(lái)源，通過(guò)檢測(cè)腦電圖信號(hào)中的眼瞼偽影，以及眨眼的雙閾值方法，成功實(shí)現(xiàn)了通過(guò)腦機(jī)接口控制機(jī)器人的目標(biāo)。該技術(shù)的應(yīng)用對(duì)改善殘障人士的生活具有重要意義。

在前人的文獻(xiàn)中，眼睛偽影相關(guān)的論文一般都集中在眨眼檢測(cè)上，使用腦電圖信號(hào)的工作是強(qiáng)迫受試者不移動(dòng)他們的眼睛。針對(duì)眼動(dòng)檢測(cè)的研究很少，大多是利用眼動(dòng)傳感器而不是腦電圖。此外，與大多數(shù)有用的腦電信號(hào)相比，眼動(dòng)偽影具有更高的信噪比(SNR)，并且在時(shí)域上可以被觀察到，因此可以被認(rèn)為是有價(jià)值的信息來(lái)源。

實(shí)驗(yàn)方法

在這項(xiàng)工作中，研究人員讓5名受試者(男3名，女2名，年齡27±3歲)參與機(jī)器人平臺(tái)控制實(shí)驗(yàn)。具體來(lái)說(shuō)，在所有的測(cè)試過(guò)程中，受試者都被要求舒適地坐在監(jiān)視器前。眼睛一側(cè)與屏幕的中心對(duì)齊，因此不影響空閑節(jié)奏。在每次試驗(yàn)開(kāi)始時(shí)，受試者被告知所需的眼部偽影。

信號(hào)處理

人眼偽影會(huì)在特定頻段引起功率增加。短時(shí)傅里葉變換(STFT)用于確定信號(hào)局部部分隨時(shí)間變化的正弦相位和頻率內(nèi)容。信號(hào)在100個(gè)數(shù)據(jù)點(diǎn)的窗口中分割，重疊50個(gè)數(shù)據(jù)點(diǎn)。在計(jì)算STFT之前，對(duì)信號(hào)進(jìn)行濾波，去除與上述EEG信號(hào)頻段一致的高于100hz的高頻分量和低于0.5 Hz的低頻分量。額葉通道比其他通道顯示出更清晰的結(jié)果。振幅的上升與事件完全一致，如圖1所示。通過(guò)觀察顳葉皮層的電極，可以觀察到0.5 - 15赫茲之間的功率上升，而在額葉皮層，它的頻率范圍高達(dá)30赫茲。

圖1. 當(dāng)眨眼并向右看時(shí)F1, FT7, FT8, Fp1,F7, F8通道的STFT

計(jì)算空閑、眨眼、向左看和向右看的事件傅里葉變換(FT)，以進(jìn)一步檢查0.5 -30 Hz之間的信號(hào)分量。在FT圖(如圖2所示)的可視化之后，很明顯，主導(dǎo)頻段確實(shí)在0.5和15hz之間。由于主頻段在15hz之前，因此選擇1 -13hz之間的二階巴特沃斯濾波器來(lái)濾波信號(hào)。

圖2. 空閑，眨眼，左看和右看Fp1, F7, F8通道的FFT。

閾值確定

在實(shí)驗(yàn)中，研究人員為Fp1通道選擇了兩個(gè)值，為F7和F8通道選擇了4個(gè)值，為F7和F8通道選擇了4個(gè)值。信號(hào)對(duì)事件的一般行為如圖3所示。遵循類似的過(guò)程來(lái)查找F7和F8的閾值，如圖3所示，左和右看起來(lái)具有相反的行為，由多個(gè)波峰和波谷組成。一條通道的峰和另一條通道的谷幾乎同時(shí)被觀測(cè)到。每個(gè)試驗(yàn)的每個(gè)通道的均值和標(biāo)準(zhǔn)差分別計(jì)算。然后檢查波峰和波谷的分布以確定閾值，結(jié)果如表1所示。

表1. 為每個(gè)通道設(shè)置的閾值以及相應(yīng)的事件

圖3. 眼偽影對(duì)Fp1, F7和F8通道的影響

數(shù)據(jù)流和處理模式

圖4顯示了數(shù)據(jù)流和處理模式，以及提出的眼動(dòng)分類算法。該算法通過(guò)檢測(cè)信號(hào)中的眨眼和眼動(dòng)特征來(lái)識(shí)別眨眼和眼動(dòng)事件。算法首先檢查Fp1通道是否有高于閾值的值，如果是，則觸發(fā)眨眼標(biāo)志。接下來(lái)，新批次的數(shù)據(jù)將進(jìn)入眨眼狀態(tài)，以捕獲信號(hào)峰值之后的剩余信號(hào)。另外，算法還檢查F7和F8通道的峰谷形狀來(lái)觸發(fā)眼動(dòng)事件的標(biāo)志。如果沒(méi)有眨眼事件發(fā)生，所有新批次將進(jìn)入眼動(dòng)事件的狀態(tài)。算法的思想是根據(jù)窗口的大小和通道值的峰谷形狀來(lái)識(shí)別眼動(dòng)事件。最后，如果沒(méi)有眨眼或眼動(dòng)事件發(fā)生，當(dāng)前批次將作為下一批次的前一個(gè)窗口。這種算法的設(shè)計(jì)使其能夠有效地捕獲眨眼和眼動(dòng)事件，從而實(shí)現(xiàn)對(duì)輔助機(jī)器人的控制。

圖4. 給出了數(shù)據(jù)流和處理模式。數(shù)據(jù)是從SAGA設(shè)備獲取的。然后，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和過(guò)濾。訓(xùn)練算法是用處理后的數(shù)據(jù)進(jìn)行訓(xùn)練的。最后，將訓(xùn)練好的算法在線應(yīng)用于人機(jī)交互中

BCI實(shí)驗(yàn)驗(yàn)證

受試者能夠控制基本運(yùn)動(dòng)，并通過(guò)使用他們的眼睛偽影為機(jī)器人選擇一個(gè)預(yù)定義的任務(wù)來(lái)執(zhí)行。受試者對(duì)機(jī)器人的所有功能進(jìn)行了測(cè)試，以驗(yàn)證整個(gè)系統(tǒng)的可用性。圖7展示了BCI系統(tǒng)驗(yàn)證實(shí)驗(yàn)視頻中的部分畫(huà)面。圖8顯示了為BCI實(shí)現(xiàn)的GUI。實(shí)驗(yàn)結(jié)果表明，本文提出的基于閾值的眼偽影識(shí)別算法能夠通過(guò)眼偽影對(duì)機(jī)器人進(jìn)行控制。雖然人眼偽影檢測(cè)算法在檢測(cè)左側(cè)表情方面效果不佳，存在大量將左側(cè)表情誤分類為右側(cè)表情的現(xiàn)象。但受試者依然能夠完成所有的任務(wù)。

圖7. BCI系統(tǒng)驗(yàn)證實(shí)驗(yàn)視頻中的部分畫(huà)面。(A) TIAGo帶著物體向后移動(dòng)，(B) TIAGo到達(dá)安全位置，(C)受試者移動(dòng)TIAGo的底座，(D)同時(shí)從TIAGo上取下物體

圖8. 為BCI實(shí)現(xiàn)GUI

結(jié)論和發(fā)展

本研究提出了一種帶眼偽影的BCI機(jī)器人控制算法，為殘疾人提供了改善生活質(zhì)量的方法。該算法通過(guò)特征形狀檢測(cè)腦電圖信號(hào)中的眼偽影，并使用閾值檢測(cè)眨眼。實(shí)時(shí)檢測(cè)到的事件被送到第二個(gè)算法分發(fā)器中，以進(jìn)一步區(qū)分連續(xù)眨眼，并確定用戶執(zhí)行的是單次、兩次還是四次眨眼。該算法在離線測(cè)試中表現(xiàn)良好，但在在線過(guò)程中的性能下降。未來(lái)的研究可以考慮遷移學(xué)習(xí)和深度學(xué)習(xí)技術(shù)以提高在線性能，并研究全身運(yùn)動(dòng)的控制以提高人機(jī)交互性能。優(yōu)化軟件以減少在線計(jì)算時(shí)間也是一個(gè)重要的方向。

參考內(nèi)容：https://www.nature.com/articles/s41598-023-44645-y

相關(guān)設(shè)備