近半年，意昂4体育平台錢曉華課題組（Medical Image and Health Informatics Lab）與意昂4平台醫意昂4附屬瑞金醫院功能神經外科合作，分別在醫學圖像分析頂刊Medical Image Analysis（MedIA🤹🏽，IF 13.828，中科院1區，2022-07-28）、多媒體技術頂刊IEEE Transactions on Circuits and Systems for Video Technology（TCSVT👨🏻‍🦯，IF 5.859，中科院1區，2022-08-01☝️、2022-03-31）上連續發表了三篇帕金森病運動視頻智能評估的研究文章。圍繞著“視頻中人的位置是否變化⬆️、動作是否重復”，系統性地提出了時空細粒度特征挖掘技術🤹🏿，解決了醫學視頻動作細粒度分析的關鍵挑戰；基於此，分別構建了基於視頻（消費級攝像頭🫳🏼，如手機等）對帕金森病綜合評價量表中的握拳試驗、站立平衡試驗和腳趾拍地運動進行客觀評估的智能模型🧑🏽‍🏭。基於該研究，課題組學生團隊（郭睿、彭京航☝🏻、解政和權裕陽）獲得了中國大學生服務外包創新創業大賽全國二等獎（2022-08-07）😂。

一👨🏽‍🚀、研究背景帕金森病是最常見的神經退行性病🌇，面臨醫生數量少、診斷不客觀、隨訪難持續的現實難題🍝。帕金森病綜合評價量表（MDS-UPDRS）是臨床診斷與評估帕金森病的主要方案📂；因此基於該量表的視頻智能評估是提升臨床診斷效率🐻‍❄️，實現遠程診斷和家庭化管理的核心技術👨🏻‍🦲。其中，關鍵技術挑戰是視頻時空細粒度特征分析（即評估的5類），這也是計算機視覺領域的技術難點。

二、主要內容

1. 握拳試驗視頻的智能評估模型握拳試驗是評估上肢運動遲緩的重要組件之一，患者需要充分打開手掌並快速地反復伸掌握拳十余次。為此，提出了一種樹結構引導的圖卷積神經網絡模型，解決了握拳試驗評估中面臨的細粒度特征挖掘困難和模型穩定性不足的挑戰↕️。其中🧍‍♂️，主要技術貢獻是將手部骨架構建為樹結構🤶🏿，通過圖卷積和樹池化來促進細粒度信息的傳輸與融合；還設計了對比學習框架來排除真實拍攝條件下混雜因素的幹擾，實現穩定的特征學習。最終🧑🏿‍🎤🙎🏽，該模型在握拳試驗評估中實現了73.71%的準確率和99.20%的可接受準確率，在獨立測試中獲得了71.88%的準確率。

圖1 所提出的握拳試驗智能評估模型架構圖

論文題目🍤：Rui Guo, Hao Li, Chencheng Zhang, Xiaohua Qian*. A Tree-Structure-Guided Graph Convolutional Network with Contrastive Learning for the Assessment of Parkinsonian Hand Movements. Medical Image Analysis, v.81, 2022.

論文鏈接：https://www.sciencedirect.com/science/article/pii/S1361841522002055

2. 腳趾拍地運動的智能評估模型腳趾拍地運動是評估下肢運動遲緩的重要組件，患者需要以最大的幅度和最快的速度用腳趾拍地十余次。為此，提出了一種時空交互圖卷積模型，解決了腳趾拍地運動評估中面臨的細粒度判別性運動特征挖掘困難的挑戰。其中，主要技術貢獻是設計了監督對比和多流聯合稀疏學習來增強特征學習過程中的類特征特異性和運動特征判別性🫲🏼；還開發了時空交互圖卷積模塊來直接構建關節點之間的遠程時空依賴關系。最終👸🏽，該模型在腳趾拍地運動評估中實現了70.04%的準確率和98.70%的可接受準確率。

圖2 所提出的腳趾拍地運動智能評估模型架構圖

論文題目：

Rui Guo, Jie Sun, Chencheng Zhang, Xiaohua Qian*. A Contrastive Graph Convolutional Network for Toe-Tapping Assessment in Parkinson’s Disease. IEEE Transactions on Circuits and Systems for Video Technology, 2022-08-01 (online).

論文鏈接：https://ieeexplore.ieee.org/document/9847262

3. 站立平衡試驗視頻的智能評估模型站立平衡試驗是帕金森病綜合評價量表的重要組成部分，患者需要將雙臂交叉放在胸前然後站起來。為此，提出了一種結合圖卷積神經網絡的自監督度量學習框架🤸🏼，解決了站立平衡試驗評估中面臨的細粒度特征提取困難的挑戰。其中🩺，主要技術貢獻是構建了四元組的度量學習框架，結合動作的空間和時間先驗知識來提升細粒度時空特征的表示能力💇🏽‍♀️；還在空間圖卷積中為不同頂點和屬性構建了自適應權重🪺，提升了空間圖卷積在分類任務中的有效性。最終👨‍👨‍👧‍👧，該模型在站立平衡試驗評估中實現了70.60%的準確率和98.65%的可接受準確率🏆💋，在獨立測試中獲得了69.44%的準確率。

論文題目🖌：Rui Guo#, Jie Sun#, Chencheng Zhang, Xiaohua Qian*. A Self-Supervised Metric Learning Framework for the Arising-from-Chair Assessment of Parkinsonians with Graph Convolutional Networks. IEEE Transactions on Circuits and Systems for Video Technology, 2022-03-31 (online).

論文鏈接：https://ieeexplore.ieee.org/abstract/document/9745580

三💇🏿、課題組在帕金森病運動視頻智能評估領域的開拓性進展錢曉華課題組長期致力於研究基於臨床視頻數據的帕金森病運動功能自動評估課題👐🏻。近三年來，錢曉華課題組已在該主題發表7篇論文🖕🏻，包括期刊Medical Image Analysis（握拳試驗，2022-07-28）、IEEE Transactions on Multimedia（步態，2021-03-24）👩🏻‍🦽‍➡️、IEEE Transactions on Circuits and Systems for Video Technology（站立平衡試驗，2022-03-31；腳趾拍地運動👨🏼‍🚀，2022-08-01）👩🏽‍🏭、IEEE Transactions on Neural Systems & Rehabilitation Engineering（腿部靈活性，2020-11-19）🧷、Neurocomputing（對指試驗🩳，2021-06-21）🧘🏼‍♀️、Parkinsonism & related disorders（僵直、姿勢的穩定性，2021-11-19）🙌🏼。在國際帕金森病運動視頻智能評估領域，錢曉華課題組首次開拓性地引入時空圖網絡來實現量表評分🎯🤌，系統性地提出了時空細粒度特征挖掘技術，引領了該領域的技術發展🎮，性能領先國內外同類工作，甚至優於基於傳感器的評估系統。