2020年9月23日，《IEEE Transactions on Cybernetics》（工程技术一区，IF值11.079）期刊在线发表了题为“Early Screening of Autism in Toddlers via Response-To-Instructions Protocol”（基于范式：对语言的回应辅助筛查孤独症）的研究论文，这是复旦大学附属儿科医院徐秀教授团队和上海交通大学刘洪海教授团队在ASD早期筛查合作的第二篇研究成果。
　　该研究首次提出了规范化的筛查范式：对语言的回应，重点探究孤独症儿童对语言的理解并作出回应的能力。首先搭建了一个多视觉传感器平台，可以从不同的视角同步采集包括视频、音频、人体骨架等多模态信息。在采集到的多流信息的基础上，提出了相关算法进行人体行为分析。一方面，基于深度学习SSD模型实现了在医生与患儿交互过程中对人体的手部以及相关交互物体的识别追踪；另一方面，基于人眼模型提出了在自由环境中的三维视线估计的方法，用以表征人体注意力。同时，通过语音识别的方法标记出由医生给出的关键性指令语言的具体时刻。基于以上得到的人体行为特征时间序列，先后进行时间上的特征对齐和统计学的方法以设定相关阈值，提出了评价范式的具体量化方法。通过对15名孤独症儿童和5名正常儿童的实验验证了以上框架。

图一　对语言回应测试场景及测试系统设置

　　实验结果发现，与医生给出的结果相比，研究团队提出的自动化评估方法正确率达到95%，组内相关系数ICC达到0.998（95%置信区间0.996-0.999）。除此之外，量化的特征还可用于肉眼难以察觉的量化统计分析，包括对参与程度、回应延迟、视觉注意力累计三项的组间（孤独症组VS正常组）差异分析。结果表明，孤独症儿童和正常儿童在参与程度、回应延迟方面差异不大，但孤独症儿童比正常儿童更少地注视他人。

图二　对语言回应量化模型及算法

　　相对于其他技术方法而言，计算机视觉方法的优点在于可以更直观地量化人体行为。但现有的基于视觉筛查孤独症的方法多是诊断单一早期特征，而本团队的研究目标是发展一个完整的、考虑多项孤独症核心特征的自动化视觉系统辅助孤独症筛查过程。同时，通过对多模态信息的特征提取及分析，尝试探究孤独症的部分病理机制，为孤独症的早期筛查和干预工作提供一定的理论依据。
　　本项研究来源于国家自然基金重点项目，面向孤独症早期诊疗的机器辅助系统关键技术研究（61733011）。