(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211242843.3 (22)申请日 2022.10.11 (71)申请人 成都信息工程大学 地址 610225 四川省成 都市西南 航空港经 济开发区学府路一段24 号 申请人 北京大学 (72)发明人 吴琴　杨琰　肖湘民　张志蕾　 何兵　宇文泰然　 (74)专利代理 机构 北京久维律师事务所 1 1582 专利代理师 邢江峰 (51)Int.Cl. A61B 5/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 40/18(2022.01) (54)发明名称 孤独症早筛眼动仪检测系统、 方法、 介质、 设 备及终端 (57)摘要 本发明属于孤独症 早筛技术领域， 公开了一 种孤独症 早筛眼动仪检测系统、 方法、 介质、 设备 及终端， 通过被试者容易接受的方式， 获取被试 者观看不同刺激范式时的眼动数据， 得到机器学 习模型的训练样本； 通过机器学习实现孤独症儿 童视觉模式特征的自动提取， 完成孤独症的筛 查； 对体现孤独症儿童与普通儿童异质性的眼动 数据进行收集， 基于机器学习的方式实现孤独症 儿童与普通儿童的自动分类。 本发 明模型的训练 样本用统计学方法进行了区分度检验， 保证了训 练样本的有效性， 从而提高了模型的精确度。 本 发明对原始眼动数据的处理方式多样， 从注视分 布， 眼动轨迹等多个维度出发对被试者进行评 估， 最后在通过结果整合模型进行权值配比， 保 障了结果的可靠性。 权利要求书3页 说明书13页 附图3页 CN 115530830 A 2022.12.30 CN 115530830 A 1.一种孤独症早筛眼动仪检测系统， 其特征在于， 所述孤独症早筛眼动仪检测系统包 括数据收集装置、 数据库系统、 数据处 理程序和机器学习模型； 其中， 所述数据收集装置， 包括数据收集设备和实验控制程序， 所述数据收集设备通过 非侵入方式远程采集被试者的眼动数据； 所述实验控制程序用于控制视觉刺激图像的呈 现、 控制所述数据收集设备的工作状态以及收集被试者观看视 觉刺激图像时的眼动序列； 所述数据库系统， 用于存储所用到的所有视觉刺激范式， 和所述数据收集装置收集到 的原始眼动数据； 所述数据处理程序是用于对所述数据收集装置收集到的原始眼动数据进行初步处理 的程序， 其中包括基于数据进行 的图片刺激区分度检验以及第一型处理、 第二型处理和第 三型处理三种不同的处 理方式； 所述机器分类模型， 包括三个眼动图像分类模型、 一个眼动数据分类模型和一个分类 结果整合模型； 三种眼动图像分类模型分别用于对经过上述数据处理程序的第一型处理和 第二型处 理得到的总体注视密度图、 总体注视密度图和眼动轨 迹图进行分类。 2.如权利要求1所述的孤独症早筛眼动仪检测系统， 其特征在于， 所述视觉刺激图像是 对孤独症儿童和正常儿童有高视觉模式区分度的各种刺激范式； 所述眼动序列包含被试者 对刺激图像各个区域的注视顺序和注视时长， 用于后续处理生成各种训练样本的原始数 据； 所述数据收集设备为Tobii眼动 仪， 所述实验控制程序是基于Unity3D开发的桌面应用 程序， 以1s为时间 间隔， 每张刺激图像向被试者展示3s。 3.如权利要求1所述的孤独症早筛眼动仪检测系统， 其特征在于， 所述数据库系统基于 SQL Server数据库实现， 所述数据库包含表1、 表2和表3三张表， 表1用于存储被试者的信 息， 表2用于储存被试者 实验过程中产生的注视点信息， 表3用于存储视觉刺激范式； 所述视 觉刺激范式为视觉刺激图片； 所述视觉刺激图片类型包括人脸、 社交场景、 动植物、 建筑物 以及交通工具。 4.如权利要求1所述的孤独症早筛眼动仪检测系统， 其特征在于， 所述 区分度检验是在 进行第一型处理、 第二型处理和第三型处理之前对原始眼动数据进行 的数据初筛； 针对每 一张图片刺激得到的眼动数据， 进行基于统计学方法的显著性检验， 用于判别孤独症与正 常儿童两组被试者是否对图片刺激有一个显著的统计学意义上组间差异， 并按照差异的显 著程度对所有刺激图片作一个排名； 所述第一型处理为将原始眼动数据处理为总体注视密度图和个体注视密度图， 所述个 体注视密度图， 用每一位被试， 针对每一张刺激图片的注视点， 形成的一张注视密度图； 所 述总体注视密度图， 将所有同质的被试者针对同一张图片的注视点描在一张图上， 形成的 一张注视密度图； 所述第二型处 理为将原 始眼动数据处 理为眼动轨 迹图； 所述第三型处理为从原始眼动数据中提取特征， 构成n维特征集， 直接送入机器学习 模 型训练、 分类； 作为优选， 所述n维特征集是六维特征集， 所述机器学习模型是逻辑回归模 型。 5.如权利要求4所述的孤独症早筛 眼动仪检测系统， 其特征在于， 作为优选， 所述区分 度检验从注视密度分布的角度出发， 基于R语言编程实现； 在R程序脚本中连接所述数据库权　利　要　求　书 1/3 页 2 CN 115530830 A 2系统， 并读入眼动数据； 分别计算每名被试者的注视点的横、 纵坐标对注视时长的加权平均 值， 作为能表征被试者注视密度分布的两项指标； 分别对这两项指标进行wilcoxon秩和检 验， 得到检验结果即可用于对图片刺激进行区分度排名； 第一型处理基于Matlab编程实现； 在Matlab中连接所述数据库系统， 循环读取所有图 片刺激； 对每一张图片， 生 成与图片等尺寸的全0矩阵， 循环读取所有的眼动数据， 将数据中 的注视点(x,y)处的矩阵值置为1； 通过高斯平滑滤波对矩阵进行处理， 结果矩阵是生成总 体注视密度图； 对于个体注视密度图的生成， 则是只 读取一位被试者的眼动数据， 在其每个 注视点的位置画渐 变灰度的圆， 圆的半径取决于被试者在该点的注视时长； 第二型处理基于Matlab编程实现； 用Matlab中连接所述数据库系统， 循环读取所有图 片刺激； 对每一张图片， 生 成与图片等维度的图片矩阵， 循环读取某一位被试者所有的眼动 数据； 根据其每一个注视点的位置， 在图片矩阵上画圆， 圆的半径取决于被试者在该点的注 视时长， 圆的填充色取决于注视点是第几个注视点； 相邻两个注视点再通过一条连接线连 接， 则完成一 位被试者针对一张图片刺激眼动轨 迹图的生成过程； 第三型处理基于Matlab编程实现； 通过Matlab完成数据库的连接， 从所述数据库系统 的表1和表2中抽取年龄、 性别、 所看图片编号、 注视点横坐标、 注视点纵坐标和注视点持续 时间六项特 征， 并加入AS D标签列构成六维特 征集。 6.如权利要求1所述的孤独症早筛眼动仪检测系统， 其特征在于， 所述眼动数据分类模 型用于对经过数据 处理程序第三型处理所得到的n维特征集进行分类； 所述分类结果整合 模型用于对所述三种眼动图像分类模型和所述眼动数据分类模型的结果进 行加权整合， 输 出最后的分类结果； 作为优选， 三种眼动图像分类模型为三种相同或不同的卷积神经网络模型Net1、 Net2 和Net3； 所述Net1针对总体注视密度图进行分类， Net1的结构包括输入层、 2d卷积层、 最大池化 层、 两层Droupout层dp1,dp2、 Flatten层、 两层全连接层ds1,ds2以及输出层； 所述input层 的输入数据维数为128 ×128×1； 所述2d卷积层采用Relu作为激活函数， 卷积核大小为2 × 2， 步长为2； 所述最大池化层池化窗口大小为2 ×2； 所述dp1,dp2层 对神经元进行随机筛除； dp1,dp2层的droupout概率均设为0.2； 所述Flatten层用于将输入数据进行一维化， 用作从 卷积层到全连接层的一个过渡； 所述全连接层ds1采用Relu非线性激活函数， 输出神经元个 数为64； 所述全连接层ds2采用softmax激活函数， 输出神经 元个数为1； 作为优选， 所述Net2、 Net3分别针对个体注视密度图和眼动 轨迹图进行分类， 输入层的 输入数据维数为128 ×128×1+1； 眼动数据分类模型为逻辑回归模型， 惩罚项采用L2正则 化， 所用惩罚系数为1e3； 分类结果整合模型为采用高斯核函数的非线性SVM模型。 7.一种应用如权利要求1～6任意一项所述的孤独症早筛眼动仪检测系统的孤独症早 筛眼动仪检测方法， 其特 征在于， 所述孤独症早筛眼动仪检测方法包括以下步骤： 步骤一， 通过被试者容易接受 的方式， 获取被试者观看不同刺激范式时的眼动数据， 得 到作为机器学习模型训练的样本； 步骤二， 通过机器学习实现孤独症儿童视觉模式特征的自动提取， 最终完成孤独症的 筛查； 步骤三， 对体现孤独症儿童与普通儿童异质性的眼动数据进行收集， 并基于机器学习权　利　要　求　书 2/3 页 3 CN 115530830 A 3