(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211204582.6 (22)申请日 2022.09.29 (71)申请人 成都新希望金融信息有限公司 地址 610000 四川省成 都市高新区仁和街 39号6栋2层3号 (72)发明人 王小东　朱羽　吕文勇　周智杰　 廖浩　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 唐正瑜 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 20/40(2022.01) (54)发明名称 一种视频的识别方法、 系统、 电子设备以及 存储介质 (57)摘要 本申请实施例提供一种视频的识别方法、 装 置、 电子设备 以及存储介质， 对采集到的视频信 号进行音视频分离， 分别获取音频信号和视频信 号； 其中所述视频信号包括待验证对象； 对所述 音频信号和所述视频信号进行特征提取， 获得所 述音频信号对应的音频特征和所述视频信号对 应的视频特征； 将所述音 频特征和所述视频特征 输入预先训练好的神经网络中， 获得所述神经网 络输出的识别结果； 其中， 所述识别结果用于表 征所述视频信号是否为所述待验证对象在中介 指导下完成。 本技术方案可以实现对于人脸识别 的对象是否在中介指导下完成的情况进行判断。 权利要求书2页 说明书12页 附图3页 CN 115512419 A 2022.12.23 CN 115512419 A 1.一种视频的识别方法， 其特 征在于， 包括： 对采集到的音视频信号进行音视频分离， 分别获取音频信号和视频信号； 其中所述视 频信号包括待验证对象； 对所述音频信号和所述视频信号进行特征提取， 获得所述音频信号对应的音频特征和 所述视频信号对应的视频 特征； 将所述音频特征和所述视频特征输入预先训练好的神经网络 中， 获得所述神经网络输 出的识别结果； 其中， 所述识别结果用于表征所述视频信号是否为所述待验证对 象在中介 指导下完成。 2.根据权利要求1所述的方法， 其特征在于， 所述音频特征包括所述音频信号中说话人 的数量和/或是否包 含第一关键词； 所述视频 特征包括以下至少一项： 拍摄角度特 征、 面部特 征和拍摄场景 特征。 3.根据权利要求2所述的方法， 其特 征在于， 所述对所述音频信号进行 特征提取， 包括： 对所述音频信号进行截取， 获得多个音频段； 将所述多个音频段进行分类， 并根据分类 结果确定所述音频信号中说话人的数量； 和/或， 将所述音频信号中的语音 进行识别并转 化为文本， 并对所述文本进行关键 字识别。 4.根据权利要求2所述的方法， 其特征在于， 所述待验证对象为人脸； 所述对所述视频 信号进行 特征提取包括： 对所述视频信号进行分帧， 获得多帧图像信号； 对所述图像信号进行 特征提取， 获得 所述拍摄角度特 征、 面部特 征和拍摄场景 特征。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述图像信号进行特征提取， 获得 所述拍摄角度特 征， 包括： 对所述图像信号进行人脸角度特征提取， 获得所述图像信号中人脸的俯角、 偏角和滚 角； 根据所述俯角、 所述偏角和所述滚角判断所述人脸是否正对屏幕； 和/或， 对所述图像信号进行拍摄角度识别， 判断所述拍摄角度是否是自拍角度。 6.根据权利要求4所述的方法， 其特征在于， 所述对所述图像信号进行特征提取， 获得 所述面部特征， 包括： 获取所述图像信号中的眼部区域和嘴部区域； 对所述眼部区域进行 特征提取， 判断眼部注意力是否集中于屏幕； 和/或， 对所述嘴部区域进行 特征提取， 判断 嘴部是否在活动； 和/或， 利用微表情识别模型对所述图像信号中的人脸图像进行识别， 以确定所述人脸图像的 微表情是否存在异常。 7.根据权利要求4所述的方法， 其特征在于， 所述对所述图像信号进行特征提取， 获得 拍摄场景 特征， 包括： 获取所述图像信号的人像背景画面； 对所述人像背景画面进行识别， 判断所述人像背景画面是否为室内； 和/或， 对所述人像背景画面进行关键 字识别， 判断背景中是否出现第二关键 字。 8.根据权利要求1 ‑7任一项所述的方法， 其特征在于， 所述将所述音频特征和所述视频 特征输入预 先训练好的神经网络中， 获得 所述神经网络 输出的识别结果， 包括：权　利　要　求　书 1/2 页 2 CN 115512419 A 2为所述音频 特征和所述视频 特征分别生成对应的标签； 根据所述标签生成特征向量， 将所述特征向量输入所述预先训练好的神经网络中， 获 得所述神经网络 输出的识别结果。 9.一种视频识别系统， 其特 征在于， 包括： 信号分离模块， 用于对采集到的音视频信号进行音视频分离， 分别获取音频信号和视 频信号； 其中所述视频信号包括待验证对象； 特征提取模块， 用于对所述音频信号和所述视频信号进行特征提取， 获得所述音频信 号对应的音频 特征和所述视频信号对应的视频 特征； 判断模块， 用于将所述音频特征和所述视频特征输入预先训练好的神经网络中， 获得 所述神经网络输出 的识别结果； 其中， 所述识别结果用于表征所述视频信号是否为所述待 验证对象在中介指导下完成。 10.一种电子设备， 其特 征在于， 包括： 处 理器、 存储器和总线； 所述处理器和所述存 储器通过 所述总线完成相互间的通信； 所述存储器存储有可被所述处理器执行的程序指令， 所述处理器调用所述程序指令能 够执行如权利要求1 ‑8任一项所述的方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机指 令， 所述计算机指令被计算机运行时， 使所述计算机执行如权利要求1 ‑8任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115512419 A 3