您好,欢迎来到济南中科泛在智能计算研究院官网!

情——认知空间、智能手语交互


人民群众的身心健康是国家发展的基石。济南中科泛在智能计算研究院(以下简称“研究院”)坚持“以人为本”的发展理念,面向儿童认知健康等领域,围绕国家在人工智能领域和面向人民生命健康的战略布局,发展“医学+人工智能+诊断”的医疗体系,为儿童认知能力提升打造智慧方案。同时,研究院还针对我国听障群体数量庞大、听障人士生活便利性较低的现状,研究开发国家通用手语虚拟人合成系统,从人工智能源头技术切实改善听障群体生活质量,助力听障群体与社会全方位拥抱。

1.jpg

成果展示:

l  认知空间:

1、儿童认知能力训练系统

2.jpg

该系统为儿童认知发育智慧训练室,主要由触屏一体机、交互设备套件及可穿戴设备套件组成。基于智能感知、人机交互及人工智能技术实现了针对儿童认知能力的智能化训练系统,使用科学设计的严肃游戏作为训练任务,结合心理测评结果和运动感知数据实现训练方案的智能推荐。


2、面向脑瘫患者肢体康复的可穿戴交互训练系统

3.jpg

面向脑瘫患者肢体康复的可穿戴交互训练系统是基于可穿戴设备、交互套件、严肃游戏来实现脑瘫患者的肢体康复训练的系统,通过可穿戴设备构建脑瘫患者的肢体运动模型,并且基于其运动情况评估推荐个性化的训练方案,在康复训练中监测肢体训练的全过程,对训练效果评估,并据此不断更新训练任务,从而实现数据驱动的针对性训练,提高训练效率。


3、面向ADHD的可穿戴辅助诊断系统

4.jpg

面向ADHD的可穿戴辅助诊断系统使用科学设计的严肃游戏作为场景化任务,采集用户身上佩戴的可穿戴设备数据及交互结果,结合人工智能评估模型,实现ADHD(注意缺陷多动障碍)的辅助诊断。产品交叉融合医学、心理学、计算机等多学科知识,设计的辅助诊断场景实现了DSM-5量表全覆盖,有效地提高了诊断效率


4、基于VR的儿童自闭症干预系统

5.jpg

基于VR的儿童自闭症干预系统充分利用虚拟现实渲染技术和大数据分析技术,通过逼真的三维视觉、听觉等身临其境的感受,激发 ASD 患者的想象力和参与意愿, 让他们在虚拟场景中主动进行探索和体验,不断地练习掌握正确的社交技巧和回应方式进而建立起与他人维持关系的信心,为患者提供一个对绝大部分 ASD 患者都适用的练习动态的、逼真的沉浸式的社交场景的平台,实现治疗和康复广场恐惧症、恐慌症、社交焦虑症、抑郁症,人格障碍和精神分裂症等疾病的目标。


5、儿童青少年心理健康数据湖平台

6.jpg7.jpg

研究院以心理大数据与智能算法为依托,搭建起服务儿童青少年的智慧心理健康综合大数据平台——儿童青少年心理健康数据湖平台。该平台通过对数据进行采集、存储、挖掘、分析,对儿童、青少年群体的心理健康状况进行实时监测与评估,平台机制涵盖心理服务全链条、符合心理学客观规律、具备丰富延展性能,为青少年儿童的心理健康保驾护航。 


6、智能自信心提升训练系统

8.jpg


本系统是基于“喊叫疗法”和“人机交互”开发的以“呐喊”、“正能量”、“放松”为主题的新型智能化、沉浸式自信心提升训练系统。系统内置呐喊宣泄模块、听读正能量故事、音乐放松模块,儿童在使用各模块功能的同时监测脑波数据变化,实时把握儿童大脑活动趋势,结合智能引导和正向激励,提高情绪管理能力,进而帮助其建立自信、找回自我。


7、虚拟人在线干预系统

 10.jpg

基于虚拟人合成技术实现的可交互虚拟人系统。该系统通过丰富虚拟人肢体和表情动作以及唇动,利用高识别率的语音识别和合成技术与病患进行实时对话沟通,并记录病患数据,通过大数据分析对病患提供一种线上评估以及相应的干预治疗反馈系统。依据抑郁早期典型症状分类,立足抑郁情绪早期干预的科学研究和专家共识,从认知、情绪和行为三个层面,从评估、个案概念化目标、干预计划、促成改变(行为改变、认知改变、情绪改变)、效果评估、扩大疗效和防止复发等7个环节编制知识图谱,为智能化干预提供知识基础。


8、精细运动训练系统

6.jpg

本系统是基于“精细临摹”,“人机交互”开发的以临摹手写字、简笔画为主题的精细运动训练评估系统。系统能够准确捕获儿童临摹的动作信息,儿童在多次临摹手写字、简笔画的过程中训练了大脑对肢体的精细控制运动能力,同时内置评估算法对儿童的每次临摹结果进行评估,通过多次的临摹结果能够直观看到自身临摹能力的量化提升。该系统已与儿童认知孪生平台打通,儿童的精细运动能力将作为儿童综合能力评估的重要内容。


9、ASD社交能力评估训练系统

8.jpg

孤独症谱系障碍(Autism Spectrum Disorder, ASD)是一种心理状况的谱系障碍,ASD的早期诊断与干预对于社交能力提升至关重要。本系统集成ASD社交行为障碍感知的关键人工智能技术,分别从肢体语言、社交表情、眼神交流、社交距离、语言交流五方面构建感知模型,覆盖《精神疾病诊断与统计手册》(The Diagnostic and Statistical Manual of Mental Disorders, DSM)中社交沟通及社会互动的全部症状。以DSM-5作为指导依据,通过被试者的交互体验数据建立ASD社交能力评估模型,实现被试者的社交能力综合评估。系统以交互式游戏场景驱动被试者参与互动,构建引导式、交互式、全智能的社交能力评估。


l  国家通用手语虚拟人合成系统:

10.jpg

手语交互系统利用虚拟数字人、基于深度神经网络的自然语言处理技术等技术,实现在电视台和手语翻译领域进行虚拟人手语生成播报,为聋人提供虚拟人手语信息服务。该系统主要应用于广电视听领域,通过虚拟人手语手势动画叠加在电视节目中,实现了虚拟人形象的手语主持人的播报功能。该项目在第四届中国·济南新动能国际高层次人才创新创业大赛上海赛区成功获奖。