清华大学团队研发出新颖唇语解读系统
来源：光明日报 浏览：157次 时间：2022-03-26
zhao.city
来源：光明日报
原标题：清华大学团队研发出新颖唇语解读系统
本报北京3月25日电（记者邓晖）人说话时嘴唇动作跟语音同步，可以通过识别唇动来进行语言交流。对于声带、喉舌损伤的失声人群，唇语是一种不占用双手的、日常无障碍交流的有效方式。但唇语对讲话者友好，对解读唇语的听众来说却并不轻松。为降低唇语解读难度，现有技术手段常采用磁场、视觉图像、超声波等方法。以最流行的非接触式视觉图像方法为例，尽管其唇语识别准确率较高，但依然容易受到面部角度、光强、头动和遮挡等因素的干扰。特别是在新冠肺炎疫情期间，佩戴口罩给基于视觉的唇动解读带来全新挑战。通过直接捕捉面部肌肉细微动作解读唇语技术具有重要的科学研究价值与广阔的应用前景。
近日，清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队合作，研发出了一种新颖的唇语解读系统。相关研究成果在线发表在《自然·通讯》期刊上。
该系统包含低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模型。传感器将唇部肌肉运动产生的电信号传输到解码系统，翻译成可沟通的语言。该研究测试分析了传感器的机械与电气性能，采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征。通过比较同步采集的唇动和声音信号，证明了无论是否发声，嘴唇运动信号都具有一致性。进一步分析了语速与唇动模式等不同参数对信号特征的影响规律。提出了一种基于原型学习的空洞循环神经网络模型，用于唇动信号的识别，在20个分类（100样本/类）情况下，测试准确率达到94.5%。
值得注意的是，上述自供电传感器由柔性聚合物薄膜与柔性电极组成，可提高人体佩戴的舒适性。研究团队利用该系统进行了多种场景应用展示，如解锁大门的身份识别、移动模型车的方向控制、唇动/语音的实时转换等，展示了该系统在唇动识别领域的可行性和应用潜力。
面向失声人群日常无障碍沟通需求，该工作为特殊场景下唇语翻译应用开拓了创新的研究方向。此外，该工作在机器人控制、个人身份验证、人机界面、残疾辅助、无声语音、情报、反恐任务实施、康复、生物医学工程和虚拟现实等诸多领域中都具有较大的潜在应用价值。
团队相关负责人表示，尽管该工作已展示了该技术的有效性和应用前景，但仍然面临系统可靠性、稳定性等问题。研究团队相信，随着研究的深入，该技术有望切实为失声人群服务，提供无障碍语言交流的科技手段。
原标题：清华大学团队研发出新颖唇语解读系统
本报北京3月25日电（记者邓晖）人说话时嘴唇动作跟语音同步，可以通过识别唇动来进行语言交流。对于声带、喉舌损伤的失声人群，唇语是一种不占用双手的、日常无障碍交流的有效方式。但唇语对讲话者友好，对解读唇语的听众来说却并不轻松。为降低唇语解读难度，现有技术手段常采用磁场、视觉图像、超声波等方法。以最流行的非接触式视觉图像方法为例，尽管其唇语识别准确率较高，但依然容易受到面部角度、光强、头动和遮挡等因素的干扰。特别是在新冠肺炎疫情期间，佩戴口罩给基于视觉的唇动解读带来全新挑战。通过直接捕捉面部肌肉细微动作解读唇语技术具有重要的科学研究价值与广阔的应用前景。
近日，清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队合作，研发出了一种新颖的唇语解读系统。相关研究成果在线发表在《自然·通讯》期刊上。
该系统包含低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模型。传感器将唇部肌肉运动产生的电信号传输到解码系统，翻译成可沟通的语言。该研究测试分析了传感器的机械与电气性能，采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征。通过比较同步采集的唇动和声音信号，证明了无论是否发声，嘴唇运动信号都具有一致性。进一步分析了语速与唇动模式等不同参数对信号特征的影响规律。提出了一种基于原型学习的空洞循环神经网络模型，用于唇动信号的识别，在20个分类（100样本/类）情况下，测试准确率达到94.5%。
值得注意的是，上述自供电传感器由柔性聚合物薄膜与柔性电极组成，可提高人体佩戴的舒适性。研究团队利用该系统进行了多种场景应用展示，如解锁大门的身份识别、移动模型车的方向控制、唇动/语音的实时转换等，展示了该系统在唇动识别领域的可行性和应用潜力。
面向失声人群日常无障碍沟通需求，该工作为特殊场景下唇语翻译应用开拓了创新的研究方向。此外，该工作在机器人控制、个人身份验证、人机界面、残疾辅助、无声语音、情报、反恐任务实施、康复、生物医学工程和虚拟现实等诸多领域中都具有较大的潜在应用价值。
团队相关负责人表示，尽管该工作已展示了该技术的有效性和应用前景，但仍然面临系统可靠性、稳定性等问题。研究团队相信，随着研究的深入，该技术有望切实为失声人群服务，提供无障碍语言交流的科技手段。
- 上一篇： 信用信息共享助力缓解融资难
- 下一篇： 我科学家获多年生野生大豆高精度基因组图谱
最新资讯发布时间
- 2024-03-04普通家庭怀孕到一岁的花费 得需5万出头
- 2024-03-04微观两会 建议全面取消基层医疗门诊报销起付线
- 2024-03-041天内9家车企宣布降价
- 2024-03-04全国人大代表 建议把课间十分钟还给学生
- 2024-02-29长期负债的人现在怎么样了 你有负债吗？
- 2024-02-294种食物是升糖大户尽量少吃 控制血糖是一场持久战
- 2024-02-29当老师是县城女孩最好的出路吗
- 2024-02-29李亚鹏全网悬赏直播哭穷视频...
- 2024-02-28富贵包是不是夺命包#真相到底是什么？
- 2024-02-28艾滋病主要传播途径 故意传播艾滋是犯罪
热门资讯发布时间
- 2021-12-27希壤app官方版下载vr.baidu.com/...
- 2021-10-26房产遗产税的实施条件？
- 2021-10-26房产遗产税的征收方法？
- 2021-10-26放弃遗产公证需要什么材料？
- 2021-10-26有多个继承人股权怎么继承？
- 2021-10-26公司股份怎样进行继承？
- 2021-10-26合伙人资格可以继承吗
- 2021-10-26放弃继承权声明书公证如何办理？
- 2021-09-28非婚生子女对生父母的遗产有继承权吗？
- 2021-09-28继子是否有继承权？