当你的声音需要休息时,第一款可穿戴设备用于声音疲劳感知
美国西北大学的研究人员开发了第一台智能可穿戴设备,可以持续跟踪人们使用声音的频率,在声音疲劳和潜在伤害出现之前提醒他们过度使用声音。
这是同类产品中第一个电池供电的无线设备设备伴随的算法可能会改变职业歌手、教师、政治家、呼叫中心工作人员、教练以及任何依靠声音进行有效沟通和谋生的人的游戏规则。它还可以帮助临床医生远程和持续监测患者的声音在整个治疗过程中出现障碍。
由材料科学家、生物医学工程师、歌剧演唱家和语音语言病理学家组成的跨学科团队开发的这项新技术背后的研究将于2月20日当周在《美国医学杂志》上发表美国国家科学院院刊.
这种柔软、灵活、邮票大小的设备舒适地贴在胸部上部,可以感知说话和唱歌时的细微振动。从那里,捕捉到的数据通过蓝牙即时传输到用户的智能手机或平板电脑上,这样他们就可以实时监控他们全天的发声活动,并测量累计的总发声使用量。定制的机器学习算法区分说话和唱歌的区别,使歌手能够单独跟踪每个活动。
通过这款应用,用户可以设置自己的声音阈值。当他们接近这个阈值时,他们的智能手机、智能手表或手腕上的配套设备会提供实时触觉反馈作为警报。然后,他们可以让自己的声音休息一下,以免太过分。
“该设备精确测量说话和唱歌的振幅和频率,”西北大学的约翰·a·罗杰斯(John a . Rogers)说,他是生物电子学先驱,领导了该设备的开发。“这两个参数在决定声带的总体负荷方面是最重要的。在给定的时刻和随着时间的推移,意识到这些参数对于管理健康的发声模式是至关重要的。”
“人们很容易忘记他们用了多少声音,”西北大学的语音专家特蕾莎·布兰卡乔说,她是这项研究的联合负责人。“经验丰富的古典歌手往往更注意自己的声乐使用,因为他们经历过生活和学习。但是有些人——尤其是没有受过多少训练的歌手,或者像教师、政治家和体育教练这样为了工作必须说很多话的人——往往没有意识到他们有多强迫自己说话。我们希望让他们有更多的意识来帮助防止受伤。”
罗杰斯是麦考密克工程学院和西北大学范伯格医学院材料科学与工程、生物医学工程和神经外科的路易斯·辛普森和金伯利·奎雷教授。他也是奎雷·辛普森生物电子学研究所的主任。作为一名杰出的歌剧表演者,女中音,布兰卡乔是西北大学Bienen音乐学院的高级讲师,在那里她教授声乐和声乐教学法。
没有意识到过度使用
对于美国数百万靠说话或唱歌为生的人来说,发声疲劳是一个持续的、迫在眉睫的威胁。这种常见的情况发生在过度使用声带肿胀时,使声音听起来嘶哑且失去耐力。声带疲劳会对歌手产生负面影响,特别是会改变他们唱歌清晰或唱出与健康声音相同音调的能力。在最好的情况下,一个短暂的声乐疲劳可以短暂地中断歌手的计划。在最坏的情况下,它会导致足以破坏职业生涯的损害。
缺乏意识是根本问题。人们很少把发声活动和这些活动如何影响他们的声音联系起来。尽管每13个美国成年人中就有一人经历过声音疲劳,但大多数人直到声音沙哑才意识到自己过度使用声音。
布兰卡乔说:“导致人们陷入麻烦的是当事件堆积起来时。”“他们可能会排练,上课,在课堂讨论中发言,然后去一个嘈杂的派对,在那里他们不得不在背景噪音中大喊大叫。然后,再加上感冒或疾病。人们不知道自己咳嗽或清喉咙有多严重。当这些事情叠加在一起好几天,会给声音带来很大的压力。”
跨学科的联系
作为声音健康的倡导者,布兰卡乔花了几十年时间探索各种方法,让她的学生注意到他们使用声音的程度。2009年,她要求她的学生做一份纸上预算——每次说话、唱歌、喝水等都要写下来。大约10年后,她将这个系统转变为Singer Savvy,这是一款为每个用户提供个性化声乐预算的应用程序,并帮助用户控制在预算之内。
另外,罗杰斯与雪莉·瑞安能力实验室的研究人员合作,开发了一种无线可穿戴设备,用于跟踪中风患者的吞咽和语言能力。这种类似绷带的传感器测量吞咽能力和语言模式,以监测中风患者的恢复过程。在COVID-19大流行的前几周,罗杰斯的团队改进了该技术,以监测咳嗽,这是该疾病的一个关键症状。
Brancaccio说:“我想收集更多的数据,让我们的跟踪系统更精确、更准确。”“所以,我联系了约翰,看看他的传感器能否帮助我们收集更多信息。”
罗杰斯说:“我认为这对我们来说是一个很好的机会,可以将我们的技术从非常重要的、但针对性很窄的医疗保健用途扩展到可能吸引更广泛用户的领域。”“任何经常使用自己声音的人都会受益。”
他们还与语言病理学家和语音专家亚伦·m·约翰逊(Aaron M. Johnson)合作,探索如何使用这些设备来评估和监测语音障碍患者的治疗。约翰逊是纽约大学朗格尼语音中心的联合主任,他说这种小型无线设备可以帮助跟踪患者在现实世界中的声音,而不是在临床环境中。
“语音疗法的一个关键部分是帮助人们改变他们使用声音的方式和程度,”该研究的合著者、纽约大学格罗斯曼医学院耳鼻喉科副教授约翰逊说。“这种设备将使患者和他们的临床医生了解声音的使用模式,并对声音需求进行调整,以减少声音疲劳,加速从声音障碍中恢复。将治疗过程中的声乐技巧和练习推广到日常生活中是语音治疗中最具挑战性的方面之一,而这种设备可以极大地提高这一过程。”
Singer-trained算法
研究小组修改了罗杰斯现有的设备,以精确测量声音负荷。这包括频率、音量、振幅、持续时间和一天中的时间。就像罗杰斯之前为COVID-19和中风患者设计的设备一样,新设备也能感知振动,而不是记录音频。这使得该设备能够精确地检测用户的声音活动,而不是周围的环境噪音。
最大的挑战是开发出能够区分说话和唱歌的算法。为了克服这一挑战,Brancaccio招募了声乐和歌剧专业的学生,让他们进行各种唱歌练习,以训练机器学习算法。一组有着不同音域(从低音到女高音)的古典歌手戴着这种设备哼唱、唱断奏音阶和歌曲、阅读等等。每个歌手生成2500个一秒长的唱歌窗口和2500个一秒长的说话窗口。
由此产生的算法可以将唱歌和说话区分开来,准确率超过95%。而且,当在唱诗班使用时,该设备只捕捉佩戴者的数据,而不会捕捉附近歌手的噪音。
布兰卡乔说:“对于那些正在接受专业歌手培训的人来说,长时间的讲话是最令人疲劳的活动之一。”“通过把唱和说分开,可以帮助人们更好地意识到自己说了多少话。有证据表明,即使是在一天中穿插15到20分钟的完全沉默,也能帮助声带组织恢复和修复。”
如何使用
要使用该设备,佩戴者只需将其固定在颈部以下的胸骨上,并将设备与配套的应用程序同步。罗杰斯的团队目前正在研究一种方法,为每个用户个性化语音预算。在这里,如果用户在一天中的任何时候感到声音不适,他们都可以按下应用程序中的一个按钮,有效地捕捉当时的瞬时和累积声音负荷。这些数据可以作为语音疲劳的个性化阈值。当用户接近或超过他们的个性化阈值时,触觉设备将振动作为警报。
这种触觉设备的大小和形式与手表相似,包括多个马达,可以以不同的模式和不同的强度激活,以传递不同的信息。用户还可以监控应用程序内的图形显示,它将信息分为说话和唱歌两类。
“它使用蓝牙,所以它可以与任何嵌入触觉马达的设备通话,”罗杰斯说。“所以,你不必使用我们的腕带。你可以用一块标准的智能手表触觉反馈."
虽然也有其他声音监测设备,但它们都使用大项圈、系绳和笨重的设备。有些人还使用嵌入式麦克风来捕捉声音数据,导致隐私问题。
Brancaccio说:“在真实环境中,这种方法并不适用于持续监测。”“我不用戴笨重的有线设备,而是可以戴上这个柔软的可穿戴设备。一旦开机,我都不会注意到。它超轻、超简单。”
接下来是什么
由于罗杰斯之前的设备可以捕捉体温、心率和呼吸活动,研究人员将这些功能包含在声音监测设备中。他们相信这些额外的数据将有助于探索有关声音疲劳的基本研究问题。
罗杰斯说:“这更像是一种推测,但看看体育活动如何影响声带疲劳可能会很有趣。”“如果有人边唱边跳,是不是压力更大声带与那些不努力锻炼身体的人相比?这些都是我们可以提出并定量回答的问题。”
与此同时,Brancaccio对她的学生拥有一种可以帮助防止受伤的工具感到兴奋。她希望其他人,包括非歌手,都能看到保持声带健康的好处。
“不管你是不是歌手,你的声音都是你身份的一部分,”她说。“它是日常生活中不可或缺的一部分,值得保护。”
这项名为“皮肤接口无线设备的闭环网络,用于量化声音疲劳并提供用户反馈”的研究得到了西北大学Querrey Simpson生物电子学研究所的支持。
更多信息:Jeong, Hyoyoung等人,皮肤接口无线设备的闭环网络,用于量化声音疲劳并提供用户反馈,美国国家科学院院刊(2023)。DOI: 10.1073 / pnas.2219394120