加州大学圣地亚哥分校的第一项概念验证研究显示,仅通过阅读其大脑活动就可以重新创作鸟类的歌曲。研究人员能够将鸣禽复杂的声音复制到原始的音高、音量和音色。
该研究于 6 月 16 日发表在Current Biology 上,为为失去说话能力的人构建声乐假肢奠定了基础。
加州大学圣地亚哥分校心理学和神经生物学教授、资深作者蒂莫西·根特纳 (Timothy Gentner) 说:“通信假肢的当前最先进技术是可植入设备,它允许您生成文本输出,每分钟最多可写 20 个单词。”“现在想象一个声带假体,它使您能够通过语音自然地交流,大声说出您的想法,就像您正在思考的那样。这是我们的最终目标,也是功能恢复的下一个前沿。”
Gentner 及其同事使用的方法涉及斑胸草雀等鸣禽。与人类声乐假体的联系可能并不明显,但事实上,鸣禽的发声在很多方面都与人类的语言相似。它们很复杂,它们是习得的行为。
“在许多人看来,从鸣禽模型到最终将进入人类的系统是一个相当大的进化飞跃,”加州大学圣地亚哥分校电气和计算机工程教授 Vikash Gilja 说,他是该研究的合著者。研究。“但它是一个模型,它为我们提供了一种复杂的行为,而在通常用于神经假体研究的典型灵长类动物模型中,我们无法获得这种行为。”
这项研究是加州大学圣地亚哥分校的工程师和神经科学家之间的交叉合作,Gilja 和 Gentner 实验室共同开发神经记录技术和神经解码策略,以利用两个团队在神经生物学和行为实验方面的专业知识。
该团队将硅电极植入雄性成年斑胸草雀,并在它们唱歌时监测鸟类的神经活动。具体来说,他们记录了大脑感觉运动部分中多个神经元群的电活动,这些神经元最终控制负责唱歌的肌肉。
研究人员将神经记录输入机器学习算法。这个想法是,这些算法将能够根据鸟类的神经活动制作计算机生成的实际斑胸草雀歌曲的副本。但将神经活动模式转化为声音模式并非易事。
“有太多的神经模式和太多的声音模式,无法找到如何将一个信号直接映射到另一个的单一解决方案,”根特纳说。
为了完成这一壮举,该团队使用了鸟类发声模式的简单表示。这些本质上是模拟物理变化——即压力和张力的变化——的数学方程,这些变化发生在雀类唱歌时的发声器官(称为鸣管)中。然后研究人员训练他们的算法将神经活动直接映射到这些表示。
标签: 鸟类
免责声明:本文由用户上传,如有侵权请联系删除!