网易首页 > 网易数码 > 正文

谷歌DeepMind借神经网络构建原始音频算法合成人工语音

0
分享至

(原标题:谷歌DeepMind借神经网络构建原始音频算法合成人工语音)

摘要:据外媒报道,目前谷歌旗下人工智能部门DeepMind已经研发了一项新的技术WaveNet,借助于深度神经网络让人工智能模仿人类的声音说话,它能直 接合成原始音波模型,而非采用预录制的人类声音,听起来十分自然。设想在未来,人工智能同人类进行自然且互相理解的发声和对话将真正成为现实。尽管近几年,语音识别和个人 数字助理技术飞速发展,不过Siri、Cortana等数字助手的语音仍需要借助预录制的人声,且有时能够明显听出冰冷和机械化的发音。

DeepMind的新AI自然语音技术有所不同,DeepMind的天才工程师们通过深度神经网络构建了一个算法模型,让AI自己合成出声音进行语音对话,同时能够理解英语和中文(普通话)的不同表达时序,并且实时做出语音回馈。令人惊喜的是这项新技术的表现超出了现代最尖端的人工文本-语音系统。目前Google采用的两种最优文本-语音模型Parameric TTS与Concatenative TTS。这就需要使用到超大型的记录说话者的语音片段的数据库,然后将这些语音片段重新组合成完整的话语。

算法模型

上方动画所示为一个WaveNet模型的内部结构,通常是一种完整的卷积神经网络,卷积层中有各种各样的扩张因子,允许其接受域深度成倍增长,并且覆盖数千个时间步长。

在训练时,输入序列是从人类说话者记录得来的真实波形。在训练之后,DeepMind可以对网络取样,以生成合成话语。在取样的每一个步骤中,将从由网络计算得出的概率分布中抽取数值。所抽取的数值随后被反馈到输入信息中,这样便完成下一步新预测。这样的取样方法对于生成复杂且听起来真实的音频是至关重要的。

为了实现运用WaveNet将文本转化为语音,必须先告诉WaveNet文本的内容是什么。我们通过将文本转换成语言和语音特征(包括音位、音节、单词等),把转换得来的特征提供给WaveNet,完成这一过程。这意味着网络的预测步骤不仅仅基于先前获得的音频样本,而且要基于文本所传达的内容。

如果我们想要脱离文本序列来训练网络,网络依然能够生成语音,但是得自行编造想要传达的内容。这种条件下生成的音频简直是胡言乱语,有意义的单词被编造的像单词的声音隔断开。

WaveNet通过直接为音频信号的原始波形建模,一次为一种音频样本建模,来改变这种范式。同生成听起来更为自然的语音相同,使用原始波形意味着WaveNet能够为任意类型的音频建模,包括音乐。

以下是parametric方法生成的语音片段

以下是concatenative模型生成 的语音片段

以下是WaveNet生成的一些声音片段,明显更加自然:

相关推荐
热点推荐
辟谣杜锋!辽宁大V曝周琦缺席内幕:他已经提出离队申请

辟谣杜锋!辽宁大V曝周琦缺席内幕:他已经提出离队申请

狼叔评论
2024-05-10 21:48:13
18国强援就位!美菲军队突破中国红线,黄岩岛附近爆发激烈冲突

18国强援就位!美菲军队突破中国红线,黄岩岛附近爆发激烈冲突

全民历史观
2024-05-10 09:26:07
50亿私募跑路?上海办公处人去楼空,产品目前均已无法赎回!经侦人员已抵达现场!

50亿私募跑路?上海办公处人去楼空,产品目前均已无法赎回!经侦人员已抵达现场!

第一财经资讯
2024-05-10 14:41:22
沙特大满贯赛最新消息,世界第一惨败出局,陈梦夺得首个冠军

沙特大满贯赛最新消息,世界第一惨败出局,陈梦夺得首个冠军

刘哥谈体育
2024-05-11 02:25:41
浙江男子离家300公里,每个月回来六七趟,看到他妻子,网友秒懂

浙江男子离家300公里,每个月回来六七趟,看到他妻子,网友秒懂

情感舍论汇
2024-05-08 23:30:47
高亚麟是迄今为止最淡定的塌房人!挂热搜一天了,本人还一声不吭

高亚麟是迄今为止最淡定的塌房人!挂热搜一天了,本人还一声不吭

小娱乐悠悠
2024-05-09 13:17:30
记者扮男客潜入采耳店,偷拍服务全过程:女技师、柔式按摩别有洞天

记者扮男客潜入采耳店,偷拍服务全过程:女技师、柔式按摩别有洞天

古今档案
2024-05-07 13:04:58
徐梓钧旧照流出,北电校花名不副实,整容成功,与高亚麟双双沉默

徐梓钧旧照流出,北电校花名不副实,整容成功,与高亚麟双双沉默

非常先生看娱乐
2024-05-10 00:01:27
不肯退彩礼后续:女子被强制执行,房间搜出奢侈品,委屈称已睡过

不肯退彩礼后续:女子被强制执行,房间搜出奢侈品,委屈称已睡过

子芫伴你成长
2024-05-09 22:35:56
齐娇爆出大瓜!

齐娇爆出大瓜!

悠丫在路上
2024-05-11 07:04:46
母亲拾荒培养出985儿子,婚礼仪式岳父听到母亲名字,竟当场下跪

母亲拾荒培养出985儿子,婚礼仪式岳父听到母亲名字,竟当场下跪

纸鸢奇谭
2024-05-08 08:51:32
价值一亿的金茶花在银行莫名失踪了?我找到了

价值一亿的金茶花在银行莫名失踪了?我找到了

大猫财经Pro
2024-05-10 18:01:56
俄国阅兵,俄粉兴奋?为俄罗斯摇旗呐喊的俄粉,是真爱国还是真贱?(一)

俄国阅兵,俄粉兴奋?为俄罗斯摇旗呐喊的俄粉,是真爱国还是真贱?(一)

静夜史君
2024-05-10 06:44:14
越南盾跌疯了

越南盾跌疯了

证券时报
2024-05-10 17:35:06
徐梓钧发文回应高亚麟,称二人并无不正当关系,要求对方公开道歉

徐梓钧发文回应高亚麟,称二人并无不正当关系,要求对方公开道歉

前创工作室
2024-05-10 17:36:50
老戏骨人设崩塌!高亚麟把北影校花当鸡睡,喜欢家暴后“来一发”

老戏骨人设崩塌!高亚麟把北影校花当鸡睡,喜欢家暴后“来一发”

娱乐哈哈酱
2024-05-08 13:57:45
周琦不打G5战坑惨辽宁?杨鸣最不愿看到一幕:这样夺冠又是水冠?

周琦不打G5战坑惨辽宁?杨鸣最不愿看到一幕:这样夺冠又是水冠?

篮球快餐车
2024-05-11 00:21:48
太猛!5万俄罗斯大军将进攻哈尔科夫地区 海妖:恭候大驾

太猛!5万俄罗斯大军将进攻哈尔科夫地区 海妖:恭候大驾

三界见闻
2024-05-10 12:52:57
台湾最大“邦交”坚定支持台湾地区,但却越混越差,经济千疮百孔

台湾最大“邦交”坚定支持台湾地区,但却越混越差,经济千疮百孔

吕璐观世界
2024-05-10 15:40:18
消费者提问“猫眼”:“我错过了张学友演唱会, 你凭啥白赚1584元?”

消费者提问“猫眼”:“我错过了张学友演唱会, 你凭啥白赚1584元?”

都市热报
2024-05-09 10:52:37
2024-05-11 10:18:44

头条要闻

价值13万自行车被碰倒 车主与对方协商不成走诉讼程序

头条要闻

价值13万自行车被碰倒 车主与对方协商不成走诉讼程序

体育要闻

姆巴佩离队 巴黎"四亿妄为"时代结束

娱乐要闻

高亚麟终于回复!称女方爆料毁掉自己

财经要闻

北大徐高:我担心未来几年房价会大涨

科技要闻

特斯拉“裁上瘾”:上海设计团队恐解散

汽车要闻

限时4.59万 续航200公里 吉利熊猫卡丁正式上市

态度原创

游戏
教育
时尚
本地
军事航空

我大概,一辈子都忘不了明日方舟了

教育要闻

缺乏父爱的男孩子会留下太多的性格缺陷(上)

圈粉无数的中年穿搭,没想到竟然有这么多“共同点”,好时髦

本地新闻

茶和天下 · 诗韵雅集

军事要闻

以色列官员:停火谈判破裂 以军将继续在拉法发动进攻

无障碍浏览 进入关怀版
×