又被AI骗了！73%的人无法分辨“真假”音效
来源：DeepTech深科技
又一次，AI欺骗了人类。
在一次试验中，AI让73%的人相信AI合成音效是真实的。这一最新研究成果有望应用于电影、电视剧等影视制作工作中。
想象一下，假如你正在看一部恐怖片：女主战战兢兢地走在黑暗的地下室中，背景音乐十分恐怖，同时一些看不见的邪恶生物也在黑暗中蠕动，然后突然一声巨响，一个物体被撞倒了……如果没有这种令人紧张又恰到好处的音效，只通过眼睛看到的场景很难让人产生这种恐惧感。
通常，这些音效是由录音室中的Foley艺术家录制的，他们会使用特定的物体来产生特殊的声音。比如，如果导演想要在视频中加入玻璃破碎的声音，可能需要Foley艺术家打碎很多块玻璃，直到声音与视频片段匹配起来。(DeepTech注：Foley，即拟声音效，用于增强电影的听觉体验，是日常声音效果的再现，后期制作中会添加到电影、视频和其他媒体中，以提高音频质量。这些再现的声音以音效艺术家JackFoley的名字命名，可以是从衣服和脚步声，到吱吱作响的门和碎玻璃的任何声音。)
图|一位早期Foley艺术家(右二)在现场为广播节目添加音效，他手中的效果板可以模拟电话铃响和关门的效果(来源：维基百科)图|一位早期Foley艺术家(右二)在现场为广播节目添加音效，他手中的效果板可以模拟电话铃响和关门的效果(来源：维基百科)
如今，为解决这一问题，来自美国得克萨斯大学圣安东尼奥分校的研究人员创建了一个基于机器学习的自动程序，它可以确定一个视频剪辑中正在发生的动作，并据此创建逼真的音效，而且已经让大多数人相信假的声音效果是真实的。
相关研究成果以论文的形式发表在由IEEE计算机协会、IEEE通信协会等出版的科学期刊《IEEE多媒体汇刊》(IEEETransactionsonMultimedia)上。
(来源：论文)(来源：论文)
对于此项工作，论文通讯作者、得克萨斯大学圣安东尼奥分校教授杰夫·普雷沃斯特(JeffPrevost)表示，“自20世纪30年代以来，在电影和电视剧的后期制作中，通过使用Foley艺术为特定场景添加音效，一直是一个比较复杂的事情。如果没有逼真的Foley音效，电影就会显得空洞、不真实，但是Foley音效合成增加了电影和电视剧的创作周期和成本。”
在普雷沃斯特和他的博士生桑奇塔·高斯(SanchitaGhose)创建的多层机器学习程序中，他们针对包括识别视频中的动作和确定合适的声音这一步，分别创建了两种不同的模型，来检验音效的合成效果。
第一种模型，可以从快速移动的动作剪辑的帧中提取图像特征(比如，颜色和运动)，以确定适当的声音效果;第二种模型，分析一个物体在不同帧中的时间关系，通过使用关系推理来比较不同时间段的不同帧，这一模型可以预测在视频中发生了什么动作。
在最后一步中，通过合成声音来匹配模型预测的活动或运动。目前，他们为1000个电影片段创建了声音，并捕捉了一些常见的动作，比如下雨、奔腾的马和滴答作响的钟表。
图|涉及应用场景(来源：论文)图|涉及应用场景(来源：论文)
结果显示，他们的模型最适合用在时间不需要与视频完全一致的场景(比如，下雨声和火的噼啪声)中，但当视频中包含随时间变化的随机动作(比如，打字、雷暴)时，表现得就不太好。
此外，他们也对当地的57位大学生进行了调查，看他们是否可以分辨出哪些电影片段中包含了原始音效。在评估第一个模型时，73%的学生选择了合成音效作为原始音效，在评估第二个模型时，这一数字为66%。可见，这两个AI模型已经骗过了大多数人。
但是，普雷沃斯特表示，该方法还存在一个明显的不足，必须要求分类的主体出现在整个视频帧序列中，而且依赖于具有有限Foley类别的数据集。
对此，普雷沃斯特认为，这些不足将会在未来的研究中得以解决。
相关文章
-
多多视频优质视频发什么好？视频如何优化？
无论是画面质量还是声音效果，都需要精细处理。,另外，优质视频应该有引人入胜的内容和故事情节。,创作者可以选择一些受众关注度高、内容新颖且具有情感共鸣的主题，以吸引更多观众的关注和分享。
2024-03-13 14:24 -
高品和看见音乐达成合作,共同打造商用音乐服务全链条
15年来,通过北京、上海、广州和成都等分支机构,已为数以万计的客户提供数字内容和文创传播服务,包括企业机构、广告设计、杂志社、出版社、互联网、游戏、电影、电视节目制作等行业领域。,为鼓励创作者使用正版音乐、音效,高品推出了专门面向个人用户的特惠授权价格,音乐素材只需79元/首,音效更是低至39元/条,购买后即可永久使用。,连同现有的过亿正版图片和视频,高品可以为客户提供全面的版权产品授权服务,赋能
2024-03-22 07:00 -
拍摄宣传片策划方案需要注意的地方
它可以通过视觉、声音等多种表现形式向受众传达企业信息和品牌形象。,三、精心策划:宣传片拍摄前，要做好策划准备工作，包括剧本编写、场景设计、演员选择、服装化妆等。,只有各个环节都做好了准备，才能制作出高质量的宣传片，进行推广。
2024-03-21 18:53 -
快手省流量模式有什么用？快手全景音效有必要开吗？
当用户开启省流量模式后，快手会自动对视频进行压缩和优化，以减小数据传输的负担。,用户只需点击应用设置中的“省流量模式”选项，即可启动这个功能。,一旦开启，用户在浏览快手内容时将享受到更高效的数据使用体验。
2024-03-19 11:24 -
短视频如何配音添加字幕？如何操作？
很多网红博主一开始做视频的时候也不是全部都添加字幕的，随着自媒体时代的发展，越来越多人使用短视频，这就促进了短视频的发展，有声音有字幕让人们看的也舒适，那么新手小白却不知道怎么制作，那我们今天就一起来看一下吧。,抖音如何为视频添加配音字幕?第一步是打开剪映app，点击创建图标，选择材料，然后点击添加。,步骤4：文本识别后，点击播放选项成功添加声音和字幕。
2024-03-18 10:40 -
抖音剪辑音乐视频会侵权吗？抖音剪辑技巧有哪些？
3、善用交叉溶解也就是叠画，一般用于表达时间与空间的流逝。,比如像风声、雨声灯光，还有我们人为会发出来的一些声音。,总而言之，各位抖音用户们如果直接去剪辑音乐视频的话，可能会存在着侵权的行为，大家如果要制作视频，一定要到专业的授权素材平台上面去寻找，那样就不会侵权了哦。
2024-03-17 21:38 -
抖音剪辑音乐太长怎么办？剪辑音乐技巧有哪些？
3、确定音乐时长以后，点击右上角的导出就完成了。,3、善用交叉溶解也就是叠画，一般用于表达时间与空间的流逝。,比如像风声、雨声灯光，还有我们人为会发出来的一些声音。
2024-03-17 21:37