阿里云视频云实时字幕技术，热力支持英雄联盟S10
作为电竞顶流的《英雄联盟》S10全球总决赛，自9月开幕以来，目前已经进入最激烈的环节，SN，TES，G2，DWG四支战队凭借强悍的实力，已杀出重围，闯入四强。赛事期间，电竞全民聚焦在游戏直播平台，线上持续观战之时，很多观者有一项特殊发现，即游戏直播中竟出现了实时语音字幕，这让电竞主流之外的吃瓜之众也能迅速融入到大赛氛围中，感受S10的鼎沸热潮。
准确而言，这是由阿里云视频云技术团队与达摩院语音识别和NLP团队共同研发完成，以实时语音字幕的形式展现在S10赛事中，并应用于国内某知名游戏直播平台。
更确切的说，针对这项游戏直播场景的实时字幕技术，阿里云视频云是第一个成功推出的先行者，据了解，即使在世界范围内，也几乎是实时字幕技术于游戏场景成功尝试的首例。故，这也是首次应用在英雄联盟S10顶级赛事中，开创了游戏直播体验的先河。
在S10直播中，该实时字幕技术的场景重要性在于两点：第一，对一直存在的直播体验问题进行彻底改善，延伸了场景的可能性，例如针对不能直接听赛事的、或吵闹环境导致听不清楚的、或解说人的语言不标准造成理解困难、以及听力有点困难的这几类人群，他们可以通过实时字幕来辅助理解，解决歧义，从而拓展了在线观看的人群。第二，实时字幕可以让视频分发更专业，提升直播平台对场景生产能力的专业性，特别是针对一些电竞的专有术语，可以让入门级的用户能理解其字，由字生义，由义明字，从而提升游戏直播的体验感，引导更多的泛电竞受众。
带有实时语音字幕的某平台S10直播
在游戏直播领域，该技术的输出核心在于，针对特定游戏场景进行特定的语音识别，并实时展示在直播流中，让分发端的观众可以借助字、音、画多维度信息理解视频内容。对于未来的游戏直播行业，它开创了游戏赛事直播的新玩法尝试，让直播实时语音识别的技术帮助大型赛事游戏更好的分发，对整个行业具有更多维的延展性价值。
在该项目的技术方案实践中，最核心的研发环节与攻克难点在于两方面：1.语音识别的准确率；2.字、音、画三者实时且同步，然后合成展示。在这两方面，视频云与达摩院整体协同并分别攻克。达摩院主要解决语音识别的准确率，通过特定游戏场景来训练模型，提高准确率；阿里云视频云提供全链路解决方案，进行客户直播流的接入、直播流的语音分离、调用达摩院的语音识别获取字幕、然后字音画同步、合成展示，最后分发。
对于实时字幕技术，阿里云视频云团队已早有积累，起初，视频云实现的是实时插入字幕的功能，后来才逐步实现语音实时字幕，其与实时插入字幕有一个本质区别，即，实时语音字幕是一个字幕流，同时有一定的时效性，需要实时、字音画同步，且展示的时长机制不一样。
早在游戏直播场景的研发之前，阿里云视频云就曾成功研发全球速卖通（AliExpress）海外电商直播实时字幕项目，AliExpress作为“国际版淘宝”的跨境电商平台，其使用的是阿里云视频云的导播台做实时语音字幕和实时翻译，进行多国多语种字幕展示，也是视频云与达摩院共同打造的世界上第一个多语言电商直播实时翻译系统。
在该AliExpress项目上，团队已经积累了对视频云导播台实时语音字幕的各种功能与稳定性的把控力。“所以这次S10赛事支持，我们仅需要后端更新游戏场景的语音识别模型即可，不需要额外投入开发。仅和平台用户对接，让用户的流接入我们导播台，开通实时语音字幕即可，然后输出给用户。”阿里云视频云该项目的技术负责人表示。
精确地说，当前，S10赛事的实时字幕技术，运用了阿里云视频云导播台的成熟的实时语音字幕方案来提供该功能，S10支持结束后，后续更多的游戏直播场景均可以更广泛地复用这套语音字幕的直播方案，包括优酷、B站、抖音、快手这样的视频平台。
未来在大型电竞赛事直播上，阿里云视频云对实时字幕技术、实时语音技术领域，还有新的技术空间思考：1、需要进一步提升语音识别的准确率；2、在应用情景上还可做实时翻译，确保多国分发；3、实现更低的延时，目前是RTMP延迟[3-5s]，实际上可以做到更优质的RTS延迟[1-2s]，从而极大提升在线体验。
相较游戏直播、电商直播、或其他直播场景的实时语音字幕，在技术逻辑的本质上是一致的，均是字幕的同步、合成和展示，但是，不同场景，语音识别的模型完全不同，比如电商有电商的专业术语，游戏有游戏的专业术语，同时还有一些领域俚语，所以，需要进行特定的语音识别模型训练以完成。未来，对实时字幕【支持实时语音字幕的直播】技术的研发，阿里云视频云还有进一步的技术升级规划方向：一方面，让用户的接入更灵活，字幕模型配置以及字幕的样式展示更方便；另一方面，支持更多的特定场景，提高特定场景的语音识别率，以此复用到更多具化场景的玩法尝试中。
总之，期待其后的英雄联盟S10决赛之巅。也许，通过实时字幕技术，更多的圈外人能轻松getS10赛事解说人准确无误的描述，从而一起融入热血的电竞文化。更期待阿里云视频云对更多场景、更多维度的技术探索，真正推动新内容与新交互的未来。
相关文章
-
快手录视频怎么加字幕说话？如何拍摄视频？
在快手，大家都需要发布视频，往自己的帐号里面发视频才可以，而现在大多数的视频都是需要加字幕的，不然很多小伙伴们都是听不懂的，快手录视频怎么加字幕说话?一、快手录视频怎么加字幕说话?拍摄好要发布的视频，然后进入编辑页面，在右侧功能键中找到“文字”按钮打开文字设置界面，然后点击“字幕”按钮打开字幕设置界面点击“+自动识别字幕”，然后快手就会自动识别语音识别完毕后，视频画面中就会自动添加字幕，并且字幕出
2024-03-22 20:03 -
b站自媒体怎么赚钱？靠什么赚钱？
如今的自媒体有很多小伙伴们都会试着去做，那么大家做自媒体的时候可以选择一下相关的平台，有一些平台确确实实是比较容易做起来的，b站自媒体怎么赚钱?一、b站自媒体怎么赚钱?1、发布视频首先要知道播放量是有收益的，前提是在开启创作激励计划之后，大概每一万播放量是20元2、直播收入直播也是B站UP主收入的一部分，观众刷的礼物平台是抽取50%，剩下50%就是UP主的了3、“充电”“点赞”“投币”“收藏”拿其
2024-03-22 17:03 -
自媒体视频剪辑技巧方法是什么？如何剪辑？
大家在做短视频自媒体的时候，一定要注意自媒体的视频是需要好好拍摄，并且去剪辑的，剪辑的时候确实非常重要，剪辑得好的话是视频呈现出来的效果都不一样，自媒体视频剪辑技巧方法是什么?自媒体视频剪辑技巧方法是什么?1、镜像翻转：这个技巧可以加强短视频做的观感和体验感，使用镜像让画面回到正常状态(有字幕的视频素材字幕也会被翻转)2、转场特效：过度两段视频素材片段，让视频过度更加自然3、画中画：在同一画面中添
2024-03-22 16:36 -
“国内视频网站，你就会瞎买版权！”
原标题：“A站，你就会瞎买版权!”文/指北BB组来源：互联网指北(ID:hlwzhibei)如果说要评选2019年度最有黑马成色的动漫作品，《瑞克和莫蒂》(RickandMorty)显然会是一个高频出现的答案，甚至没有之一。,与此同时，这个作品也在更加完善的内容生态下推动周边开发。,再往前推，Rick变身的“黄瓜人”暴力又血腥，但他显然做得不仅仅只有打打杀杀。
2024-03-22 09:09 -
人人“复活”，但字幕组的黄金时代已成过往？
文/张娜编辑/江宇琦来源：毒眸(ID:youhaoxifilm)3月3日，下架61天的人人视频终于在各大应用商店恢复上架了。,在这样的背景下，部分剧迷相聚网络论坛，讨论分享交流之余，字幕组便也因热爱而生了。,不过有相关律师表示，即使采用这种打擦边球式声明，在司法判决当中，字幕组也很容易被判定造成了侵权。
2024-03-22 08:31 -
淘宝直播轮播条怎么设置？要注意什么？
首先淘宝主播登录自己直播后台，然后点击右侧菜单的“轮播条”;这时能看到相关字幕内容设置，输入希望展现的字幕内容，不宜过多。,直播全程长挂字幕，这样可以保证随时进场的用户知晓当前进行的内容和环节;而且必须保证直播字幕条文字清晰醒目，有必要可以提前在手机端测试呈现效果，文字内容不宜过多。,真诚的内容也许欠好成爆款，但也不简单成流星。
2024-03-22 07:27 -
YouTube 在国际聋人周隔周移除“CC 协作字幕”功能
DoNews9月29日消息（记者刘文轩）为了方便用户观看视频内容，YouTube长期提供“CC协作字幕”功能，可以让观众自愿为影片创作者建立字幕。,然而今年7月，YouTube发布公告称，将取消这一功能，当时已经惹来听障协会的不满，因为这项功能可以帮助听障人群了解视频内容。,在协作字幕功能被移除后，YouTube建议用户使用第三方工具Amara.com，并为曾使用过协作字幕功能的用户提供6个月的订
2024-03-21 21:41 -
怎样自学短视频剪辑与制作 视频剪辑技巧有哪些
想要做好短视频剪辑，从这几点出发吧。,短视频制作流程1.文案构思一条优秀的影视短视频除了与其剪辑技术有关外，还与其文案有着密不可分的联系。,发布以后，最好还要及时回复读者的评论，增强互动效果，从而获得更高的曝光量和播放量。
2024-03-21 18:54 -
新手怎么制作短视频教程（有哪些方式）
就像无论做什么事情，都要先确定一个主题，短视频和写文章也是一样。,有很多新手自媒体人，从一开始就只是随便拍，没有任何明确的主题和实际意义。,同时，快影也是快手用户编辑搞笑笑话、游戏、美食等视频的最佳选择。
2024-03-21 18:54