第一届淘宝直播商品识别大赛完美落幕，阿里淘系开源比赛数据集
阿里巴巴淘系技术部与北京大学前沿计算研究中心CVDA实验室、英国爱丁堡大学等合作,正式开源业界首个大规模的多模态直播服饰检索数据集(WatchandBuy)以推动视频多模态检索技术的研究。
此前,依托该数据集举办的第一届淘宝直播商品识别大赛完美落幕,近2000支队伍参加了比赛,涌现了一批检索创新技术,有效提升淘宝直播场景中服饰检索的效果,形成了一定的学术和工业影响力。
什么是WatchandBuy?
直播带货是淘宝连接商品和消费者的重要方式,通过对直播视频中商品进行实时识别和推荐,可实现消费者边看边买的消费体验,有效提高商品购买的转化,有非常大的经济价值。通常情况下直播对应的数百款商品之间相似程度高,且直播画面中存在大量的背景干扰、灯光变化、商品遮挡和形变等,给直播画面中商品的匹配识别带来很大的技术挑战。
淘宝直播“边看边买”效果示例,借助PixelAI商品识别算法,可以从该直播的商品库中识别出直播中主播讲解的商品,并在直播中通过商品卡片形式推荐给消费者。
为了提升直播中商品匹配识别的效果,我们依托淘宝直播海量数据,构建了业界最大规模的多模态视频商品检索数据集WatchandBuy(WAB)。该数据集包含70,000个由直播视频片段和对应讲解商品构成的匹配对,具有规模大、标注全、模态多、功能广的特点。我们抽取视频片段若干关键帧和商品的全部商品图进行了实例框级标注,商品id数达82,173个,标注图像数达1,042,178张,检测框实例1,654,780个。框级标注信息丰富多样,包括商品的检测框、类别、视角、展示方式、同款编号等。除了视觉标注,我们还对主播讲解语音进行了人工文本转录,同时提供了商品的标题文本信息。该数据集可用于物体检测的算法、商品重识别算法、主播意图识别、跨模态检索和多模态检索等多种算法的研究。
为什么需要WatchandBuy?
当前开源的服饰检索数据集都存在一些不足,无法满足真实视频场景中服饰实时识别的应用和细致研究。
首先,已有开源数据集均为静态图片的数据集,而真实视频直播场景中还存着运动模糊、遮挡等问题;通过针对视频场景的数据集能够有效对上述问题进行研究和解决。
其次,已有开源数据集的图片多为网上收集,数目少、噪声大且标注维度不全,我们依托淘宝网和淘宝直播的真实业务场景,能够获取大规模、高质量和全面的商品信息。
最后,现有数据集多为单一的图片数据集,我们还提供了主播语音翻译文本、商品图标题文本等多模态的信息,进行多模态商品检索的研究,能够更加贴近真实场景。
我们相信WatchandBuy数据集的这些特性将会持续激发视频多模态检索领域的技术创新研究。
淘宝直播商品识别大赛简介:
为了方便学术界广泛参与,我们将业务问题抽象为视频库和商品库之间的多模态视觉检索问题。在评价指标上,提出了片段级、帧级和检测框级评价标准,全面衡量选手算法效果。
为了保证选手算法既能快速迭代又能有效赋能线上真实业务,我们在初赛、复赛和决赛的赛题中逐步引导选手从技术贴近业务,其中,初赛为万级视频片段的检索问题,复赛则加入了真实场景中存在的商品缺失问题,决赛则是将选手方案部署到真实线上场景,直接评价完整直播视频的算法效果。
大赛由淘系技术部内容社交互动平台和天池竞赛平台共同举办,发布了业界最丰富的7W规模多模态视频检索数据集,用于进行算法模型的训练和效果评测,并且提供了24W的比赛奖金奖励优秀参赛者,考虑到疫情期间高校参赛者的资源困难,额外提供了GPU机器进行模型在线训练,最终吸引到1945支队伍参赛。选手来源中,30%的队伍来自高校,26%来自公司,个人参赛有6%。选手学历分布为,40%的选手拥有硕士学历,24%的选手为本科,博士选手占6%。最终,来自中科院计算所和吉林大学的逐星团队以超越Baseline方案20%的成绩夺得本次比赛的冠军,另外多位来自高校的参赛同学表示已经在数据集上进行算法研究,并保持于主办方密切联系。淘系技术的算法同学对优秀方案吸纳并补充到淘宝直播线上场景中,实现更好服务于淘宝直播商品识别业务。
相关文章
-
2021京东直播产业带基地政策
京东直播产业带基地是基于地方特色产业为基础，京东店铺为载体，京东直播为营销渠道的商家聚集地，通过基地的集中运营及管理，实现对商家及产业的定向扶持，打造京东直播特色商品池，从而将更多源头好货上行面向消费者。,2021年京东直播将推出一系列重磅资源扶持产业带基地建设，相关权益如下： （附：以上资源政策只适用于正式直播基地，预授牌基地在考核期不可享受）京东直播产业带基地申请流程 京东直播产业带基地分为
2024-03-18 09:45 -
京东店铺直播在哪里看（查看京东店铺直播的方法步骤）
京东是很多小伙伴在用的购物平台，用户在该平台可以便捷购物，有小伙伴想要看直播购买商品，那京东直播在哪里看呢，小编来为大家介绍。京东商城是许多 小伙伴们再用的网购平台，客户在该服务平台能够方便快捷买东西，有小伙伴们要想手机看直播购买商品，那京东直播在哪里看呢，小编来为大伙儿详细介绍。京东直播在哪里看1、打开手机的京东商城APP，在主页往下拉； 2、能够见到京东直播，点一下； 3、进到京东直播页面，寻
2024-03-18 09:30 -
京东直播怎么加入？怎么申请？
作为电商三大巨头之一，京东自然也不会错过直播这块蛋糕，京东直播也是不少小伙伴都想加入的一个平台，毕竟直播带货的能力的大家有目共睹，所以下面我们就来看看京东直播怎么加入呢!京东直播怎么加入?首先，要说明，对于个人和媒体，想要开通京东直播，需要提供发布者昵称给运营人员，开通直播权限，再预约房间。,1. 第一步先早PC端登录达人平台地址：http://dr.jd.com2. 之后在确认自己达人身份是否已
2024-03-13 19:21 -
京东MCN直播机构入驻条件是什么？附招募规则
计划”，面向全行业招募各细分领域头部达人。,那么话说回来，想要入驻京东MCN直播机构，需要满足什么条件呢?一、京东MCN直播机构入驻条件是什么?1、必须有营业执照，具备相关公司资质(网络技术公司，文化传媒公司等)；2、必须能开服务类的增值税专用发票(包括不限于文化服务费，经纪代理服务费，设计服务费-直播策划服务费，现代技术服务费等)；3、拥有丰富直播业务运营经验、专业的运营能力，以及优质主播、内容
2024-03-13 19:18 -
京东直播年货节行业主题日玩法有哪些？
三、1月22日——【开门见“洗”】1、活动介绍：个护直播日，联动多品类，一家想要的东西，我们都有!带来全家都适用的超多好物，更有定时抽奖送价值259元家政券，免费上门清洁，新年新气象!大牌直播间内更有1元秒杀好物放送，限时限量，先到先得!2、商家如何参与?(1)当日月开播总时长≥4小时;(2)涉及包含自营及POP商家均可参与;(3)直播间互动玩法：抽奖、分享裂变&连麦等;(4)直播间须设立
2024-03-13 19:17 -
京东直播怎么取消关注？直播相关内容介绍
二、直播哪里看?1、首先打开京东，在界面中间可以看到有一个京东直播，点击就可以进入界面。,三、直播间买东西得注意什么?1、关注卖家的声誉很重要。,如果你担心某样东西不好，你可以先看看京东的销量，然后看看每个买家购买后的评论。
2024-03-13 19:14 -
京东直播入驻条件有哪些？怎么开通直播？
现在直播卖货是电商从业者的主流推广方式，各大平台也相继推出了直播的业务，京东也是开放了直播权限，有需求的商家或者达人可以申请入驻京东直播，开通相应的直播权限，那么京东直播入驻条件有哪些？京东直播对于参与者来说，是有一定的要求的，如果不能满足要求，很难胜任这一份工作。一般情况下，京东直播入驻需要满足以下条件：1、喜欢购物，有非常丰富的购物经验，这样别人才会相信你的挑选能力。2、时尚，有品位，有抓住时
2024-03-13 19:13 -
京东直播申请主播条件有哪些？主播注意什么？
现在直播已经成为商家宣传自家商品，引爆店铺流量的重要措施。,一、京东主播申请条件1、必须是公司下的签约主播，又公司申请入驻资质通过之后方可申请主播权限2、必须有一个京东个人账号，且注册了京东达人账号并做实名认证3、微博粉丝数要大于2W(含2W),最近7天内至少有一条微博的点赞数和评论数要过百，明显僵尸粉或转发、评论水军等情况将取消申请资格，或者其他社交平台的粉丝数大于2W，粉丝互动率高。,4、填写
2024-03-13 19:12 -
京东直播在哪里看？京东直播有什么技巧？
背景要以浅色或纯色系背景墙为主，简洁大方，适当增加明亮色装饰但不宜过多抢掉观众对商品的注意力。,直播时保持室内光明亮，可以有小灯串渲染气氛但不可太亮分散观众注意力。,现在的用户买东西，都喜欢在直播间购买，因此商家要利用好京东直播这一营销渠道帮助店铺吸引流量。
2024-03-13 19:12 -
京东的购物触点是什么？有哪些核心优势？
在京东上开店需要对京东的一些术语进行了解，最近就有人在京东上开店推广的时候遇到了一个专业术语，那就是购物触点，相信很多人第一眼看到这个词也不知道是什么意思，下面就来介绍下吧。,购物触点广告是根据用户在购物前，购物中和购物后3大消费场景，将推荐场景进行聚类，并针对不同推荐场景有针对性的提供算法机制和定向能力，为商家赋能，使其中投放广告的各种场景下有更多优化工具和营销玩法，增加产品的曝光的机会。,购物
2024-03-13 19:11