大数据行业生死劫
文/刘燕
来源：AI前线(ID:ai-front)
AI前线导读：这可能是大数据行业经历的最寒冷的一个冬天。年关将至，国人习惯于用各种圆满的方式给即将过去的一年划上句号，不过，这对于许多大数据行业从业者来说，似乎有些奢望。整顿、倒闭、离职...最近数月以来，股股冷峻的气息一直笼罩在行业上空。多次监管动作不断提醒和鞭策着大数据公司，是时候告别野蛮生长的时代了，合规才是正途。
巨变启幕
监管重锤落地，此前狂飙突进的大数据产业突然被按下“暂停键”。
自今年9月以来，多家大数据公司接连被查，巨变启幕，行业“一夜入冬”。
9月6日，大数据智能风控服务供应商魔蝎数据被警方调查，一位核心高管被带走，官网至今无法正常访问;另一家大数据公司新颜科技的CEO黄向前也在同一天被警方带走调查;这天，聚信立发通知主动停止了爬虫业务，然未能幸免于“难“，仅过了几天后，聚信立被爆有警方进驻公司调查;9月11日，知名币圈项目公信宝运营主体被杭州警方查封;次日，有媒体报道，集奥聚合深圳分公司十余人被带走，北京办公室也有多人被深圳警方带走;另有爆料称，天翼征信的总经理、副总经理及市场人员被警察带走。
一周之内，5家公司被查，如此阵势引发业内恐慌，但这可能只是刚刚开始。
紧接着，有传言称百融云创数据查询受影响、个人征信数据业务被暂停，深圳分公司员工被带走，后被官方否认。9月27日，同盾科技子公司信川科技高管被带走协助调查;10月21日，51信用卡委托外包催收公司因涉嫌寻衅滋事等罪被调查;10月25日，新京报报道称，央行发文紧急调研银行与上述第三方数据公司合作情况，排查的合作内容主要涉及数据采集、信用欺诈、信用评分、风控建模....
有业内人士分析称，上述公司被查与其开展的“爬虫”业务有关，根源亦在于涉足现金贷、715高炮、套路贷、暴力催收、“超利贷”等业务。
据AI前线不完全统计，此次清查波及的大数据公司至少15家左右。(以下根据公开资料整理，力有不逮，难免遗漏或错误，请见谅)
那个“2019年，捕获独角兽最多的机构：红杉、阿里、腾讯和警方”的网红段子在引人发笑的同时，也反映出了当下大数据公司的尴尬处境。
今年11月以来，公安部爬虫，甚至还有同业爬虫，同业爬虫即爬取同行的信息。据了解，摩羯科技曾推出该款产品，其要求借贷者提供在其它平台上的用户名与密码，并通过爬虫爬来竞品的贷款额度及还款记录，这样便相当于剽窃了同行的风控成果。
今年3月，号称拥有中国最大的简历数据库的巧达科技被警方一锅端，该公司的简历数据库全部是通过非法手段爬取而来，非法获取的简历超过2亿条，它将简历库以13800元每年的价格出售
非法获利，光是2017年，巧达科技凭此业务营收高达4.11亿元。泄露、买卖、滥用，这些违规收集来的数据被肆无忌惮的曝光、出售，令用户信息犹如在裸奔，严重侵犯了用户个人隐私。
爬虫也是一项“矛盾”的技术。爬与反爬的“斗争”每天都在上演，力量此消彼长。
据一位资深程序员介绍，现在比较常见的反爬虫技术手段主要有，检测Header信息;设置IP访问频率，分析同一IP或同一设备在短时间内多次访问同一页面或进行相同操作;识别UA、通过动态页面增加爬取难度等方式。
这几年，随着随着AI的发展，一些机器学习、canvas指纹等智能反爬虫技术也被运用起来。例如，腾讯云网站管家WAF就将AI检测引擎能力，运用到了爬虫Bot程序检测的环节上，AI引擎能够对站点访问流量的会话进行追踪，通过流量画像，匹配行为模型及行为标签进行识别，进而识别出爬虫Bot程序流量行为。
今年5月，被称为“中国版GDPR”的《数据安全管理办法》征求意见稿发布，第16条规定，网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行;如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。
一位业内人士认为，技术只是工具，在获取数据时需要考虑数据到底有没有获得授权，需要几方授权，在拿到用户授权的情况下，有没有拿到网站等数据来源方的授权，这其中涉及到的权责边界应该更明确。
随着监管越来越严格，爬虫技术的使用边界也将更加明晰。互联网从业者应当怀有敬畏之心，要时时注意不要触碰边界，毕竟，爬虫只是技术，灰色的是“助恶者”。
繁荣下的危局
整顿风波揭开了大数据灰色产业链的冰山一角，也将大数据行业高光背后的暗影一并曝在了阳光下。
伴随着互联网+迅速成为潮流，以及深度学习推动下的第三次人工智能热潮，大数据技术备受追捧，”得数据者得天下“是一度被风口裹挟着的大数据产业的繁荣写照。
金融大数据是大数据产业应用最广的领域之一。2013年前后，互联网金融开启了发展元年，一大批P2P、第三方支付等互金平台涌现。P2P平台一骑绝尘，但缺乏数据能力、风控能力差是其发展掣肘之一，如此一来，就为第三方数据公司提供了诞生的契机。
同盾科技便是彼时的入局者之一。2013年，时任阿里巴巴集团安全部技术总监的蒋韬还曾因离职创办同盾科技在业内引起一番不小的轰动。成立当年，同盾科技便拿到了来自IDG资本和华创资本的A轮融资。AI前线查询天眼查显示，同盾科技自成立以来已获6轮融资，除2018年外，几乎每年都有融资，最近的一次是在今年4月完成的超1亿美元D轮融资，估值近20亿美元。
有数据统计，2013年到2015年，中国市场上P2P网贷平台数量从800家增长至2595家，累计交易规模超过11.4万亿。另据亿欧智库《2018中国智能风控研究报告》显示，截至去年年底，573家金融风控企业共获得投资金额超过1000亿元，其中三成企业获得三次及以上的投资。这些企业中，有69.8%成立于2013年-2017年。
最近两年，金融科技成为P2P热潮落幕后新的创投风口，再次助推大数据产业发展走向新的高潮，同盾科技、51信用卡等大数据公司也跃升为明星独角兽。
在草莽生长的早期阶段，不少大数据公司趁机钻了法律不完善的空子，其数据业务游走在道德和法律边缘。自2015年以来的多次监管动作也无不为从业机构敲响警钟—要合规化使用数据。
在很大程度上，这些P2P网贷平台与第三方数据公司是“相互成就”的关系。而一荣俱荣，一损俱损，当监管“紧箍咒”收紧之后，大数据产业也迎来了洗牌阶段。“那些能够满足政策及市场客户需求的团队，肯定会越做越好，而那些无法真正满足需求的，将面临淘汰”，一位大数据行业从业者向AI前线表示。
某头部互联网消费金融平台的大数据负责人表示，这次的监管行动从产品—爬虫技术—相关的数据方—网贷平台，可以说是一条链式的查处。尽管有些严格，但如果不经过整治，行业内存在的“缺乏明确规则”的问题就很难作出改变。一些大数据公司“单纯”的认为自己只是给甲方做数据服务，即便出了问题，也事不关己。但现在来看，这些权责是需要进一步明确的。
渐入寒冬深处，结局也格外凄冷。
一些重度依赖爬虫业务的大数据公司轻则业务停滞，重则或将因此倒下，即便能勉强活下来的恐怕也要被迫转型。另一方面，一些AI公司、金融科技公司也会受到不同程度的影响，没有了大量数据持续“投喂”，模型该如何迭代优化?
“有时候市场表面上的虚假繁荣是难以持续的，泡沫总有一天要被戳破。这次监管风暴对小机构来说，以后可能更难做了，对一些大机构会有一定影响，但可能影响没那么大，优胜劣汰会加剧。大浪淘沙后留下来的是那些对用户来说定价更低、体验更好的产品，而淘汰掉的绝大部分是那些不合规的企业。因此，从长期来看，通过强监管之后，大数据行业会更合规，总体来说对用户会更友好”，上述大数据负责人继续说道。
一位第三方数据公司的高管对形势感到乐观，她认为，这次监管风暴对行业的健康发展是有利的，监管介入、政策出台，这都在引导行业往好的方向发展，数据采标清洗质检等流程会逐渐趋向标准化、合规化、安全化，进而提高大数据行业的进入门槛，并倒逼从业者提升服务质量。
一半是海水，一半是火焰，值得一提的是，一些具有国企背景的大数据公司逆势成为行业里的“香饽饽”。那些不合规的企业终将湮没不断滚滚向前的历史洪流中，未来的大数据产业属于合规的参与者。
信息转载自网络，更多相关信息请点击：全网营销http:///
相关文章
-
京东店铺怎么分析？测款测图注意事项有哪些？
问题主要体现于几方面：店铺流量刚开始的状况很差，数据一直呈现下滑状态，优化前的店铺每天流量很少，也基本上大半是付费流量在苦苦支撑，转化维度也差强人意，这样的状态下导致数据反馈持续拉低，快车方面的操作欠缺，整体完善程度差。,所以明确好店铺的方向，接下来才能更加有利，也容易把握住机遇。,测款测图注意事项有哪些?想要不浪费时间投入和资金投入，那么测图测款是必要的，如果重视程度不够，那么在后期快车方面的拉
2024-03-13 19:07 -
京东智铺模块数据看板入口在哪？附常见问答
常见问答：1. 为什么我的店铺无法查看模块数据?以下三种情况暂时无法查看模块数据：a)：查询时间过早。,若商家查询的页面昨日访客数过低，则暂时无法查询模块数据，建议商家朋友先提升店铺流量再分析模块数据。,上述指标均为子订单口径(即若用户在多个店铺买了多件商品一并支付时，统计成交金额时，则只会统计本店商品的金额)5.个性化首页AB分流的模块数据应该怎样查看和理解?个性化首页开启AB分流后，在模块数据
2024-03-13 18:59 -
京东快车充值有限额度吗？如何查看？
京东快车也是需要去充值，但是在充值的时候，很多人不知道这个有限的额度是什么样子，下面就来具体说说我们是如何去查看这个事情的，因为如不知道这个额度，我们就不能去做下去了!小编特地去京东后台看了下，快车是不能用信用卡充值的，建议大家没事要充值之前，先在银行卡里面多充点钱，以便没钱的不时之需。充值的金额到哪里看?找到京东快车入口，后台有提供广告带来的订单明细数据。您可以查看转化的每个订单数据，细化至每个
2024-03-13 18:46 -
京东快车充值后能退款吗？如何查看订单？
京东这个购物平台相信小伙伴们应该都不陌生，京东近些年来也是越来越受人们的喜爱，因为他的物流速度相比较来说还是挺快的，那么商家就会想要通过充值京东快车来让自己的生意更好，但是充值以后是否还能退款呢?要如何查看订单呢?往自己的快车精准通里面充钱了，钱只有一种方式能退，那就是这个店要关闭了才可以，不然其它情况下，按京东给出的规则是不能退的，当然你有特殊原因的话，可以去拨打京东在线客服电话问问，看客服能不
2024-03-13 18:33 -
京东商智是不是一定要开？怎么使用？
在早期的检测中，许多商家早已从这当中获益。,3.登录进去之后我们选择“开通京东商智权限”，如果你的商户管理员就可以进入。,以上可以说是成功进入了京东商智，但如何去使用它，继续往下看。
2024-03-13 18:33 -
京东运营要关注商智数据吗？商智有哪些功能？
我们都知道，要运营好京东店铺并不容易，毕竟京东平台的竞争不是一般的大。要做好店铺运营，商家需要经常对店铺数据进行分析总结，那么，运营是否要看商智的数据呢?一、要关注商智数据吗?京东商智是京东向第三方商家提供数据服务的产品。从PC、APP、微信、手Q、M五大渠道，展示实时与历史两个视角下，店铺与行业两个范畴内的流量、销量、客户、商品等全维度的电商数据。并提供购物车营销、精准客户营销等工具，基于数据，
2024-03-13 18:26 -
京东风向标指标有哪些？怎么做？
京东风向标将于近期进行调整，调整内容分别于4月1日和5月13日生效，影响对应日期的风向标排名率;如店铺基础考核结果为“不通过”，将不再获得风向标排名率与对应的权益，该影响将于5月13日生效。,首次30秒应答率=首次30秒接待星/咨询量4.2数招统计口径：同3.24.3数据展示路径：客服管家-服务商经营数据-服务商工作量-考核数据-咚咚4.4数据统计周期：同3.45.当日揽收率5.1当日揽收率=当日
2024-03-13 18:25 -
京东后台数据在哪里看？如何查销量？
在京东上开店的卖家比较多，在运营店铺的过程中卖家会需要对平台进行了解，这其中也包括了后台数据，掌握好之后才能更好的将产品进行推广，但是具体京东后台数据是在哪里查看了?1、登陆京东商家账号,进入店铺后台,点击”工具“几个字,接着点击“京东·商智”几个字。2、进入京东商智页面,接着点击经验分析几个字。3、进入经验分析页面,接着点击点击商品分析菜单下的商品明细。4、你想查看哪个商品，就点击哪个产品这个图
2024-03-13 18:03 -
京东营销手段有哪些方式？如何操作？
其原理是当想提升某一款宝贝排名，但宝贝综合数据都落后于同行，最后把各个维度数据都补到行业平均线上，那么京东给你的排名会比平均线上的竞争对手高。,注意事项：这里推荐大家去做京东优质补量数据，切记别搞那些螺旋，必须按一个周期一个周期去提升，只有这样才才是安全的，还有你为产品做补量，那么这个补量数据是必须做的，如果基础的数据都没有做好，即使你怎么操作也不会有效果。,3、朋友圈营销微信是京东推广最直接、最
2024-03-13 17:58 -
京东客服违规服务分析数据看板是什么？怎么用？
三、看板内容包括咨询差评率、3分钟人工回复率、延迟发货率、售后差评率、工单24小时自主完结率5个指标，支持按照月至今维度数据、日维度数据查看，并支持对明细数据查看及下载。,核心指标展示为当前统计周期月至今累计数据。,月度趋势：柱形图展示为月至今累计达成数据，并与达标线进行比较，帮助商家直观查看是否达标。
2024-03-13 17:49