说说浮夸的中国电商

近来由于科(ban)研(zhuan)需求，博主不得不从各大电商那里淘一些中文商品评论数据。由此发现了一些问题，且在此扯扯闲话。

就数据而言：

• 某宝数据量看起来最大，毕竟中国电商俨然已是某宝的天下，狗东、企鹅等也不过是顺便分一杯羹罢了。某宝上的商品评论数据一言不合就是10W以上，热门店家更是直破百万。这么多评论也代表着至少有这么多完成的订单，So——看上去某宝似乎十分火爆，分分钟就能有上万的成交量呢。某宝的数据存储形式及其明显，易于获取，但是——对于同一款商品的评论，最多只能查看99页，也就是990条。这数据倒是好爬，但这么少就没有必要去爬了，但不禁让人有种疑问——限制评论数据的访问，Why？
• 狗东算得上是国内第二大电商了吧，尤其是电子产品相关的。从狗东的商品数据来看，没有明显的访问入口，但是通过对网页请求的监视还是能看到其数据文件的URL和模式的。狗东的数据都是从json文件中获取，可以通过模拟JS请求来获取其json数据。爬下来的数据还真是不少呢，看起来真的是全部的数据都在呢，这样看来狗东还是很实在的呢，这让我曾一度对狗东有一些好感，然而...
• 亚马逊在国外是很火的，在国内看起来就冷清了很多，毕竟东西都偏贵一点，活动也少。看看其热门商品的评论——What? 最多的才8K-1W？瞬间感觉中国亚马逊low，low的呢。但仔细想想，感觉平时在学校看到的亚马逊的快递其实也不算少的，就算有一些差距顶多也就是10倍以内吧，不至于相差这么多。

好了，啰啰嗦嗦地大概介绍了几家大电商的情况，于是综合对数据需求的考虑，博主选择了狗东下手，默默地爬了近百万数据。
然而就在这几天博主尝试重新整理一下爬虫和数据时，不经意间发现了评论数据有很多重复。一开始还以为是我数据处理的程序有问题，经过深入的Debug，发现重复的真的是数据，是数据，数据，据。。。
而且，情况很严重。举个例子，商品编号为297032的某鼠标，商品评论显示 303796 条，爬取json文件3W+（每个文件10个评论），前几百页的数据挺好，后几页的数据也很好，以至于博主最初看数据格式是根本就没发现问题，但中间大片的数据重复的很厉害，比如(808,809)，也就是第[8081-8090]条数据和第[8091-8100]条数据是一模一样的。最终整理下来，去重之后的评论仅有 23994 条。。。这还不算最过分的，商品编号为423478的鼠标，评论从狗东显示的 218720 条缩水到 3140 条。。。呵呵呵呵呵呵呵 :joy: 。。。

好了，主要问题已经说清楚了，之前对某东的好感瞬间消失。然而，难道这样做的仅仅只是狗东吗？某宝不公开数据难道仅仅是为了防爬虫？当然，狗东中也会有很多商品没有那么多评论，但看一看的话可能也不至于缩水这么严重吧——于是很自然地可以想到，某些卖家与狗东之间肮脏的XX交易。而中文亚马逊倒是看起来很实在，评论虽少，但个个都是很用心的评论，100字以上的绝对是大多数，没有重复。
消费者该如何擦亮自己的眼睛，这种猫腻用砂纸擦也看不出来吧。如今计算机应用发达，电子商务发展很快，但用这种方式增加评论数、刷好评率、刷交易量，以此让用户感觉这是大品牌放心，这是赤果果的欺骗。
在此仅以此事吐槽一番中国的电商，根本没有什么底限可讲，要想不被骗，还是要处处警惕，更重要的是，人穷还是多读书吧。。。

ps: 本文禁止转发，仅供吐槽、警醒、反思。
pps: 之前数据没有处理完善，发现由于京东服务器端更新数据导致去重后的数据仍有一部分重复，现已更新统计数据，更多数据后续更新...

Copyright © 2015-2016 zhyack. All Rights Reserved.