美团网全国商家数据批量采集中遇到的问题!

今天，我将教你如何通过软件收集商家商店信息、销售等信息！

我们在采集过程中会遇到以下问题：

1，收集过程中密封IP；

2，经常弹出验证码；

3，突破只能收集50页限制；

我们一一解密上述问题

解决问题的方法：在收集过程中密封IP，这是因为你在收集过程中收集得太快了。根据美团数据的访问策略，一般在2秒内访问一个数据，永远不会密封IP；

解决问题2：事实上，这个问题几乎是由于访问速度过快，只要访问速度稍微调整，就永远不会有验证码；

对于第三个问题，只能收集50页的限制性问题，解决方案是：使用抓包工具fiddler 获取APP的访问地址http://meishi.meituan.com/i/?cateId=17&onlylist=1 能收集多少页数据？

具体采集方法如下：

第一步：打开软件选择需要收集的区域；

第二步:鼠标右键选择软件开始数据采集:

第三步：导出数据

其实抓取数据并不难，只要方法得当，任何网站都可以抓取；