精易论坛

标题: 抓取店铺商品列表页 [打印本页]

作者: 490156269 时间: 2020-11-25 17:02
标题: 抓取店铺商品列表页

每小时读取200链接，部分链接会出现这种情况，如何避免，出现了该如何解决不影响后续抓取

作者: afd 时间: 2020-11-25 17:06
换ip

作者: {人类}[乱码] 时间: 2020-11-26 12:40

作者: 490156269 时间: 2020-11-27 08:44

大鲨鱼发表于 2020-11-25 17:06
换ip

用过代理，但是也还是会出现这种情况

作者: 龍鼎软件开发 时间: 2020-11-27 13:45
如果用代理也这样，别的参数可能也在效验，比如cookies

作者: 490156269 时间: 2020-11-27 14:39

龍鼎软件开发发表于 2020-11-27 13:45
如果用代理也这样，别的参数可能也在效验，比如cookies

出现受限后，换cookie请求有时还有这种情况

作者: 龍鼎软件开发 时间: 2020-11-27 14:58

490156269 发表于 2020-11-27 14:39
出现受限后，换cookie请求有时还有这种情况

不带cookies试试

作者: 490156269 时间: 2020-11-28 16:07

龍鼎软件开发发表于 2020-11-27 14:58
不带cookies试试

会提示让你登录不带cookie无法访问

作者: 龍鼎软件开发 时间: 2020-11-28 16:23

490156269 发表于 2020-11-28 16:07
会提示让你登录不带cookie无法访问

多搞几个小号，cookies换着用

欢迎光临精易论坛 (https://125.confly.eu.org/)