精易论坛

标题: 抓取类软件换ip 求思路 [打印本页]

作者: dice1412 时间: 2016-12-8 12:23
标题: 抓取类软件换ip 求思路
是这样的我写一个抓取类的软件
但是服务器检测到某一ip地址访问数量过多了就会禁止该ip访问了
我们就要换一个ip进行访问

比如说我设置了30个线程，发现其中一个线程访问返回访问无效的信息了
我就进行更换ip
那么同时进行的29个线程改怎么处理呢？

有没有业内人士固定处理的办法？

作者: 镇坛道德标杆 时间: 2016-12-8 12:54
1、挂起线程换IP （不建议）
2、固定启动特定次数任务，任务完成线程结束，换IP，再启动下一批（如果是做爬虫不合适，因为线程重复启动销毁开销太大，时间成本也高，不适合爬虫程序）
3、例如http请求的代码段前后加个标识，满足换IP条件了线程内等待其他线程执行完该代码段，进入锁，换IP

我用的第三种，出问题的概率小

作者: dice1412 时间: 2016-12-20 11:12

junkboy 发表于 2016-12-8 12:54
1、挂起线程换IP （不建议）
2、固定启动特定次数任务，任务完成线程结束，换IP，再启动下一批（如果是做 ...

你好请问能提供一个第三种的例子作为参考么？

欢迎光临精易论坛 (https://125.confly.eu.org/)