网页采集器越来越慢

190563540

写了一个小说采集器，程序是用多线程写的，昨天运行的时候，一秒钟可以采集100个网页。今天只能采集1秒一个网页。有没有开发过网页采集经验的求教一下？
我说一下我的排除步骤：

1、刚开始以为是网络的问题，然后我用高铁采集器采集同样的源站，高铁采集器速度是没问题的，证明我本地网络是没有问题的。只有我写的软件速度慢。

2、如果是代码问题，我把程序终止了，电脑重启了，软件采集速度应该会恢复啊？但是速度还是恢复不了，起始速度就只能采集1秒一个网页。

3、我换了另一台电脑，采集器速度就恢复了。

这个易语言开发的软件，在本地会有缓存吗？有没哪位大神能告知？

大兔崽子

可能的原因有蛮多，我想到的有2个
1、你这边的保存，采集结果的步骤有问题，  随着保存的内容越多，速度越慢
2、目标源站有问题， 随着章节页面越大，响应的速度越慢（常见于数据库查询翻页时，limit 100000,10 性能问题）
如果是第二种，那就没办法
（ps：新电脑的采集进度是跟旧电脑一致的嘛？  或者说 旧电脑从第一章开始采集  速度是否又回到100/s了呢）

风度猫

有没可能是你保存的越来越多,保存的时候有判断 保存的速度慢了 所以你感觉慢了....可以看下单独请求前后价格时间显示 确定是网页访问的慢了 还是你采集后 保存采集数据慢了

憨憨问号

一个是可能有缓存，要么就是别人网站做限制了吧，访问得多了就降低访问速度之类的

果冻大砍刀

换ip试试呢