精易论坛

标题: 精易web浏览器循环读取一系列网页源码的出错处理【经验】 [打印本页]

作者: webyjh 时间: 2021-7-27 22:25
标题: 精易web浏览器循环读取一系列网页源码的出错处理【经验】
本帖最后由 webyjh 于 2021-7-28 00:16 编辑

最近在写一个自动学习视频的软件，因要循环读取如下网址的源码，然后分析相关系统

写完程序后才发现每次都只能读第一个地址的源码，第二个以后的就无法正确取到了，迷惑了几个小时，期间还怀疑过是否是浏览器组件的bug
静下心来一一排查，最后发现上面这种地址有一个特点：网址的基本部分都是一样的，除了#锚点后的内容不同，也就说请求的实际上是同一个文件，
这就造成了第二个网址后的源码其实都和第一个相同，找到了原因就好解决了，方法如下图：
第一种解决方法有一个缺点是浏览器页面会闪一下，所以我选择了第二种。（备忘）

作者: 已注销659495 时间: 2021-7-27 22:42
提示: 作者被禁止或删除内容自动屏蔽

作者: webyjh 时间: 2021-7-27 23:44

qiuyueling 发表于 2021-7-27 22:42
不要一直循环读取，等待1-5分钟在循环下一个链接

因为是要读取所有链接后分析网页源码，所以不能等太久

作者: 已注销659495 时间: 2021-7-27 23:53
提示: 作者被禁止或删除内容自动屏蔽

作者: webyjh 时间: 2021-7-28 00:17

qiuyueling 发表于 2021-7-27 23:53
你把QQ留下来给我

感谢您的回复和帮助，这个帖子是我一段解决问题的历程，问题已经解决了，感谢

作者: zzh233 时间: 2021-7-28 01:44
网址后面加个随机的无用参数试试

作者: 不是吧1 时间: 2021-8-14 10:03
大哥，你是怎么写判断加载完成的？

欢迎光临精易论坛 (https://125.confly.eu.org/)