精易论坛

标题: 大佬们怎么保存可以访问的网页 [打印本页]

作者: 小楼营销    时间: 2024-8-7 10:25
标题: 大佬们怎么保存可以访问的网页
我这里有几十万个url,但是怎么访问url,能正常访问的就保存,不能正常访问的就删除,并且边跑边保存呢,因为比较白,问了AI也写不了,大佬们写个成品和源码我学习一下吧 精币送上

作者: LEOONL    时间: 2024-8-7 10:30
  
子程序名返回值类型公开备 注
_按钮1_被单击  
启动线程(&访问)
子程序名返回值类型公开备 注
访问  
变量名类 型静态数组备 注
网址数组文本型 
n整数型 
返回文本型 
可用网址文本型 
网址数组 = 分割文本 (到文本 (读入文件 (取运行目录 ()“\url.txt”)), #换行符, )
可用网址 = 到文本 (读入文件 (取运行目录 ()“\可用网址.txt”))
计次循环首 (取数组成员数 (文本), n)
返回 = 网页_访问_对象 (网址数组 [n])
如果真 (返回 ≠ {  })
可用网址 = 可用网址 + 网址数组 [n]#换行符
写到文件 (取运行目录 ()“\可用网址.txt”, 到字节集 (可用网址))

计次循环尾 ()


作者: 小楼营销    时间: 2024-8-7 11:07
LEOONL 发表于 2024-8-7 10:30
[e=0].版本 2

.子程序 _按钮1_被单击

运行不了啊 小哥
作者: LEOONL    时间: 2024-8-7 11:09
小楼营销 发表于 2024-8-7 11:07
运行不了啊 小哥
  
子程序名返回值类型公开备 注
_按钮1_被单击  
启动线程 (&访问, , )
子程序名返回值类型公开备 注
访问  
变量名类 型静态数组备 注
网址数组文本型0
n整数型 
返回字节集 
可用网址文本型 
网址数组 = 分割文本 (到文本 (读入文件 (取运行目录 ()“\url.txt”)), #换行符, )
可用网址 = 到文本 (读入文件 (取运行目录 ()“\可用网址.txt”))
计次循环首 (取数组成员数 (网址数组), n)
返回 = 网页_访问_对象 (网址数组 [n])
如果真 (返回 ≠ {  })
可用网址 = 可用网址 + 网址数组 [n]#换行符
写到文件 (取运行目录 ()“\可用网址.txt”, 到字节集 (可用网址))

计次循环尾 ()


i支持库列表   支持库注释   
EThread多线程支持库

作者: 小楼营销    时间: 2024-8-7 11:16
LEOONL 发表于 2024-8-7 11:09
[e=0].版本 2
.支持库 EThread

这个可以,就是速度有点慢,几十万url的话 不知道多久可以跑结束...小哥有办法吗
作者: suyunsq    时间: 2024-8-7 11:20
提示: 作者被禁止或删除 内容自动屏蔽
作者: 小楼营销    时间: 2024-8-7 11:23
suyunsq 发表于 2024-8-7 11:20
嫌慢就用多线程处理好了

我纯白...
作者: suyunsq    时间: 2024-8-7 11:24
提示: 作者被禁止或删除 内容自动屏蔽
作者: LEOONL    时间: 2024-8-7 11:28
小楼营销 发表于 2024-8-7 11:16
这个可以,就是速度有点慢,几十万url的话 不知道多久可以跑结束...小哥有办法吗 ...
  
窗口程序集名保 留  保 留备 注
窗口程序集_启动窗口   
变量名类 型数组备 注
网址数组文本型0 
可用网址文本型  
计数整数型  

子程序名返回值类型公开备 注
_按钮1_被单击  
网址数组 = 分割文本 (到文本 (读入文件 (取运行目录 ()“\url.txt”)), #换行符, )
可用网址 = 到文本 (读入文件 (取运行目录 ()“\可用网址.txt”))
计次循环首 (10, )
启动线程 (&访问, , )
延迟 (100)
计次循环尾 ()
子程序名返回值类型公开备 注
访问  
变量名类 型静态数组备 注
n整数型 
返回字节集 
计次循环首 (取数组成员数 (网址数组), n)
n = 计数 + 1
如果真 (计数 > 取数组成员数 (网址数组))
跳出循环 ()
返回 = 网页_访问_对象 (网址数组 [n])
如果真 (返回 ≠ {  })
可用网址 = 可用网址 + 网址数组 [n]#换行符
写到文件 (取运行目录 ()“\可用网址.txt”, 到字节集 (可用网址))

计次循环尾 ()


i支持库列表   支持库注释   
EThread多线程支持库
spec特殊功能支持库


写的10个线程,要几个线程自己写,我写的多线程很片面 你可以自己研究多线程写代码

作者: LEOONL    时间: 2024-8-7 11:41
小楼营销 发表于 2024-8-7 11:16
这个可以,就是速度有点慢,几十万url的话 不知道多久可以跑结束...小哥有办法吗 ...
  
窗口程序集名保 留  保 留备 注
窗口程序集_启动窗口   
变量名类 型数组备 注
网址数组文本型0 
可用网址文本型  
计数整数型  

子程序名返回值类型公开备 注
_按钮1_被单击  
网址数组 = 分割文本 (到文本 (读入文件 (取运行目录 ()“\url.txt”)), #换行符, )
可用网址 = 到文本 (读入文件 (取运行目录 ()“\可用网址.txt”))
计次循环首 (10, )
启动线程 (&访问, , )
延迟 (100)
计次循环尾 ()
子程序名返回值类型公开备 注
访问  
变量名类 型静态数组备 注
n整数型 
返回字节集 
计次循环首 (取数组成员数 (网址数组), n)
计数 = 计数 + 1
n = 计数
如果真 (n > 取数组成员数 (网址数组))
跳出循环 ()
返回 = 网页_访问_对象 (网址数组 [n])
如果真 (返回 ≠ {  })
可用网址 = 可用网址 + 网址数组 [n]#换行符
写到文件 (取运行目录 ()“\可用网址.txt”, 到字节集 (可用网址))

计次循环尾 ()


作者: 南影    时间: 2024-8-7 11:42
你可以参考这个多线程读出来,在进行post操作
求个取txt高效例子
https://125.confly.eu.org/forum.php?mod=viewthread&tid=14825230
(出处: 精易论坛)


作者: 小楼营销    时间: 2024-8-7 19:22
LEOONL 发表于 2024-8-7 11:41
[e=0].版本 2

.程序集 窗口程序集_启动窗口

小哥 刚下班回来提示一个数组错误还是什么的,有点闪退
作者: LEOONL    时间: 2024-8-7 19:31
小楼营销 发表于 2024-8-7 19:22
小哥 刚下班回来提示一个数组错误还是什么的,有点闪退

不会吧 你开的多少个线程,错误定位到的是哪句代码
作者: 小楼营销    时间: 2024-8-7 19:36
LEOONL 发表于 2024-8-7 19:31
不会吧 你开的多少个线程,错误定位到的是哪句代码

我开的50线程

补充内容 (2024-8-7 19:37):
后面我改少了线程  软件没有提示,是直接闪退了
作者: LEOONL    时间: 2024-8-7 19:37
小楼营销 发表于 2024-8-7 19:36
我开的50线程

我这个代码开多了线程不是很稳定的,我不怎么用多线程,你搜索研究研究多线程例子改一个
作者: 小楼营销    时间: 2024-8-7 19:38
LEOONL 发表于 2024-8-7 19:37
我这个代码开多了线程不是很稳定的,我不怎么用多线程,你搜索研究研究多线程例子改一个 ...

我小白一个,老哥有没有联系方式 写一个吧
作者: LEOONL    时间: 2024-8-7 19:46
小楼营销 发表于 2024-8-7 19:38
我小白一个,老哥有没有联系方式 写一个吧

我多线程也写得不好,不然你再发个贴让改个多线程,应该会有大佬帮你改个的




欢迎光临 精易论坛 (https://125.confly.eu.org/) Powered by Discuz! X3.4