精易论坛
标题: 大佬们怎么保存可以访问的网页 [打印本页]
作者: 小楼营销 时间: 2024-8-7 10:25
标题: 大佬们怎么保存可以访问的网页
我这里有几十万个url,但是怎么访问url,能正常访问的就保存,不能正常访问的就删除,并且边跑边保存呢,因为比较白,问了AI也写不了,大佬们写个成品和源码我学习一下吧 精币送上
作者: LEOONL 时间: 2024-8-7 10:30
启动线程(&访问)
变量名 | 类 型 | 静态 | 数组 | 备 注 |
网址数组 | 文本型 | | |
n | 整数型 | | |
返回 | 文本型 | | |
可用网址 | 文本型 | | |
网址数组 =
分割文本 (到文本 (读入文件 (取运行目录 () +
“\url.txt”)),
#换行符, )可用网址 =
到文本 (读入文件 (取运行目录 () +
“\可用网址.txt”))
计次循环首 (取数组成员数 (文本
), n
)
返回 =
网页_访问_对象 (网址数组
[n
])
如果真 (返回 ≠
{ })

可用网址 = 可用网址 + 网址数组
[n
] +
#换行符 
写到文件 (取运行目录 () +
“\可用网址.txt”,
到字节集 (可用网址
))


计次循环尾 ()
作者: 小楼营销 时间: 2024-8-7 11:07
运行不了啊 小哥
作者: LEOONL 时间: 2024-8-7 11:09
启动线程 (&访问, ,
)变量名 | 类 型 | 静态 | 数组 | 备 注 |
网址数组 | 文本型 | | 0 |
n | 整数型 | | |
返回 | 字节集 | | |
可用网址 | 文本型 | | |
网址数组 =
分割文本 (到文本 (读入文件 (取运行目录 () +
“\url.txt”)),
#换行符, )可用网址 =
到文本 (读入文件 (取运行目录 () +
“\可用网址.txt”))
计次循环首 (取数组成员数 (网址数组
), n
)
返回 =
网页_访问_对象 (网址数组
[n
])
如果真 (返回 ≠
{ })

可用网址 = 可用网址 + 网址数组
[n
] +
#换行符 
写到文件 (取运行目录 () +
“\可用网址.txt”,
到字节集 (可用网址
))


计次循环尾 ()
作者: 小楼营销 时间: 2024-8-7 11:16
这个可以,就是速度有点慢,几十万url的话 不知道多久可以跑结束...小哥有办法吗
作者: suyunsq 时间: 2024-8-7 11:20
提示: 作者被禁止或删除 内容自动屏蔽
作者: 小楼营销 时间: 2024-8-7 11:23
我纯白...
作者: suyunsq 时间: 2024-8-7 11:24
提示: 作者被禁止或删除 内容自动屏蔽
作者: LEOONL 时间: 2024-8-7 11:28
窗口程序集名 | 保 留 | 保 留 | 备 注 |
窗口程序集_启动窗口 | | | |
变量名 | 类 型 | 数组 | 备 注 |
网址数组 | 文本型 | 0 |
可用网址 | 文本型 | |
计数 | 整数型 | |
网址数组 =
分割文本 (到文本 (读入文件 (取运行目录 () +
“\url.txt”)),
#换行符, )可用网址 =
到文本 (读入文件 (取运行目录 () +
“\可用网址.txt”))
计次循环首 (10,
)
启动线程 (&访问, ,
)
延迟 (100
)
计次循环尾 ()
计次循环首 (取数组成员数 (网址数组
), n
)
n = 计数 + 1

如果真 (计数 >
取数组成员数 (网址数组
))

跳出循环 ()
返回 = 网页_访问_对象 (网址数组 [n])
如果真 (返回 ≠
{ })

可用网址 = 可用网址 + 网址数组
[n
] +
#换行符 
写到文件 (取运行目录 () +
“\可用网址.txt”,
到字节集 (可用网址
))


计次循环尾 ()
写的10个线程,要几个线程自己写,我写的多线程很片面 你可以自己研究多线程写代码
作者: LEOONL 时间: 2024-8-7 11:41
窗口程序集名 | 保 留 | 保 留 | 备 注 |
窗口程序集_启动窗口 | | | |
变量名 | 类 型 | 数组 | 备 注 |
网址数组 | 文本型 | 0 |
可用网址 | 文本型 | |
计数 | 整数型 | |
网址数组 =
分割文本 (到文本 (读入文件 (取运行目录 () +
“\url.txt”)),
#换行符, )可用网址 =
到文本 (读入文件 (取运行目录 () +
“\可用网址.txt”))
计次循环首 (10,
)
启动线程 (&访问, ,
)
延迟 (100
)
计次循环尾 ()
计次循环首 (取数组成员数 (网址数组
), n
)
计数 = 计数 + 1

n = 计数

如果真 (n >
取数组成员数 (网址数组
))

跳出循环 ()
返回 = 网页_访问_对象 (网址数组 [n])
如果真 (返回 ≠
{ })

可用网址 = 可用网址 + 网址数组
[n
] +
#换行符 
写到文件 (取运行目录 () +
“\可用网址.txt”,
到字节集 (可用网址
))


计次循环尾 ()
作者: 南影 时间: 2024-8-7 11:42
你可以参考这个多线程读出来,在进行post操作
求个取txt高效例子
https://125.confly.eu.org/forum.php?mod=viewthread&tid=14825230
(出处: 精易论坛)
作者: 小楼营销 时间: 2024-8-7 19:22
小哥 刚下班回来提示一个数组错误还是什么的,有点闪退
作者: LEOONL 时间: 2024-8-7 19:31
不会吧 你开的多少个线程,错误定位到的是哪句代码
作者: 小楼营销 时间: 2024-8-7 19:36
我开的50线程
补充内容 (2024-8-7 19:37):
后面我改少了线程 软件没有提示,是直接闪退了
作者: LEOONL 时间: 2024-8-7 19:37
我这个代码开多了线程不是很稳定的,我不怎么用多线程,你搜索研究研究多线程例子改一个
作者: 小楼营销 时间: 2024-8-7 19:38
我小白一个,老哥有没有联系方式 写一个吧
作者: LEOONL 时间: 2024-8-7 19:46
我多线程也写得不好,不然你再发个贴让改个多线程,应该会有大佬帮你改个的
欢迎光临 精易论坛 (https://125.confly.eu.org/) |
Powered by Discuz! X3.4 |