精易论坛

标题: 多线程10分钟爬完精易论坛源码区板块全部帖子3W+数据 [打印本页]

作者: 学易新 时间: 2018-3-18 22:19
标题: 多线程10分钟爬完精易论坛源码区板块全部帖子3W+数据
爬取的格式是：帖子分类--帖子URL--帖子名--发帖日期--
这个正则表达式写了大半天-------

补充内容 (2018-3-25 21:14):
刚刚试了一下这个正则被和谐了！！需要重新写一个正则

1.jpg (248.96 KB, 下载次数: 2)

2.jpg (337.16 KB, 下载次数: 1)

多线程爬取精易论坛帖子.zip

2.64 KB, 下载次数: 121, 下载积分: 精币 -2 枚

作者: 银河世纪 时间: 2018-3-18 22:39
10分钟能爬完啊这么吊

作者: fyh505099 时间: 2018-3-18 23:25
真厉害呀

作者: xty 时间: 2018-3-19 00:08
提示: 作者被禁止或删除内容自动屏蔽

作者: 学易新 时间: 2018-3-19 01:26
刚刚在优化线程，测试一次开766条线程，然后这个电脑ip被禁了，浏览器都打不开论坛了，要是买几万个ip代理一次766个线程，这样的高并发论坛要崩溃吧！

作者: friscky 时间: 2018-3-19 21:19
学习一下！！！！

作者: zoozkop 时间: 2018-3-21 16:08

作者: 网络注册会员 时间: 2018-3-21 16:14
好强大哦这个

作者: 125new 时间: 2018-3-25 11:11
谢谢分享。

作者: Hwak 时间: 2018-3-25 11:14
居然是个py 还以为是个e

作者: 红尘旧梦i 时间: 2018-6-4 10:57

学易新发表于 2018-3-19 01:26
刚刚在优化线程，测试一次开766条线程，然后这个电脑ip被禁了，浏览器都打不开论坛了，要是买几万个ip代理 ...

论坛后台服务器有对应保护机制，不要小看它

作者: z博士 时间: 2018-6-9 19:06
这个厉害了。

作者: tsg2005 时间: 2018-6-9 22:36
学习多线程。

作者: tsg2005 时间: 2018-6-9 22:39
是PYTHON的，不是E的

作者: 风语者的呢喃 时间: 2018-6-19 14:00

学易新发表于 2018-3-19 01:26
刚刚在优化线程，测试一次开766条线程，然后这个电脑ip被禁了，浏览器都打不开论坛了，要是买几万个ip代理 ...

单线程10W个说不定真的凉了。。。

作者: a474335897 时间: 2018-7-8 16:43
你这个貌似没有写线程操作文件的保护机制，不然的话是不会出现文本有空白行的现象

作者: wangguan 时间: 2018-10-28 19:05
学习多线程，谢了！

作者: love886 时间: 2019-4-28 18:18
1222222222新技能 GET

欢迎光临精易论坛 (https://125.confly.eu.org/)

Powered by Discuz! X3.4