精易论坛
标题:
【原创】网页文章采集工具 ，六大步骤搞定文章采集
[打印本页]
作者:
猫乐
时间:
2017-2-21 17:07
标题:
【原创】网页文章采集工具 ，六大步骤搞定文章采集
本帖最后由 宇智波·佐助 于 2017-2-22 09:25 编辑
界面小展示：
GIF.gif
(394.56 KB, 下载次数: 0)
下载附件
2017-2-21 17:07 上传
近日做项目需要采集很多文章，各种类型各种网站的文章都需要。这样也就出现了1个问题，不同的网站要写不同的采集规则，其实这也没什么捷径可言。
但是每次都要敲重复的代码，比如，文本_取中间 等等。这点就不效率了，而且特别浪费时间。
于是，小弟我就写了一款通用的采集软件，能支持绝大部分网站文章的采集。只需要填写规则即可，杜绝了重复代码的编写。
从原来写1个网站的文章要15分钟，现在只要5分钟就搞定了。岂不乐哉！
（源码）软件简介：
1、软件属于源码（HTML）抓取版
2、只支持二级目录的采集，即 列表页—> 文章页 。（绝大部分的网站文章都能在2级目录内获取到）
3、手动设置翻页（想采几页就采几页）
4、支持正文内容过滤（这个你可以自行修改使用）
5、自动生成TXT文件到桌面文件夹
6、自动判断UTF8返回文本
7、支持每个节点规则的测试返回
软件的话，基本上就是上面说的这样。已经可以很美丽的使用了，我也采集了N个网站，N万篇文章了。
新手们可以，拿去研究研究，软件特别的地方也没啥，说白了就是1个逻辑思路，如何去实现功能而已。
原理其实也很简单，就是循环取中间（从外往内，一层一层提取），再加点判断就完成了。
正要说特别的地方的话，就是标题的处理了，因为某些网页字符是写入不到本地的。嗯~~有兴趣的可以看看。
当然，二次开发的也是可以的，加入伪原创，加入分页采集，加入多级目录采集，加入HTML发布文本，加入数据库入库等等。
做成商业版的也没啥问题，只要你有时间，有精力去弄。（扯远了）
重点1：一定要按照六大步骤一步一步测试，全部通过就没问题了。（什么是通过？你可以参考自带的规则展示）
重点2：规则可以叠加，前面文本和后面文本相对应，从外往内，一层一层提取。也就是循环取中间文本。
好用给点分把
2017.02.22 本人使用BUG记录：
1、在 核心功能 —> 提取链接 这个子程序中，对于HTTP网址是否需要补齐根域名存在1个判断BUG。
2、在 核心功能
—> 提取源码 这个子程序中，对于网页是否为UTF8格式判断存在会漏掉的BUG。
这两个小问题，各位易友自行解决哈~~ 源码我改动太多啦，就不在更新上传了。嗯~~
作者:
老牛的记忆365
时间:
2017-2-21 17:24
很好，有改进空间，收下了
作者:
编程唐少
时间:
2017-2-21 17:24
支持开源~！感谢楼主的分享
作者:
futiem
时间:
2017-2-21 17:24
网页_访问
作者:
宅少
时间:
2017-2-21 17:34
很不错支持
作者:
wanghua2015
时间:
2017-2-21 17:36
感谢分享！下载学习。
作者:
wofksy
时间:
2017-2-21 17:43
感谢你的提供，下下来看看。
作者:
莫耶
时间:
2017-2-21 18:10
感谢分享，先下来看看
作者:
风起々云飞扬
时间:
2017-2-21 18:15
楼主，你是一个大好人！！
作者:
iwang110
时间:
2017-2-21 18:23
采集I大保健
作者:
zzzzzzzz88
时间:
2017-2-21 18:25
网页文章采集工具
作者:
大飛
时间:
2017-2-21 19:02
抱歉抱歉，没有注意看到是源码，源码的话还是很适合新手学习的。
作者:
cpu001071
时间:
2017-2-21 19:10
这厉害了啊
作者:
sa123123
时间:
2017-2-21 19:14
#在这里快速回复#看看原理看看原理
作者:
御风软件
时间:
2017-2-21 19:14
对于规则的网页，采集还是可以的
作者:
小李吊炸天
时间:
2017-2-21 19:25
提示:
作者被禁止或删除 内容自动屏蔽
作者:
545176793
时间:
2017-2-21 19:27
感谢楼主分享
作者:
55889
时间:
2017-2-21 19:50
感谢楼主分享
作者:
liuguiquan2008
时间:
2017-2-21 19:55
这个不错，是源码吗
作者:
阿杰大大
时间:
2017-2-21 20:42
精彩文章希望继续努力
作者:
1126683066
时间:
2017-2-21 20:43
谢谢大神分享
作者:
1126683066
时间:
2017-2-21 20:43
谢谢大神分享
作者:
1126683066
时间:
2017-2-21 20:44
谢谢大神分享
作者:
网络注册会员
时间:
2017-2-21 20:44
这个必须要顶的
作者:
Heimi
时间:
2017-2-21 20:45
感谢分享！就需要这个，找了好几天采集软件
作者:
mini666
时间:
2017-2-21 20:49
厉害，感谢开源！
作者:
happyweeks365
时间:
2017-2-21 20:58
嗯，这个帖子要回复看看..
作者:
joncky8899
时间:
2017-2-21 20:59
灰常实用的一个东东
作者:
榮耀
时间:
2017-2-21 21:00
这个必须要下载看看{:soso__4607844064215092132_3:}
作者:
oddest
时间:
2017-2-21 21:01
提示:
作者被禁止或删除 内容自动屏蔽
作者:
adoniskinger
时间:
2017-2-21 21:02
这个厉害了，再强大点就和火车头有得一拼了
作者:
进击
时间:
2017-2-21 21:11
这玩意有点意思，感谢分享!
作者:
sakkly
时间:
2017-2-21 21:13
学习学习. E语言爬虫. 不错.
作者:
752505176
时间:
2017-2-21 21:21
快快快快快快快快快快快快
作者:
kolin
时间:
2017-2-21 21:23
学习学习，谢谢分享
作者:
冯古屋
时间:
2017-2-21 21:26
并不是很懂。
作者:
Coolice
时间:
2017-2-21 21:33
文章采集好用优先
作者:
kkndt4
时间:
2017-2-21 21:37
学习学习。
作者:
9527l
时间:
2017-2-21 21:41
这玩意有点意思，感谢分享!
作者:
tianjin1988
时间:
2017-2-21 21:46
看看有上面帮助的呢
作者:
易语言小张
时间:
2017-2-21 21:46
支持一下不错的东西
作者:
adgjmli
时间:
2017-2-21 21:54
拿走软件去学习学习看看
作者:
阿火
时间:
2017-2-21 21:56
学习 学习！！！！
作者:
lyw1989
时间:
2017-2-21 22:00
支持开源~！感谢分享
作者:
a308765801
时间:
2017-2-21 22:13
网页文章采集工具 ，六大步骤搞定文章采集 [
修改
]
作者:
当年恋
时间:
2017-2-21 22:16
支持支持！
作者:
粽子
时间:
2017-2-21 22:34
支持分享！！！！！
作者:
已注销163421
时间:
2017-2-21 22:40
提示:
作者被禁止或删除 内容自动屏蔽
作者:
调皮的男孩
时间:
2017-2-21 22:42
高级 学习学习
作者:
xinyuxinyuan
时间:
2017-2-21 22:47
正需要这款软件
作者:
牛X的孩子
时间:
2017-2-21 22:47
可以改造成爬虫
作者:
独殇狼
时间:
2017-2-21 23:17
学习学习，谢谢分享。。。
作者:
1742262457
时间:
2017-2-21 23:17
太给力了~
作者:
雨后彩虹
时间:
2017-2-21 23:32
正好能用的上 收下了
作者:
灯哥
时间:
2017-2-21 23:47
不知道有没有源码？
作者:
精易桀
时间:
2017-2-22 00:04
好东西，支持一下
作者:
小豹子
时间:
2017-2-22 00:19
谢谢楼主热心分享
作者:
訨為╭狩鳸妳
时间:
2017-2-22 00:56
大神雪中送炭啊
作者:
tiantangmuxin
时间:
2017-2-22 01:01
提示:
作者被禁止或删除 内容自动屏蔽
作者:
l3107077598
时间:
2017-2-22 03:01
21521ggjkhjk
作者:
chenziyong
时间:
2017-2-22 04:13
学习一下！！
作者:
凌哥
时间:
2017-2-22 04:37
这个不错哦
作者:
1127581135
时间:
2017-2-22 05:11
学习学习学习
作者:
hfq1314
时间:
2017-2-22 07:59
文章采集的还是要大力支持！
作者:
我是赌气才来的
时间:
2017-2-22 08:27
感谢分享啊
作者:
da437967588
时间:
2017-2-22 08:50
标题:
RE: 【原创】网页文章采集工具 ，六大步骤搞定文章采集
网页文章采集工具
作者:
临时户
时间:
2017-2-22 08:59
看看 学习
作者:
华说要有光
时间:
2017-2-22 09:01
楼主辛苦啦
作者:
一听软件
时间:
2017-2-22 09:04
6666路过看看
作者:
wanzhenghe999
时间:
2017-2-22 09:13
支持开源，感谢发布原创作品。
作者:
UMI
时间:
2017-2-22 09:14
大神，好功力
作者:
frozensy
时间:
2017-2-22 09:15
真不错！很实用
作者:
ck66
时间:
2017-2-22 09:17
真心感谢楼主 ！
作者:
偶尔有点帅
时间:
2017-2-22 09:25
正好需要 拿下了
作者:
34670176
时间:
2017-2-22 09:27
真心感谢楼主 ！
作者:
tyzxhfamil
时间:
2017-2-22 09:28
好东西，支持支持支持支持
作者:
MrJalon
时间:
2017-2-22 09:28
支持。-感谢楼主！！！！！
作者:
du8899
时间:
2017-2-22 09:39
好厉害。学习一下。
作者:
lwk37
时间:
2017-2-22 09:44
66666666666666666666666
作者:
a540891049
时间:
2017-2-22 09:55
66666666666666666666666666
作者:
hgy19880905
时间:
2017-2-22 09:59
位易友自行解决哈~~ 源码我改动太多啦，
作者:
myboot
时间:
2017-2-22 10:02
看看怎么样
作者:
小白学习
时间:
2017-2-22 10:12
下载看看 感谢楼主
作者:
琪殿
时间:
2017-2-22 10:25
刚好有用带走了。
作者:
爱大米的老鼠
时间:
2017-2-22 10:31
真心感谢楼主
作者:
bonkers
时间:
2017-2-22 10:39
感谢分享啦。好厉害的感觉
作者:
无语凝噎
时间:
2017-2-22 10:47
不错啊，收藏了
作者:
x362501
时间:
2017-2-22 10:51
谢谢分享，我先收藏啦
作者:
MCsnow
时间:
2017-2-22 11:21
下载看看先
作者:
MTPAS
时间:
2017-2-22 11:31
厉害了哦
作者:
有妖气
时间:
2017-2-22 11:55
66666666666666
作者:
icezhu
时间:
2017-2-22 12:01
好东西，MK一下
作者:
朦胧
时间:
2017-2-22 12:34
下载看看 感谢楼主
作者:
Jark
时间:
2017-2-22 12:39
多谢楼主分享......
作者:
扣扣
时间:
2017-2-22 13:16
看帖不回者 么有小JJ.........
作者:
绝版ん楠楠
时间:
2017-2-22 13:21
感谢发布原创作品，精易因你更精彩！
作者:
ichck
时间:
2017-2-22 13:39
楼主威武啊。。。。。。。
作者:
郑晓泽
时间:
2017-2-22 14:01
看看，好像是好东西
作者:
℃笑颜
时间:
2017-2-22 14:23
我来看看行不行
作者:
zhujin256
时间:
2017-2-22 14:44
来学习的！！！！！！！！！！
欢迎光临 精易论坛 (https://125.confly.eu.org/)
Powered by Discuz! X3.4
可以改造成爬虫
大神雪中送炭啊感谢分享啦。好厉害的感觉