[我的爬虫日记02]爬虫下载笔趣阁小说 - 精易论坛

窗口程序集名	保留	保留	备注
程序集1
变量名	类型	数组	备注
集_域名	文本型

子程序名	返回值类型	公开	备注
_启动子程序	整数型		本子程序在程序启动后最先执行

变量名	类型	静态	数组	备注
html	文本型
小说名字	文本型
创建文件	逻辑型
url_arr	文本型		0
i	整数型
章节页链接	文本型
章节内容	文本型		0
文件号	整数型

' 获取小说章节链接列表 (“https://www.bqgda.cc/books/9680/”)
' 获取小说章节内容 (“https://www.bqgda.cc/books/9680/1.html”)
' 写入章节 (, )
集_域名＝ “https://www.bqgda.cc”
html ＝获取小说页html (“https://www.bqgda.cc/books/9680/”)
.if (html ＝ “”)
fputs (, “网络请求异常!” ＋ #换行符 )
return (0)

小说名字＝获取小说名字 (html)
fputs (, “名字为:” ＋小说名字＋ #换行符 )
创建文件＝ WriteFile (GetRunPath () ＋ “\downlod\” ＋小说名字＋ “.txt”, { })
.if (创建文件)
文件号＝ open (GetRunPath () ＋ “\downlod\” ＋小说名字＋ “.txt”, , )
获取小说章节链接列表 (html, url_arr)
.for (1, GetAryElementCount (url_arr), 1, i)
章节页链接＝集_域名＋ url_arr [i]
fputs (, “章节页链接:” ＋章节页链接＋ #换行符 )
获取小说章节内容 (章节页链接, 章节内容)
写入章节 (文件号, 章节内容)
延迟 (2000)
.if (i ＞ 100)
break ()

.next ()
fputs (, “下载完成”)
close (文件号)

fgets ()
return (0) ' 可以根据您的需要返回任意数值

子程序名	返回值类型	公开	备注
获取小说页html	文本型
参数名	类型	参考	可空	数组	备注
url	文本型

变量名	类型	静态	数组	备注
html	文本型

fputs (, “获取小说页html...” ＋ #换行符 )
html ＝ str (HttpRequestRetBin (url, 0, , , , , , , , , ))
html ＝ Utf8ToGb2312 (html)
return (html)

子程序名	返回值类型	公开	备注
获取小说名字	文本型
参数名	类型	参考	可空	数组	备注
html	文本型

变量名	类型	静态	数组	备注
小说名字	文本型

小说名字＝ GetMidText (html, #left_小说名字, #right_小说名字, , )
return (小说名字)

子程序名	返回值类型	公开	备注
获取小说章节链接列表	整数型
参数名	类型	参考	可空	数组	备注
html	文本型
url_arr	文本型

变量名	类型	静态	数组	备注
listmain_str	文本型
i	整数型

fputs (, “开始获取小说章节链接列表...” ＋ #换行符 )
' 获取章节列表
listmain_str ＝ GetMidText (html, #left_章节列表, #right_章节列表, , )
GetMidText_批量 (listmain_str, #left_a, #right_a, url_arr, , , , , , , )
return (0)

子程序名	返回值类型	公开	备注
获取小说章节内容	整数型
参数名	类型	参考	可空	数组	备注
url	文本型
章节内容_反	文本型

变量名	类型	静态	数组	备注
html	文本型
章节名	文本型
正文	文本型
章节内容	文本型		2

fputs (, “开始获取小说章节内容...” ＋ #换行符 )
html ＝ str (HttpRequestRetBin (url, 0, , , , , , , , , ))
html ＝ Utf8ToGb2312 (html)
章节名＝ GetMidText (html, #left_名字, #right_名字, , )
正文＝ GetMidText (html, #left_正文, #right_正文, , )
正文＝ RpSubText (正文, “
”, #换行符, , , 真)
章节内容 [1] ＝章节名
章节内容 [2] ＝正文
章节内容_反＝章节内容
return (0)

子程序名	返回值类型	公开	备注
写入章节	整数型
参数名	类型	参考	可空	数组	备注
文件号	整数型
章节内容	文本型

变量名	类型	静态	数组	备注
章节名	文本型
正文	文本型

fputs (, “写入章节...” ＋ #换行符 )
章节名＝章节内容 [1]
正文＝章节内容 [2]
fputs (, 章节名＋ #换行符 )
WriteLine (文件号, 章节名)
WriteLine (文件号, 正文)
return (0)

i支持库列表	支持库注释
spec	特殊功能支持库

.版本 2<br />
.支持库 spec<br />
<br />
.程序集 程序集1<br />
.程序集变量 集_域名, 文本型<br />
<br />
.子程序 _启动子程序, 整数型, , 本子程序在程序启动后最先执行<br />
.局部变量 html, 文本型<br />
.局部变量 小说名字, 文本型<br />
.局部变量 创建文件, 逻辑型<br />
.局部变量 url_arr, 文本型, , "0"<br />
.局部变量 i, 整数型<br />
.局部变量 章节页链接, 文本型<br />
.局部变量 章节内容, 文本型, , "0"<br />
.局部变量 文件号, 整数型<br />
<br />
' 获取小说章节链接列表 (“https://www.bqgda.cc/books/9680/”)<br />
<br />
' 获取小说章节内容 (“https://www.bqgda.cc/books/9680/1.html”)<br />
' 写入章节 (, )<br />
<br />
<br />
集_域名 ＝ “https://www.bqgda.cc”<br />
html ＝ 获取小说页html (“https://www.bqgda.cc/books/9680/”)<br />
.if (html ＝ “”)<br />
    fputs (, “网络请求异常!” ＋ #换行符)<br />
    return (0)<br />
.如果真结束<br />
<br />
小说名字 ＝ 获取小说名字 (html)<br />
fputs (, “名字为:” ＋ 小说名字 ＋ #换行符)<br />
<br />
创建文件 ＝ WriteFile (GetRunPath () ＋ “\downlod\” ＋ 小说名字 ＋ “.txt”, {  })<br />
.if (创建文件)<br />
    文件号 ＝ open (GetRunPath () ＋ “\downlod\” ＋ 小说名字 ＋ “.txt”, , )<br />
    获取小说章节链接列表 (html, url_arr)<br />
    .for (1, GetAryElementCount (url_arr), 1, i)<br />
        章节页链接 ＝ 集_域名 ＋ url_arr <i><br />
        fputs (, “章节页链接:” ＋ 章节页链接 ＋ #换行符)<br />
<br />
        获取小说章节内容 (章节页链接, 章节内容)<br />
<br />
        写入章节 (文件号, 章节内容)<br />
        延迟 (2000)<br />
        .if (i ＞ 100)<br />
            break ()<br />
        .如果真结束<br />
<br />
    .next ()<br />
    fputs (, “下载完成”)<br />
    close (文件号)<br />
.如果真结束<br />
<br />
<br />
<br />
<br />
<br />
fgets ()<br />
return (0)  ' 可以根据您的需要返回任意数值<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
.子程序 获取小说页html, 文本型<br />
.参数 url, 文本型<br />
.局部变量 html, 文本型<br />
<br />
fputs (, “获取小说页html...” ＋ #换行符)<br />
html ＝ str (HttpRequestRetBin (url, 0, , , , , , , , , ))<br />
<br />
html ＝ Utf8ToGb2312 (html)<br />
<br />
return (html)<br />
<br />
<br />
<br />
<br />
.子程序 获取小说名字, 文本型<br />
.参数 html, 文本型<br />
.局部变量 小说名字, 文本型<br />
<br />
小说名字 ＝ GetMidText (html, #left_小说名字, #right_小说名字, , )<br />
return (小说名字)<br />
<br />
<br />
.子程序 获取小说章节链接列表, 整数型<br />
.参数 html, 文本型<br />
.参数 url_arr, 文本型, 参考 数组<br />
.局部变量 listmain_str, 文本型<br />
.局部变量 i, 整数型<br />
<br />
fputs (, “开始获取小说章节链接列表...” ＋ #换行符)<br />
<br />
' 获取章节列表<br />
listmain_str ＝ GetMidText (html, #left_章节列表, #right_章节列表, , )<br />
GetMidText_批量 (listmain_str, #left_a, #right_a, url_arr, , , , , , , )<br />
return (0)<br />
<br />
<br />
<br />
.子程序 获取小说章节内容, 整数型<br />
.参数 url, 文本型<br />
.参数 章节内容_反, 文本型, 参考 数组<br />
.局部变量 html, 文本型<br />
.局部变量 章节名, 文本型<br />
.局部变量 正文, 文本型<br />
.局部变量 章节内容, 文本型, , "2"<br />
<br />
fputs (, “开始获取小说章节内容...” ＋ #换行符)<br />
html ＝ str (HttpRequestRetBin (url, 0, , , , , , , , , ))<br />
html ＝ Utf8ToGb2312 (html)<br />
<br />
章节名 ＝ GetMidText (html, #left_名字, #right_名字, , )<br />
正文 ＝ GetMidText (html, #left_正文, #right_正文, , )<br />
正文 ＝ RpSubText (正文, “<br />
”, #换行符, , , 真)<br />
<br />
章节内容 [1] ＝ 章节名<br />
章节内容 [2] ＝ 正文<br />
<br />
章节内容_反 ＝ 章节内容<br />
<br />
return (0)<br />
<br />
<br />
<br />
.子程序 写入章节, 整数型<br />
.参数 文件号, 整数型<br />
.参数 章节内容, 文本型, 数组<br />
.局部变量 章节名, 文本型<br />
.局部变量 正文, 文本型<br />
<br />
fputs (, “写入章节...” ＋ #换行符)<br />
章节名 ＝ 章节内容 [1]<br />
正文 ＝ 章节内容 [2]<br />
fputs (, 章节名 ＋ #换行符)<br />
WriteLine (文件号, 章节名)<br />
WriteLine (文件号, 正文)<br />
return (0)