[我的爬虫日记01]爬虫获取豆瓣网Top250 - 精易论坛

窗口程序集名	保留	保留	备注
程序集1

子程序名	返回值类型	公开	备注
_启动子程序	整数型		本子程序在程序启动后最先执行

变量名	类型	静态	数组	备注
url_all	文本型		0
i	整数型
电影名	文本型

' 第一页https://movie.douban.com/top250?start=0
' 第二页https://movie.douban.com/top250?start=25
' 第三页https://movie.douban.com/top250?start=50
fputs (1, “开始获取...” ＋ #换行符 )
取全部详情页链接 (“https://movie.douban.com/top250”, url_all)
.for (1, GetAryElementCount (url_all), 1, i)
fputs (1, url_all [i] ＋ #换行符 )
取影片信息 (url_all [i])
.next ()
fputs (1, “获取完成!” ＋ #换行符 )
fgets ()
return (0) ' 可以根据您的需要返回任意数值

子程序名	返回值类型	公开	备注
取全部详情页链接	整数型
参数名	类型	参考	可空	数组	备注
url	文本型
url_all	文本型

变量名	类型	静态	数组	备注
html_str	文本型
grid_view_str	文本型
url_arr	文本型		0
i	整数型
page	整数型
full_url	文本型

.for (1, 250, 25, page)
' 取网页源码并转码
full_url ＝ url ＋ “?start=” ＋ str (page)
html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )
html_str ＝ Utf8ToGb2312 (html_str)
' 获取中间链接列表数据
grid_view_str ＝ GetMidText (html_str, #left_grid_view, #right_grid_view, , )
GetMidText_批量 (grid_view_str, #left_a, #right_a, url_arr, , , , , , , )
.for (1, GetAryElementCount (url_arr), 1, i)
AddElement (url_all, url_arr [i])
.next ()
.next ()
return (0)

子程序名	返回值类型	公开	备注
取影片信息
参数名	类型	参考	可空	数组	备注
url	文本型

变量名	类型	静态	数组	备注
html_str	文本型
电影名	文本型
年份	文本型
导演	文本型
attrs_html	文本型
主演数组	文本型		0
i	整数型
类型数组	文本型		0
地区	文本型
语言	文本型
评分	文本型

' ===============获取===================
html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )
html_str ＝ Utf8ToGb2312 (html_str)
电影名＝ GetMidText (html_str, #left_电影名, #right_电影名, , )
年份＝ GetMidText (html_str, #left_年份, #right_年份, , )
导演＝ GetMidText (html_str, #left_导演, #right_导演, , )
' 主演
GetMidText_批量 (html_str, #left_主演, #right_主演, 主演数组, , , , , , , )
' 类型
GetMidText_批量 (html_str, #left_类型, #right_类型, 类型数组, , , , , , , )
地区＝ GetMidText (html_str, #left_地区, #right_地区, , )
语言＝ GetMidText (html_str, #left_语言, #right_语言, , )
评分＝ GetMidText (html_str, #left_评分, #right_评分, , )
' ===============打印===================
fputs (1, “电影名:” ＋电影名＋ #换行符 )
fputs (1, “年份:” ＋年份＋ #换行符 )
fputs (1, “导演:” ＋导演＋ #换行符 )
fputs (1, “主演:”)
.for (1, GetAryElementCount (主演数组), 1, i)
.ife (i ＜ 3)
fputs (1, 主演数组 [i] ＋ “/”)

break ()

.next ()
fputs (1, #换行符 )
fputs (1, “类型:”)
.for (1, GetAryElementCount (类型数组), 1, i)
.ife (i ＜ 3)
fputs (1, 类型数组 [i] ＋ “/”)

break ()

.next ()
fputs (1, #换行符 )
fputs (1, “地区:” ＋地区＋ #换行符 )
fputs (1, “语言:” ＋语言＋ #换行符 )
fputs (1, “评分:” ＋评分＋ #换行符 )
fputs (1, #换行符 )

.版本 2<br />
<br />
.程序集 程序集1<br />
<br />
.子程序 _启动子程序, 整数型, , 本子程序在程序启动后最先执行<br />
.局部变量 url_all, 文本型, , "0"<br />
.局部变量 i, 整数型<br />
.局部变量 电影名, 文本型<br />
<br />
<br />
' 第一页https://movie.douban.com/top250?start=0<br />
' 第二页https://movie.douban.com/top250?start=25<br />
' 第三页https://movie.douban.com/top250?start=50<br />
<br />
fputs (1, “开始获取...” ＋ #换行符)<br />
<br />
取全部详情页链接 (“https://movie.douban.com/top250”, url_all)<br />
.for (1, GetAryElementCount (url_all), 1, i)<br />
    fputs (1, url_all <i> ＋ #换行符)<br />
    取影片信息 (url_all <i>)<br />
.next ()<br />
<br />
fputs (1, “获取完成!” ＋ #换行符)<br />
fgets ()<br />
return (0)  ' 可以根据您的需要返回任意数值<br />
<br />
<br />
.子程序 取全部详情页链接, 整数型<br />
.参数 url, 文本型<br />
.参数 url_all, 文本型, 参考 数组<br />
.局部变量 html_str, 文本型<br />
.局部变量 grid_view_str, 文本型<br />
.局部变量 url_arr, 文本型, , "0"<br />
.局部变量 i, 整数型<br />
.局部变量 page, 整数型<br />
.局部变量 full_url, 文本型<br />
<br />
.for (1, 250, 25, page)<br />
    ' 取网页源码并转码<br />
    full_url ＝ url ＋ “?start=” ＋ str (page)<br />
    html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )<br />
    html_str ＝ Utf8ToGb2312 (html_str)<br />
<br />
    ' 获取中间链接列表数据<br />
    grid_view_str ＝ GetMidText (html_str, #left_grid_view, #right_grid_view, , )<br />
    GetMidText_批量 (grid_view_str, #left_a, #right_a, url_arr, , , , , , , )<br />
<br />
    .for (1, GetAryElementCount (url_arr), 1, i)<br />
        AddElement (url_all, url_arr <i>)<br />
    .next ()<br />
.next ()<br />
return (0)<br />
<br />
<br />
.子程序 取影片信息<br />
.参数 url, 文本型<br />
.局部变量 html_str, 文本型<br />
.局部变量 电影名, 文本型<br />
.局部变量 年份, 文本型<br />
.局部变量 导演, 文本型<br />
.局部变量 attrs_html, 文本型<br />
.局部变量 主演数组, 文本型, , "0"<br />
.局部变量 i, 整数型<br />
.局部变量 类型数组, 文本型, , "0"<br />
.局部变量 地区, 文本型<br />
.局部变量 语言, 文本型<br />
.局部变量 评分, 文本型<br />
<br />
' ===============获取===================<br />
<br />
html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )<br />
html_str ＝ Utf8ToGb2312 (html_str)<br />
<br />
电影名 ＝ GetMidText (html_str, #left_电影名, #right_电影名, , )<br />
年份 ＝ GetMidText (html_str, #left_年份, #right_年份, , )<br />
导演 ＝ GetMidText (html_str, #left_导演, #right_导演, , )<br />
' 主演<br />
GetMidText_批量 (html_str, #left_主演, #right_主演, 主演数组, , , , , , , )<br />
' 类型<br />
GetMidText_批量 (html_str, #left_类型, #right_类型, 类型数组, , , , , , , )<br />
地区 ＝ GetMidText (html_str, #left_地区, #right_地区, , )<br />
语言 ＝ GetMidText (html_str, #left_语言, #right_语言, , )<br />
评分 ＝ GetMidText (html_str, #left_评分, #right_评分, , )<br />
<br />
' ===============打印===================<br />
<br />
fputs (1, “电影名:” ＋ 电影名 ＋ #换行符)<br />
fputs (1, “年份:” ＋ 年份 ＋ #换行符)<br />
fputs (1, “导演:” ＋ 导演 ＋ #换行符)<br />
<br />
fputs (1, “主演:”)<br />
.for (1, GetAryElementCount (主演数组), 1, i)<br />
    .ife (i ＜ 3)<br />
        fputs (1, 主演数组 <i> ＋ “/”)<br />
    .否则<br />
        break ()<br />
    .如果结束<br />
<br />
.next ()<br />
fputs (1, #换行符)<br />
<br />
fputs (1, “类型:”)<br />
.for (1, GetAryElementCount (类型数组), 1, i)<br />
    .ife (i ＜ 3)<br />
        fputs (1, 类型数组 <i> ＋ “/”)<br />
    .否则<br />
        break ()<br />
    .如果结束<br />
<br />
.next ()<br />
fputs (1, #换行符)<br />
<br />
fputs (1, “地区:” ＋ 地区 ＋ #换行符)<br />
fputs (1, “语言:” ＋ 语言 ＋ #换行符)<br />
fputs (1, “评分:” ＋ 评分 ＋ #换行符)<br />
fputs (1, #换行符)