精易论坛

标题: 第一天写出的爬虫,看教程抓视频,就是有点慢 [打印本页]

作者: wzj2015    时间: 2020-4-20 22:20
标题: 第一天写出的爬虫,看教程抓视频,就是有点慢
import requests
import time
adr="https://leshi.cdn-zuyida.com/20180121/KXHDAHhM/800kb/hls/OB71q1S1905000.ts"
adr1=adr[:-7]
a=5000
for a in range(4999,5301,1):
    a=a+1
    adr2 = adr1 + str(a) + ".ts"
    m = requests.get(adr2)
    print(adr2)
    with open("C:/Users/Administrator/Desktop/py1/"+str(a)+".ts","wb") as f:
      f.write(m.content)
      time.sleep(2)之前用request,很容易卡死,不动,感觉还是requests好用点,这是斗罗大陆的第一集在某网站抓的,整整弄了一个下午。都是ts文件,可以用copy /b C:\Users\Administrator\Desktop\py1\*.ts C:\Users\Administrator\Desktop\py\a.ts保存*.bat合并成一个ts

作者: wzj2015    时间: 2020-4-20 23:00
from urllib import request
import time
url="https://leshi.cdn-zuyida.com/20180121/KXHDAHhM/800kb/hls/OB71q1S1905000.ts"
url1=url[:-7]
print(url1)
#headers=[
#"user-agent" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"]
a=5000
for a in range(4999,5301,1):
a=a+1
print(a)
url2=url1+str(a)+".ts"
request.urlretrieve(url2, "C:/Users/Administrator/Desktop/py/" + str(a) + ".ts")
time.sleep(2)
这个是用request,很容易卡死,不动,都是自己摸索的,
作者: 晓凡尘    时间: 2020-4-25 10:18
感谢楼主分享,
但是为什么没有中文备注说明啊,
我其实也是研究了一下爬虫,
还是云里雾里,
作者: EkinCheng00    时间: 2020-4-25 11:48
支持开源~!感谢分享
作者: 禾子    时间: 2020-12-27 15:52
你这是单线程下载.ts文件吧,我也是初学Python,不知道为什么你的循环从4999开始,但还是推荐你以后写代码的时候多写一点注释吧,方便以后自己理解代码。




欢迎光临 精易论坛 (https://125.confly.eu.org/) Powered by Discuz! X3.4