简单的python爬虫工具源码，B站视频爬虫11.13

享一个我自己写的pythonB站视频爬虫，写的比较粗糙（大佬们可以帮我添加一些其他功能爬虫功能吗，如模拟登录，数据分析等；求求啦(>W<)）

当然网上一堆B站视频获取的工具，也不差我这个粗糙的python脚本，就是分享出来大家一起讨论学习，如果大家有什么好的想法和功能我们可以一起聊聊。

这里分享一个我自己用的B站视频下载的工具BBDown，很好用，作者也是在一直更新。

必要工具ffmpeg，建议还是放在你的python项目目录下（我不知道为什么配置的环境变量没有生效）

这个如果想爬取高清视频就把自己的cookie加到api_headers。这里进度条加载有点问题，就是视频太小了进度条可能加载不完全，还有就是视频合成也有点问题，有时视频合成不了（我推测可能是特殊字符没有过滤完全，当然也可能是其他原因）

python源码：

1. import argparse
   
2. 
   
3. import requests, re, sys, os, time
   
4. from contextlib import closing
   
5. from urllib import parse
   
6. from lxml import etree
   
7. import subprocess
   
8. from tqdm import tqdm
   
9. 
   
10. class BiliBili:
    
11.     def __init__(self, dirname):
    
12. 
    
13.         self.search_headers = {
    
14.             'authority': 'search.bilibili.com',
    
15.             'Accept': '*/*',
    
16.             'Referer': 'https://www.bilibili.com/',
    
17.             'Accept-Encoding': 'gzip, deflate, br',
    
18.             'Accept-Language': 'zh-CN,zh;q=0.9',
    
19.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
    
20.                           'Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61',
    
21.         }
    
22. 
    
23.         self.video_headers = {
    
24.             'authority': 'www.bilibili.com',
    
25.             'Referer': 'https://www.bilibili.com/',
    
26.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
    
27.                           'Chrome/118.0.0.0 Safari/537.36'
    
28.         }
    
29. 
    
30.         self.api_headers = {
    
31.             'authority': 'api.bilibili.com',
    
32.             'Accept': '*/*',
    
33.             'Referer': 'https://www.bilibili.com/',
    
34.             'Accept-Encoding': 'gzip, deflate, br',
    
35.             'Accept-Language': 'zh-CN,zh;q=0.9',
    
36.             # 'cookie':"",
    
37.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
    
38.                           'Chrome/119.0.0.0 Safari/537.36'
    
39.         }
    
40.         self.sess = requests.Session()
    
41. 
    
42.         self.dir = dirname
    
43. 
    
44.     def downloader(self, data_url, title):
    
45.         """
    
46.         数据下载
    
47.         Parameters:
    
48.             data_url: 数据地址
    
49.             title: 标题
    
50.         """
    
51.         if self.dir not in os.listdir():
    
52.             os.mkdir(self.dir)
    
53.         size = 0
    
54.         with closing(self.sess.get(data_url, headers=self.video_headers, stream=True)) as response:
    
55.             chunk_size = 1000
    
56.             content_size = int(response.headers['content-length'])
    
57.             content_mb = content_size / 1000 / 1000
    
58.             if response.status_code == 200:
    
59.                 sys.stdout.write('  [开始下载]\n')
    
60.                 sys.stdout.write('  [文件大小]: %0.2f MB\n' % content_mb)
    
61.                 video_name = os.path.join(self.dir, title)
    
62.                 # 保存视频，并输出进度
    
63.                 with tqdm(total=content_size, desc='  [下载进度]',leave=False, ncols=100, unit='B',unit_scale=True) as pbar:
    
64.                     with open(video_name, 'wb') as file:
    
65.                         if content_mb < 3:
    
66.                             file.write(response.content)
    
67.                             for i in range(5):
    
68.                                 pbar.update(content_size/5)
    
69.                         else:
    
70.                             for data in response.iter_content(chunk_size=chunk_size):
    
71.                                 file.write(data)
    
72.                                 pbar.update(len(data))
    
73.                                 size += len(data)
    
74.                                 file.flush()
    
75. 
    
76.                         sys.stdout.write('\n')
    
77.                         sys.stdout.write('  [下载完成]' + '\r')
    
78.                         sys.stdout.flush()
    
79.                         if size / content_size == 1:
    
80.                             print('\n')
    
81.             else:
    
82.                 print('~~~链接异常~~~'+'\r')
    
83.                 time.sleep(1)
    
84. 
    
85.     def search_video(self, keyword, page=1):
    
86.         """
    
87.         搜索页视频信息
    
88.         Parameters:
    
89.             keyword: 关键词
    
90.             page: 页码
    
91.         Returns:
    
92.             videos[titles,bvs]
    
93.             titles:标题
    
94.             bvs: bv号
    
95.         """
    
96.         url = f'https://search.bilibili.com/all?keyword={parse.quote(keyword)}&page={page}&o=30'
    
97.         req = self.sess.get(url=url, headers=self.search_headers)
    
98.         html = etree.fromstring(req.text, etree.HTMLParser())
    
99.         bvs = html.xpath('//div[@class="bili-video-card__info--right"]/a/@href')[:3]
    
100.         titles = html.xpath('//div[@class="bili-video-card__info--right"]/a/h3/@title')[:3]
     
101.         videos = []
     
102.         for i, j in zip(titles, bvs):
     
103.             for c in u'´★☆❤◦\/:*?"<>|':
     
104.                 i = i.replace(c, '')
     
105.             tmp = [i, j]
     
106.             videos.append(tmp)
     
107.         # 输出搜索页面视频标题和视频url
     
108.         print(videos)
     
109.         return videos
     
110. 
     
111.     # titles, bvs
     
112.     def get_download_url(self, arcurl):
     
113.         """
     
114.         获取详情页数据信息
     
115.         Parameters:
     
116.             arcurl: 视频播放地址
     
117.         Returns:
     
118.             accept_description: 视频清晰度
     
119.             video_data: 视频地址
     
120.             audio_data: 音频地址
     
121.             title: 标题
     
122.         """
     
123.         xp = 'BV\d.{9}'
     
124.         if re.findall(xp, arcurl):
     
125.             bv = re.findall(xp, arcurl)[0]
     
126.             url = f'https://api.bilibili.com/x/web-interface/view?bvid={bv}'  # avid&cid
     
127.         else:
     
128.             print('视频BV号解析失败,请检查输入的bv号是否正确')
     
129.             exit(0)
     
130.         req1 = self.sess.get(url=url, headers=self.video_headers)
     
131.         ac_json = req1.json()
     
132.         avid = ac_json['data']['aid']
     
133.         cid = ac_json['data']['cid']
     
134.         url2 = f'https://api.bilibili.com/x/player/wbi/playurl?avid={avid}&cid={cid}&fnval=4048'  # playurl
     
135.         title = ac_json['data']['title']
     
136.         req2 = self.sess.get(url=url2, headers=self.api_headers)
     
137.         playinfo_dict = req2.json()
     
138. 
     
139.         accept_description = playinfo_dict["data"]["accept_description"]  # 视频清晰度
     
140.         # id = [playinfo_dict["data"]["dash"]["video"][0]["id"]]
     
141.         audio_data = [playinfo_dict["data"]["dash"]["audio"][0]["baseUrl"]]  # 音频数据
     
142.         video_data = [playinfo_dict["data"]["dash"]["video"][0]["baseUrl"]]
     
143.         # print(id)
     
144.         if not audio_data and not video_data:
     
145.             print('视频解析失败')
     
146.             exit(0)
     
147.         return [accept_description, video_data, audio_data,title]
     
148. 
     
149.     def merge_data(self, dir, video_name):
     
150.         """
     
151.         视频合成
     
152.         Parameters:
     
153.             dir: 目录
     
154.             video_name: 视频名
     
155.         """
     
156.         time.sleep(0.1)
     
157.         if video_name+'_2' in os.listdir(self.dir):
     
158.             print( '合成视频已存在')
     
159.             exit(0)
     
160.         else:
     
161.             print('视频合成开始：', video_name)
     
162.             cmd = f"cd {dir} & ffmpeg -y -i {video_name}.mp4 -i {video_name}.mp3 -c:v copy -c:a aac -strict experimental -map 0:0 -map 1:0 {video_name}_2.mp4 && del {video_name}.mp4 {video_name}.mp3"
     
163.             subprocess.run(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
     
164.             print('视频合成结束：', video_name+'\r')
     
165. 
     
166.     def search_downloader(self, keyword,page=1):
     
167.         """
     
168.         批量爬取搜索页视频
     
169.         Parameters:
     
170.             keyword: 关键词
     
171.             page: 页码
     
172.         """
     
173.         if self.dir not in os.listdir():
     
174.             os.mkdir(self.dir)
     
175.         for j in range(page):
     
176.             s_video = self.search_video(keyword, j+1)
     
177.             for i in range(len(s_video)):
     
178.                 title = s_video[i][0]
     
179.                 arcurl = s_video[i][1]
     
180.                 if title not in os.listdir(self.dir):
     
181.                     videos_data = self.get_download_url(arcurl)[1]
     
182.                     audio_data = self.get_download_url(arcurl)[2]
     
183.                     if not videos_data[0] or not audio_data[0]:
     
184.                         print('第[ %d ]页:%s视频或音频解析失败，跳过下载:' % (1 + j, title))
     
185.                         continue  # Skip video download if video or audio parsing fails
     
186. 
     
187.                     fname = title + '.mp4'
     
188.                     print('第[ %d ]页:视频[ %s ]下载中:' % (1 + j, fname))  # 打印页码和指定下载视频
     
189.                     self.downloader(videos_data[0], fname)
     
190.                     print('视频下载完成!')
     
191. 
     
192.                     fname = title + '.mp3'
     
193.                     print('第[ %d ]页:音频[ %s ]下载中:' % (1 + j, fname))  # 打印页码和指定下载视频
     
194.                     self.downloader(audio_data[0], fname)
     
195.                     print('音频下载完成!')
     
196. 
     
197.                     # 创建临时文本文件用于合并视频音频
     
198.                     try:
     
199.                         video_name = title
     
200.                         dirz = self.dir
     
201.                         self.merge_data(dirz, video_name)
     
202.                     except:
     
203.                         print('请安装FFmpeg,并配置环境变量 http://ffmpeg.org/')
     
204. 
     
205.     def a_video_download(self,bv):
     
206.         """
     
207.         单个视频爬取
     
208.         Parameters:
     
209.             bv: 关bv号
     
210.         """
     
211.         video_info = self.get_download_url(bv)
     
212.         title = video_info[3]
     
213.         fname = "{0}.mp4".format(title)
     
214.         print('视频[ %s ]下载中:' % fname)  # 打印页码和指定下载视频
     
215.         self.downloader(video_info[1][0], fname)
     
216.         print('视频下载完成!')
     
217.         fname = '{0}.mp3'.format(title)
     
218.         print('音频[ %s ]下载中:' % fname)  # 打印页码和指定下载视频
     
219.         self.downloader(video_info[2][0], fname)
     
220.         print('音频下载完成!')
     
221.         self.merge_data(self.dir,video_info[3])
     
222. 
     
223. if __name__ == '__main__':
     
224.     if len(sys.argv) == 1:
     
225.         sys.argv.append('--help')
     
226.     parser = argparse.ArgumentParser()
     
227.     parser.add_argument('-d', '--dir', required=True, help='必要，下载路径')
     
228.     parser.add_argument('-bv', '--bvid', required=False, help='下载指定bv视频')
     
229.     parser.add_argument('-s', '--search', required=False, action='store_true', help='批量下载搜索页视频')
     
230.     parser.add_argument('-k', '--keyword', required=False, help='搜索关键词内容')
     
231.     parser.add_argument('-p', '--pages', required=False, help='需要下载页码数', type=int)
     
232.     args = parser.parse_args()
     
233. 
     
234.     B = BiliBili(args.dir)
     
235.     if args.search:
     
236.         if args.keyword and args.pages is None:
     
237.             print('请输入搜索关键词和页码')
     
238.             exit(0)
     
239.         B.search_downloader(args.keyword, args.pages)
     
240.     if args.bvid:
     
241.         if args.search or args.keyword or args.pages:
     
242.             print('下载单个视频请只输入BV号')
     
243.             exit(0)
     
244.         B.a_video_download(args.bvid)
     
245.     # return [accept_description, video_data, audio_data, title]
     
246. 
     
247.     # B = BiliBili('猫')
     
248.     # url = 'https://www.bilibili.com/video/BV1Jy4y1K7yp/'
     
249.     # a=B.get_download_url(url)
     
250.     # B.downloader(a[1][0], a[3])

复制代码