这几天在家闲得无聊，意外的挖掘到了一个资源网站（你懂得），但是网速慢广告多下载不了种种原因让我突然萌生了爬虫的想法。
下面说说流程：
一、网站分析
首先进入网站，F12检查，本来以为这种低端网站很好爬取，是我太低估了web主。可以看到我刷新网页之后，出现了很多js文件，并且响应获取的代码与源代码不一样，这就不难猜到这个网站是动态加载页面。
目前我知道的动态网页爬取的方法只有这两种：1、从网页响应中找到JS脚本返回的JSON数据；2、使用Selenium对网页进行模拟访问。源代码问题好解决，重要的是我获取的源代码中有没有我需要的东西。我再一次进入网站进行F12检查源代码，点击左上角然后在页面点击一个视频获取一个元素的代码，结果里面没有嵌入的原视频链接（看来我真的是把别人想的太笨了）。
没办法只有进行抓包，去找js请求的接口。再一次F12打开网页调试工具，点击单独的一个视频进行播放，然后在Network中筛选一下，只看HXR响应（HXR全称是XMLHTTPRequest,HMLHTTP是AJAX网页开发技术的重要组成部分。除XML之外，XMLHTTP还能用于获取其它格式的数据，如JSON或者甚至纯文本。）。
然后我一项一项的去检查返回的响应信息，发现当我点击播放的时候有后缀为.m3u8的链接，随后就不断刷新.ts文件的链接。
本来以为这就是原视频的地址，我傻傻的直接从这个m3u8文件的headers中的URL直接进入网站看看，结果傻眼了，获取的是一串串.ts的文件名。
没办法只能百度君了。 科普了一下，也就说我们必须把ts文件都下载下来进行合并之后才能转成视频。
好了，视频原地址弄清楚了，现在我们开始从一个视频扩展到首页的整个页面的视频。再一次进行抓包分析，发现一个API中包含了首页的分类列表，然而里面并没有进入分类的URL地址，只有一个tagid值和图片的地址。
于是我又在主页点一个分类，再次进行抓包，发现了一个API中包含了一个分类的单页所有视频的信息，通过他们的headers中的URL对比发现，关于视频的前一部分都是https:xxxxxxx&c=video,然后m=categories，通过字面意思我们都可以知道是分类，而每个tagid值对应不同的分类。并且还发现每个URL中都追加了时间戳timestamp（这是web主为了确保请求不会在它第一次被发送后即缓存，看来还是有小心机啊）。当m=lists，则是每个分类下的视频列表，这里面我们就可以找到每个视频对应的ID了。
通过id我们可以获取到视频的详细信息，并且还有m3u8文件URL地址的后面一部分。好了，网站我们解析清楚了，现在开始堆码了。
二、写代码
1.导入相关模块
import requests from datetime import datetime import re #import json import time import os #视频分类和视频列表URL的前一段 url = "http://xxxxxxx/api/?d=pc&c=video&" #m3u8文件和ts文件的URL前一段 m3u8_url =\'https://xxxxxxxxxxxxx/videos/cherry-prod/2020/03/01/2dda82de-5b31-11ea-b5ae-1c1b0da2bc3f/hls/480/\' #构造请求头信息 header = {"user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2"} #创建空列表存放视频信息 vediomassag=\'\' #返回当前时间戳 TimeStamp = int(datetime.timestamp(datetime.now()))