人生苦短,我用 Python
前文传送门:
小白学 Python 爬虫(1):开篇
小白学 Python 爬虫(2):前置准备(一)基本类库的安装
小白学 Python 爬虫(3):前置准备(二)Linux基础入门
小白学 Python 爬虫(4):前置准备(三)Docker基础入门
小白学 Python 爬虫(5):前置准备(四)数据库基础
小白学 Python 爬虫(6):前置准备(五)爬虫框架的安装
小白学 Python 爬虫(7):HTTP 基础
小白学 Python 爬虫(8):网页基础
小白学 Python 爬虫(9):爬虫基础
小白学 Python 爬虫(10):Session 和 Cookies
小白学 Python 爬虫(11):urllib 基础使用(一)
小白学 Python 爬虫(12):urllib 基础使用(二)
小白学 Python 爬虫(13):urllib 基础使用(三)
小白学 Python 爬虫(14):urllib 基础使用(四)
小白学 Python 爬虫(15):urllib 基础使用(五)
小白学 Python 爬虫(16):urllib 实战之爬取妹子图
小白学 Python 爬虫(17):Requests 基础使用
小白学 Python 爬虫(18):Requests 进阶操作
小白学 Python 爬虫(19):Xpath 基操
小白学 Python 爬虫(20):Xpath 进阶
小白学 Python 爬虫(21):解析库 Beautiful Soup(上)
小白学 Python 爬虫(22):解析库 Beautiful Soup(下)
小白学 Python 爬虫(23):解析库 pyquery 入门
小白学 Python 爬虫(24):2019 豆瓣电影排行
小白学 Python 爬虫(25):爬取股票信息
小白学 Python 爬虫(26):为啥买不起上海二手房你都买不起
小白学 Python 爬虫(27):自动化测试框架 Selenium 从入门到放弃(一)
AJAX在介绍交互之前,我们先简单了解一下新名词:AJAX 。
AJAX 全写为 “Asynchronous Javascript And XML” (异步 JavaScript 和 XML),是指一种创建交互式网页应用的网页开发技术。
AJAX 是一种在无需重新加载整个网页的情况下,能够更新部分网页的技术。
重点来了,我们如果在网站中使用 AJAX ,可以在整个网页不刷新的情况下,更够更新网页上的显示信息(DOM 节点),也就是 DOM 节点,这种技术被广泛的应用到各个网站之中,最开始的时候,大家都只是使用它更新部分的网页,也不知道是哪位大佬异想天开:既然 AJAX 可以更新部分网页,那么能不能用它来更新全部网页呢?这就产生了现代的前端框架:React 、 Vue 和 Angular。
这种思想,现在被更加广泛的应用于各大网站之中,因为这种方式,前端页面上只有最基础的 DOM 节点,其余所有的 DOM 节点都是由 JavaScript 动态渲染出来的,而 JavaScript 都是经过打包处理的,可读性极差。
那么为什么要选用前端框架呢? HTML + CSS + JQuery 就不行么?
当然不是,其实之所以现在我们需要选择框架,本质上是因为我们面临的需求变了。大家肯定都明白如果我们只写一个纯展示信息的页面,没有任何交互功能的页面,其实即便是现在,我们也是不需要选择框架的,我们只需要写几行 CSS 和 HTML 就可以完成任务。
所以是因为我们面临的需求变得复杂了,我们的应用经常需要在运行时做一些交互。
现代的前端开发,我们开发的应用经常需要在运行时来做一些交互,这些交互在早期只是个幻灯片或者 Tab 切换下拉菜单等一些简单的交互,这些交互用 JQuery 实现完全没什么问题。但现代的前端我们的目标是用 Web 去 PK 原生应用,去和 Native 进行 PK 。
emmmmmmmmm,聊偏了,下面我们接着聊 Selenium 。
等待如今,大多数 Web 应用程序都在使用 AJAX 技术。当浏览器加载页面时,该页面中的元素可能会以不同的时间间隔加载。这使定位元素变得困难:如果 DOM 中尚不存在元素,则定位函数将引发 ElementNotVisibleException 异常。使用等待,我们可以解决此问题。等待在执行的动作之间提供了一定的松弛时间-主要是定位元素或对该元素进行的任何其他操作。
Selenium Webdriver 提供两种类型的等待-隐式和显式。显式等待使 WebDriver 等待特定条件发生,然后再继续执行。隐式等待使 WebDriver 在尝试查找元素时轮询DOM一定时间。
显式等待我们可以使用 time.sleep() 来设定等待时间,完全没有问题,但是它需要将条件设置为要等待的确切时间段。如果我们不知道准确的渲染时间,我们就无法设定一个比较合适的值。