有些网站需要登录才能执行下一步操作，比如在京东购物需要先登录。网站服务器使用session来记录客户端用户，每一个session对应一个用户，而前面的代码每次创建一个请求都会重新建立一个session。即使登录成功，在执行下一步操作由于新创建了一个连接，登录也是无效的。这时就得想办法让服务器认为这一系列的请求来自同一个session。
客户端只有Cookies，为了在下次请求的时候让服务器知道该客户端对应哪个session，Cookies中会有一个记录session ID的记录。所以，只要Cookies相同，对服务器来说就是同一个用户。
这时需要使用到CookieContainer，顾名思义，这就是一个Cookies容器。HttpWebRequest有一个CookieContainer属性。只要把每次请求的Cookies都记录在CookieContainer，下次请求时设置HttpWebRequest的CookieContainer属性，由于Cookies相同，对于服务器来说就是同一个用户了。
public String Get(String url, String encode = DEFAULT_ENCODE) { HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest; InitHttpWebRequestHeaders(request); request.Method = "GET"; request.CookieContainer = cookieContainer; HttpWebResponse response = request.GetResponse() as HttpWebResponse; foreach (Cookie c in response.Cookies) { cookieContainer.Add(c); } }
分析调试网站
以上就实现了模拟HTTP请求，当然，最重要的还是分析站。一般的情况都是没有文档、找不到网站开发人员，从一个黑盒子开始探索。分析工具有很多，推荐使用Chrome+插件Advanced Rest Client，Chrome的开发者工具能让我们知道打开一个网页时后台做了哪些操作与请求，Advanced Rest Client可模拟发送请求。
比如在登录京东时，会提交如下数据：
我们还能看到京东的密码居然是明文传输，安全性很让人担心啊！
还能看到返回的数据：
返回的是JSON数据，不过\u8d26这些是什么？其实这是Unicode编码，使用Unicode编码转换工具，即可转换成可读的文字，比如这次返回的结果是：账户名与密码不匹配，请重新输入。
解析HTML
HTTP请求获得的数据一般是HTML格式，有时也可能是Json或XML。需要解析才能提取有用数据。解析HTML的组件有：
•HTML Parser。多个平台可用，如Java/C#/Python。很久没用了。
•HtmlAgilityPack。通过通过XPath来解析HMTL。一直使用。 关于XPath教程，可以看W3School的XPath教程。
结语
本文介绍了开发模拟自动网页操作所需要的技能，从模拟HTTP/HTTPS请求，到Cookies、分析网站、解析HTML。代码旨在说明使用方法，并非完整代码，可能无法直接运行。
以上这篇模拟HTTP请求实现网页自动操作及数据采集的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章: