四、需要cookie支持的采集
对于模拟登录的应用，单单提交参数和模拟来路并不能解决问题，这时候我们就需要保存或者提交相应的Cookie参数，这个在PHP cURL里面也提供了相应的参数:
CURLOPT_COOKIE： 直接使用字符串方式提交cookie参数
CURLOPT_COOKIEFILE： 使用文件方式提交cookie参数
CURLOPT_COOKIEJAR： 保存提交后反馈的cookie数据
下面是PHP100的模拟登录示例：
<?php header("content-Type: text/html; charset=UTF-8"); $cookie_file = tempnam('./temp', 'cookie'); $login_url="http://bbs.php100.com/login.php"; $post_fields="cktime=36000&step=2&pwuser=username&pwpwd=password"; //提交登录表单请求 $ch=curl_init($login_url); curl_setopt($ch,CURLOPT_HEADER,0); curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); curl_setopt($ch,CURLOPT_POST,1); curl_setopt($ch,CURLOPT_POSTFIELDS,$post_fields); curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file); //存储提交后得到的cookie数据 curl_exec($ch); curl_close($ch); //登录成功后，获取bbs首页数据 $url="http://bbs.php100.com/index.php"; $ch=curl_init($url); curl_setopt($ch,CURLOPT_HEADER,0); curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); curl_setopt($ch,CURLOPT_COOKIEFILE,$cookie_file); //使用提交后得到的cookie数据做参数 $contents=curl_exec($ch); curl_close($ch); //转码显示 echo iconv('gbk', 'UTF-8', $contents);
五、压缩网页采集（gzip）
有些没有接触过压缩页面的朋友估计会在这里被坑死，因为他们会发现采集回来的内容是乱码，并且无论使用iconv还是强大的mb_convert_encoding都无法还原数据，然后又没有概念，各种抓狂却找不到方法，哈哈，我曾经也是这样~
如图（五）是乱码表现形式：
还好最后功夫不负有心人，还是找到了，它就是CURLOPT_ENCODING参数。
比如，采集搜狐的新闻时候就遇到gzip压缩问题，下面是示例：
<?php $url = 'http://news.sohu.com/'; $ch = curl_init($url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回数据不直接输出 curl_setopt($ch, CURLOPT_ENCODING, "gzip"); //指定gzip压缩 $content = curl_exec($ch); //执行并存储结果 curl_close($ch); echo $content;
手册说明：支持的编码有"identity"，"deflate"和"gzip"。如果为空字符串""，请求头会发送所有支持的编码类型。
后面一句表明，使用curl_setopt($ch, CURLOPT_ENCODING, "");也是可以的，但是不能不加这个参数。
六、SSL链接的采集
有些请求链接是https类型的，这时候使用cURL采集可能会失败，这时候，我们可以使用 var_dump(curl_error($ch));的方法打印错误提示，然后根据错误提示查找相应的解决方案。比如SSL错误常见提示：SSL certificate problem: unable to get local issuer certificate，这时候，我们就需要利用参数：CURLOPT_SSL_VERIFYPEER 和 CURLOPT_SSL_VERIFYHOST 来禁用SSL证书的验证，我尝试过只使用CURLOPT_SSL_VERIFYPEER参数禁用失败，所以大家最好同时使用两个参数。
下面是代码示例：
<?php $searchStr = 'RC376981638HK'; $post = 'accion=LocalizaUno&numero='.$searchStr.'&ecorreo=&numeros='; $url = 'https://aplicacionesweb.correos.es/localizadorenvios/track.asp'; $ch = curl_init($url); //初始化curl curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回数据不直接输出 curl_setopt($ch, CURLOPT_POST, 1); //发送POST类型数据 curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST数据，$post可以是数组，也可以是拼接参数串 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //SSL 报错时使用 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); //SSL 报错时使用 $contents = curl_exec($ch); //执行并存储结果 // var_dump(curl_error($ch)); //获取失败是使用（采集错误提示） curl_close($ch); echo $contents;
七、代理采集
大家都知道，国内存在万恶的墙，所以，假如我们需要获取某些被墙数据时，就需要用到国外代理服务器；又或者我们需要采集大量数据时，需要不断切换IP，也会用到代理。
使用代理在PHP cURL里面有几个相对应的参数：CURLOPT_PROXY、CURLOPT_PROXYPORT 和 CURLOPT_PROXYUSERPWD，还有另外几个，这里不列举。
CURLOPT_PROXY 指定代理IP参数
CURLOPT_PROXYPORT 指定代理端口参数
CURLOPT_PROXYUSERPWD 指定需要验证的代理的账号密码，"[username]:[password]"格式的字符串
关于代理账号获取，大家自己发挥，我这里提供网上搜索到的一个列表：cURL 高匿代理
下面是代理采集示例：