CURLOPT_FOLLOWLOCATION: 设置这个选项为一个非零值(象 "Location: ")的头，服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如 "Location: "的头)。
CURLOPT_PUT: 设置这个选项为一个非零值去用HTTP上传一个文件。要上传这个文件必须设置CURLOPT_INFILE和CURLOPT_INFILESIZE选项.
CURLOPT_MUTE: 设置这个选项为一个非零值，PHP对于CURL函数将完全沉默。
CURLOPT_TIMEOUT: 设置一个长整形数，作为最大延续多少秒。
CURLOPT_LOW_SPEED_LIMIT: 设置一个长整形数，控制传送多少字节。
CURLOPT_LOW_SPEED_TIME: 设置一个长整形数，控制多少秒传送CURLOPT_LOW_SPEED_LIMIT规定的字节数。
CURLOPT_RESUME_FROM: 传递一个包含字节偏移地址的长整形参数，(你想转移到的开始表单)。
CURLOPT_SSLVERSION: 传递一个包含SSL版本的长参数。默认PHP将被它自己努力的确定，在更多的安全中你必须手工设置。
CURLOPT_TIMECONDITION: 传递一个长参数，指定怎么处理CURLOPT_TIMEVALUE参数。你可以设置这个参数为TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。这仅用于HTTP。
CURLOPT_TIMEVALUE: 传递一个从1970-1-1开始到现在的秒数。这个时间将被CURLOPT_TIMEVALUE选项作为指定值使用，或被默认TIMECOND_IFMODSINCE使用。
下列选项的值将被作为字符串：
CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项。
CURLOPT_USERPWD: 传递一个形如[username]:[password]风格的字符串,作用PHP去连接。
CURLOPT_PROXYUSERPWD: 传递一个形如[username]:[password] 格式的字符串去连接HTTP代理。
CURLOPT_RANGE: 传递一个你想指定的范围。它应该是"X-Y"格式，X或Y是被除外的。HTTP传送同样支持几个间隔，用逗句来分隔(X-Y,N-M)。
CURLOPT_POSTFIELDS: 传递一个作为HTTP “POST”操作的所有数据的字符串。
CURLOPT_REFERER: 在HTTP请求中包含一个"referer"头的字符串。
CURLOPT_USERAGENT: 在HTTP请求中包含一个"user-agent"头的字符串。
CURLOPT_FTPPORT: 传递一个包含被ftp "POST"指令使用的IP地址。这个POST指令告诉远程服务器去连接我们指定的IP地址。 这个字符串可以是一个IP地址，一个主机名，一个网络界面名(在UNIX下)，或是'-'(使用系统默认IP地址)。
CURLOPT_COOKIE: 传递一个包含HTTP cookie的头连接。
CURLOPT_SSLCERT: 传递一个包含PEM格式证书的字符串。
CURLOPT_SSLCERTPASSWD: 传递一个包含使用CURLOPT_SSLCERT证书必需的密码。
CURLOPT_COOKIEFILE: 传递一个包含cookie数据的文件的名字的字符串。这个cookie文件可以是Netscape格式，或是堆存在文件中的HTTP风格的头。
CURLOPT_CUSTOMREQUEST: 当进行HTTP请求时，传递一个字符被GET或HEAD使用。为进行DELETE或其它操作是有益的，更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request.
注意: 在确认你的服务器支持命令先不要去这样做。
下列的选项要求一个文件描述(通过使用fopen()函数获得)：
CURLOPT_FILE: 这个文件将是你放置传送的输出文件，默认是STDOUT.
CURLOPT_INFILE: 这个文件是你传送过来的输入文件。
CURLOPT_WRITEHEADER: 这个文件写有你输出的头部分。
CURLOPT_STDERR: 这个文件写有错误而不是stderr。
* curl_exec
curl_exec -- 执行一个CURL会话
描述
bool curl_exec (int ch)
在你初始化一个CURL会话，及为这个会话设置了所有的选项后，这个函数将被调用。它的目的仅仅是执行预先确定的CURL会话(通过给定的ch参数)。
* curl_close
curl_close -- 关闭一个CURL会话
描述
void curl_close (int ch)
这个函数关闭一个CURL会话，并且释放所有的资源。CURL句柄(ch参数)也被删除。
* curl_version
curl_version -- 返回当前CURL版本
描述
string curl_version (void)
curl_version()函数返回一个包含CURL版本的字符串。
<?php class MultiHttpRequest{ public $urls = array(); public $curlopt_header = 0; public $cookie_file = ''; public $collect_save_file = ''; public $start_timestamp = ''; public $end_timestamp = ''; private $log_handle = ''; private $collect_save_handle = ''; private $db_conn = false; private $pre_break_goods_id = ''; //上一次强制退出的id private $per_break_brand_id = ''; //上一次更新到的brand_id private $main_log_id = ''; //本次更新的主表日志id private $start_time = ''; public $login_session = ''; public $date_char = ''; private $mode = ''; private $sql_log_handle = ''; function __construct($upgrade_date='', $force_upt=false) { $this->mysql_init(); } private function mysql_init(){ $db_name = 'dbname'; $db_user = 'name'; $db_pass = 'pass'; $db_host = 'localhost'; $db_conn = mysql_connect($db_host, $db_user, $db_pass) ; if(!$db_conn){ echo '数据库连接失败!'; exit; } $this->db_conn = $db_conn; mysql_select_db($db_name); } public function init_login(){ //第一步模拟登陆 $target_url = 'http://www.test.com/login.jsp'; //post 提交的数据 $post_fields = array( 'username' => '卓雅秀淘宝', 'password' => 'joarshow.taobao.com', 't_url' => '', 'Submit2' => ' 登 录 ' ); //保存登陆的cookie $cookie_file = dirname(__FILE__).'/cookie_'.time().'.txt'; $this->cookie_file = $cookie_file; //存cookie $ch = curl_init($target_url); curl_setopt($ch, CURLOPT_HEADER, 1); // curl_setopt($ch, CURLOPT_COOKIESESSION, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields); curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); $login_contents = curl_exec($ch); curl_close($ch); } /** * 测试 * * @param unknown_type $test_url */ public function get_one_file($test_url){ $ch = curl_init($test_url); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_COOKIE, $this->login_session); curl_setopt($ch, CURLOPT_REFERER, 'http://www.test.com/welcome.shtml'); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)'); $contents = curl_exec($ch); curl_close($ch); return $contents; } public function point_url_brand($url){ $ch = curl_init($url); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_COOKIE, $this->login_session); curl_setopt($ch, CURLOPT_REFERER, 'http://www.test.com/product.shtml'); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)'); $contents = curl_exec($ch); // echo htmlspecialchars($contents);exit; curl_close($ch); return $contents; } }
使用CURL抓取淘宝页面集成方法
代码如下：