php使用curl和正则表达式抓取网页数据示例

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode

SpiderTools.class.php

复制代码 代码如下:

<?php
  session_start();
 //封装成类 开启这些自动抓取文章
  #header("Refresh:30;:8080");
 class SpiderTools{ 
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 /*传入文章ID 解析出文章标题*/
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 public function getBookNameById($aid){
  //初始化curl
  $ch= curl_init();
  //url
  $url='http://www.motie.com/book/'.$aid;
  if(is_numeric($aid)){
  //正则表达式匹配
  $ru="/<h1\sclass=https://www.jb51.net/article/\"p-title\">\s*<a\shref=https://www.jb51.net/article/\"\/book\/\d+\">(.*)\s*<\/a>\s*<\/h1>/";
  }
  else{
  //<title>丧尸爆发之全家求生路_第一章  丧尸爆发 　为吾友爱乐儿更新~_磨铁</title>
  $ru="/<title>(.*)<\/title>/";
  }
  //设置选项，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //执行curl
  $output = curl_exec($ch);
  //错误提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 检查是否有错误发生
  if(curl_errno($ch)){
  echo 'Curl error: ' . curl_error($ch);
  }
  //释放curl句柄
  curl_close($ch);
  $arr=array();
  preg_match_all($ru,$output,$arr);
  return $arr[1][0];
   }
 //////////////////////////////////////////////////////////////////////////////////////////////////////////     
 /*传入文章ID  解析文章内容*/
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 public  function getBookContextById($aid){
  //开始解析文章
  $ids=array();
  $ids=explode("_",$aid);
  $titleId=trim($ids[0]);
  $aticleId=trim($ids[1]);
  $ch= curl_init();
  $ru="/<div class=https://www.jb51.net/article/\"page-content\">[\s\S]*<pre ondragstart=https://www.jb51.net/article/\"return false\" oncopy=https://www.jb51.net/article/\"return false;\" oncut=https://www.jb51.net/article/\"return false;\" oncontextmenu=https://www.jb51.net/article/\"return false\" class=https://www.jb51.net/article/\"note\" id=https://www.jb51.net/article/\"html_content_\d*\">[\s\S]*(.*)<img src=https://www.jb51.net/article/\"\/ajax\/chapter\/$titleId\/$aticleId\" class=https://www.jb51.net/article/\"hidden\" \/><\/pre>/ui"; 
  $url='http://www.motie.com/book/'.$aid;
  //正则表达式匹配

//设置选项，包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //执行curl
  $output = curl_exec($ch);
  //错误提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 检查是否有错误发生
  if(curl_errno($ch)){
   echo 'Curl error: ' . curl_error($ch);
  }
  $arr=array();
  $arr2=array();
  preg_match_all($ru,$output,$arr);
  curl_close($ch);
  #var_dump($arr);
  $s=$arr[0][0];
  $s=substr($s,180);
  $arr2=explode("<img",$s);
  return trim($arr2[0]);
 }

////////////////////////////////////////////////////////////////////////////////////////////////////////// 
 /*静态方法 @生成小说文件 可以直接调用 */
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
     public static function createBookById($id){
  
  if(!is_numeric($id)){