PHP curl 并发抓取 减少阻塞等待时间 PHP curl 并发多线程异步抓取数据

通常情况下 PHP 中的 cURL 是阻塞运行的，就是说创建一个 cURL 请求以后必须等它执行成功或者超时才会执行下一个请求，curl_multi_* 系列函数使并发访问成功可能，PHP 文档对这个函数的介绍不太详细。

首先，先了解下 php中的curl多线程函数：

# curl_multi_add_handle
# curl_multi_close
# curl_multi_exec
# curl_multi_getcontent
# curl_multi_info_read
# curl_multi_init
# curl_multi_remove_handle
# curl_multi_select

一般来说，想到要用这些函数时，目的显然应该是要同时请求多个url，而不是一个一个依次请求，否则不如自己循环去调curl_exec好了。

步骤总结如下：

第一步：调用curl_multi_init
第二步：循环调用curl_multi_add_handle
这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步：持续调用curl_multi_exec
第四步：根据需要循环调用curl_multi_getcontent获取结果
第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close
第六步：调用curl_multi_close

这里有一个网上找的简单例子，但是因为语句不严谨，执行的时候会在等待期占用CPU非常高：

<?php

$connomains = array(
"http://www.cnn.com/",
"http://www.canada.com/",
"http://www.yahoo.com/"
);

$mh = curl_multi_init();

foreach ($connomains as $i => $url) {
     $conn[$i]=curl_init($url);
      curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
      curl_multi_add_handle ($mh,$conn[$i]);
}

do { $n=curl_multi_exec($mh,$active); } while ($active);

foreach ($connomains as $i => $url) {
      $res[$i]=curl_multi_getcontent($conn[$i]);
      curl_close($conn[$i]);
}

print_r($res);
?>

这个简单代码有个致命弱点，就是在do循环阶段，在整个url请求期间是死循环过程，它会轻易导致CPU占用100%。

我们可以利用函数curl_multi_select来对代码进行改进，这个函数能得到的介绍很少，经过一番查找资料

把上面do循环改成下面这样：
               

do {
                        $mrc = curl_multi_exec($mh,$active);
                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                while ($active and $mrc == CURLM_OK) {
                        if (curl_multi_select($mh) != -1) {
                                do {
                                        $mrc = curl_multi_exec($mh, $active);
                                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                        }
                }

因为$active要等全部url数据接收完毕才变成false，所以这里用到了curl_multi_exec的返回值判断是否还有数据，当有数据的时候就不停调用curl_multi_exec，暂时没有数据就进入select阶段，新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。

另外：还有一些细节的地方可能有时候要遇到：

控制每一个请求的超时时间，在curl_multi_add_handle之前通过curl_setopt去做：
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判断是否超时了或者其他错误，在curl_multi_getcontent之前用：curl_error($conn[$i]);

经过改进后，笨牛网用于模拟抓取云探针信息，使用了1000组数据（每组6条网址，相当于并行抓取6000条网址里面的内容）和使用1组数据进行抓取时间对比，发现，1000组耗时12秒，1组耗时11秒，基本上达到了并行抓取的效果（耗时超过10秒是因为，其中设置了超时10秒，这些数据中的某一个网站已经挂掉，无法访问）

附上我们测试用代码

<?php
$urls = array("https://www.bnxb.com/1/1.html", "https://www.bnxb.com/1/2.html", "https://www.bnxb.com/1/3.html", "https://www.bnxb.com/1/4.html", "https://www.bnxb.com/1/5.html");
//里面的链接可以多贴一些,用逗号隔开就行了
 /** 
 * curl 多线程 
 * @param array $array 并行网址 
 * @param int $timeout 超时时间
 * @return array 
 */ 
  $time1=time();  
function Curl_http($array,$timeout){
    $res = array();
    $mh = curl_multi_init();//创建多个curl语柄
    foreach($array as $k=>$url){
        $conn[$k]=curl_init($url);
        curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间
        curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
        curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别
        curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header,加块效率
        curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
        curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);
        curl_multi_add_handle ($mh,$conn[$k]);
    }
    
    // 执行批处理句柄
    $active = null;
    do{
        $mrc = curl_multi_exec($mh,$active);//当无数据,active=true
    }while($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时
    while($active && $mrc == CURLM_OK){//当无数据时或请求暂停时,active=true
 if(curl_multi_select($mh) != -1){
            do{
                $mrc = curl_multi_exec($mh, $active);
            }while($mrc == CURLM_CALL_MULTI_PERFORM);
       }
    }
    
    foreach ($array as $k => $url) {
        curl_error($conn[$k]);
        $res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息
        $header[$k]=curl_getinfo($conn[$k]);//返回头信息
curl_multi_remove_handle($mh, $conn[$k]);//释放资源  
        curl_close($conn[$k]);//关闭语柄
        
    }
    
    curl_multi_close($mh);
    return $res;
    
   }
   
    $data = Curl_http($urls,'10');//调用
    print_r($data);//输出
$time2=time();
echo $time2-$time1;
exit;
?>