curl_multi实现并发
普通请求
curl_normal.php
<?php $srart_time = microtime(TRUE); $chArr=[]; //创建多个cURL资源 for($i=0; $i<10; $i++){ $chArr[$i]=curl_init(); curl_setopt($chArr[$i], CURLOPT_URL, "http://www.52fhy.com/test.json"); curl_setopt($chArr[$i], CURLOPT_RETURNTRANSFER, 1); curl_setopt($chArr[$i], CURLOPT_TIMEOUT, 1); $result[] = curl_exec($chArr[$i]); echo "running "; } // print_r($result); $end_time = microtime(TRUE); echo sprintf("use time:%.3f s", $end_time - $srart_time); ?>
use time:0.830 s
curl_multi并发
curl_multi.php
<?php $srart_time = microtime(TRUE); $chArr=[]; //创建多个cURL资源 for($i=0; $i<10; $i++){ $chArr[$i]=curl_init(); curl_setopt($chArr[$i], CURLOPT_URL, "http://www.52fhy.com/test.json"); curl_setopt($chArr[$i], CURLOPT_RETURNTRANSFER, 1); curl_setopt($chArr[$i], CURLOPT_TIMEOUT, 1); } $mh = curl_multi_init(); //1 创建批处理cURL句柄 foreach($chArr as $k => $ch){ curl_multi_add_handle($mh, $ch); //2 增加句柄 } $active = null; //待优化点: //在$active > 0,执行curl_multi_exec($mh,$active)而整个批处理句柄没有全部执行完毕时,系统会不停地执行curl_multi_exec()函数。 do{ echo "running "; curl_multi_exec($mh, $active); //3 执行批处理句柄 }while($active > 0); //4 foreach($chArr as $k => $ch){ $result[$k]= curl_multi_getcontent($ch); //5 获取句柄的返回值 curl_multi_remove_handle($mh, $ch);//6 将$mh中的句柄移除 } curl_multi_close($mh); //7 关闭全部句柄 // print_r($result); $end_time = microtime(TRUE); echo sprintf("use time:%.3f s", $end_time - $srart_time); ?>
use time:0.259 s
curl_multi并发优化:curl_multi_select
在上个示例里当$active > 0
时,执行curl_multi_exec($mh,$active)
而整个批处理句柄没有全部执行完毕时,系统会不停地执行curl_multi_exec()
函数。这样可能会轻易导致CPU占用很高。
进行改动的方式是应用curl函数库中的curl_multi_select()函数,其函数原型如下:
int curl_multi_select ( resource $mh [, float $timeout = 1.0 ] )
阻塞直到cURL批处理连接中有活动连接。成功时返回描述符集合中描述符的数量。失败时,select失败时返回-1,否则返回超时(从底层的select系统调用)。
我用们curl_multi_select()函数来达到没有需要读取的程序就阻塞住的目的。
下面是优化部分的代码:
curl_multi_select.php
$active = null; do{ echo "running "; $mrc = curl_multi_exec($mh, $active); //3 执行批处理句柄 }while ($mrc == CURLM_CALL_MULTI_PERFORM); //4 //本次循环第一次处理$mh批处理中的$ch句柄,并将$mh批处理的执行状态写入$active ,当状态值等于CURLM_CALL_MULTI_PERFORM时,表明数据还在写入或读取中,执行循环,当第一次$ch句柄的数据写入或读取成功后,状态值变为CURLM_OK,跳出本次循环,进入下面的大循环之中。 //$active 为true,即$mh批处理之中还有$ch句柄正待处理,$mrc==CURLM_OK,即上一次$ch句柄的读取或写入已经执行完毕。 while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) {//$mh批处理中还有可执行的$ch句柄,curl_multi_select($mh) != -1程序退出阻塞状态。 do { $mrc = curl_multi_exec($mh, $active);//继续执行需要处理的$ch句柄。 } while ($mrc == CURLM_CALL_MULTI_PERFORM); } }
这样执行的好处是$mh
批处理中的$ch
句柄会在读取或写入数据结束后($mrc==CURLM_OK
),进入curl_multi_select($mh)
的阻塞阶段,而不会在整个$mh
批处理执行时不停地执行curl_multi_exec,白白浪费CPU资源。
运行结果:
use time:0.325 s
耗时并没有多少改变,只是性能提高了。
curl_multi并发优化:rolling
上面的例子还存在优化的空间, 优化的方式时当某个URL请求完毕之后尽可能快的去处理它, 边处理边等待其他的URL返回, 而不是等待那个最慢的接口返回之后才开始处理等工作, 从而避免CPU的空闲和浪费。
仅贴出修改部分:
curl_multi_rolling.php
$active = null; do { while (($mrc = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM) ; if ($mrc != CURLM_OK) { break; } // a request was just completed -- find out which one while ($done = curl_multi_info_read($mh)) { // get the info and content returned on the request $info = curl_getinfo($done['handle']); $error = curl_error($done['handle']); $result[] = curl_multi_getcontent($done['handle']); // $responses[$map[(string) $done['handle']]] = compact('info', 'error', 'results'); // remove the curl handle that just completed curl_multi_remove_handle($mh, $done['handle']); curl_close($done['handle']); } // Block for data in / output; error handling is done by curl_multi_exec if ($active > 0) { curl_multi_select($mh); } } while ($active);
use time:0.267 s
参考
1、PHP模拟发送POST请求之五curl基本使用和多线程优化
http://www.cnblogs.com/zhenbi...
2、Rolling cURL: PHP并发最佳实践
https://www.oschina.net/quest...
3、curl_multi_select解决curl_multi网页假死问题
http://www.webkaka.com/tutori...