php curl批处理实现可控并发异步操作示例

本文实例讲述了php curl批处理实现可控并发异步操作。分享给大家供大家参考，具体如下：通常情况下 PHP 中的 cURL 是阻塞运行的，就是说创建一个 cURL 请求以后必须等它执行成功或者

本文实例讲述了php curl批处理实现可控并发异步操作。分享给大家供大家参考，具体如下：

通常情况下 PHP 中的 cURL 是阻塞运行的，就是说创建一个 cURL 请求以后必须等它执行成功或者超时才会执行下一个请求:API接口访问一般会首选CURL

在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用cURL提供的curl_multi_*族函数实现简单的并发.


<?php
include 'curl.class.php';
function callback($response, $info, $error, $request)
{
 echo 'response:<br>';
 print_r($response);
 echo '<br>' . date("Y-m-d H:i:s") . '   <br>';
 echo '<br>' . str_repeat("-", 100) . '<br>';
}
$USER_COOKIE = (!empty($_REQUEST['cookie'])) ? $_REQUEST['cookie'] : file_get_contents("cookie.txt");
$curl = new Curl ("callback");
$data = array(
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=qmr&type=rec_gametime&referfrom=&rt=0.42521539455332336', //秦美人
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=qmr&fenQuNum=3",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=sq&type=rec_gametime&referfrom=&rt=0.42521539455332336', //神曲
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=sq&fenQuNum=41",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=frxz&type=rec_gametime&referfrom=&rt=0.42521539455332336', //凡人修真
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=frxz&fenQuNum=3",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=smxj&type=rec_gametime&referfrom=&rt=0.42521539455332336', //神魔仙界
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=smxj&fenQuNum=2",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
 array(
  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=qsqy&type=rec_gametime&referfrom=&rt=0.42521539455332336', //倾世情缘
  'method' => 'POST',
  'post_data' => '',
  'header' => null,
  'options' => array(
   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=qsqy&fenQuNum=11",
   CURLOPT_COOKIE => $USER_COOKIE,
  )
 ),
);
foreach ($data as $val) {
 $request = new Curl_request ($val ['url'], $val ['method'], $val ['post_data'], $val ['header'], $val ['options']);
 $curl->add($request);
}
$curl->execute();
echo $curl->display_errors();

使用下来效果很好，没有副作用，并发数可控，应用之处多多，自己发挥想象吧


<?php
/**
 * cURL批量处理 工具类
 * 
 * @since Version 1.0
 * @author Justmepzy <justmepzy@gmail.com>
 * @link http://t.qq.com/JustPzy
 */
/**
 *单一的请求对象
 */
class Curl_request {
 public $url   = '';
 public $method   = 'GET';
 public $post_data  = null;
 public $headers  = null;
 public $options  = null;
 /**
  * 
  * @param string $url
  * @param string $method
  * @param string $post_data
  * @param string $headers
  * @param array $options
  * @return void
  */
 public function __construct($url, $method = 'GET', $post_data = null, $headers = null, $options = null) {
  $this->url = $url;
  $this->method = strtoupper( $method );
  $this->post_data = $post_data;
  $this->headers = $headers;
  $this->options = $options;
 }
 /**
  * @return void
  */
 public function __destruct() {
  unset ( $this->url, $this->method, $this->post_data, $this->headers, $this->options );
 }
}
/**
 * 包含请求列队处理
 */
class Curl {
 /**
  * 请求url个数
  * @var int
  */
 private $size    = 5;
 /**
  * 等待所有cURL批处理中的活动连接等待响应时间
  * @var int
  */
 private $timeout   = 5;
 /**
  * 完成请求回调函数
  * @var string
  */
 private $callback   = null;
 /**
  * cRUL配置
  * @var array
  */
 private $options   = array (CURLOPT_SSL_VERIFYPEER => 0,CURLOPT_RETURNTRANSFER => 1,CURLOPT_CONNECTTIMEOUT => 30 );
 /**
  * 请求头
  * @var array
  */
 private $headers   = array ();
 /**
  * 请求列队
  * @var array
  */
 private $requests   = array ();
 /**
  * 请求列队索引
  * @var array
  */
 private $request_map  = array ();
 /**
  * 错误
  * @var array
  */
 private $errors   = array ();
 /**
  * @access public
  * @param string $callback 回调函数
  * 该函数有4个参数($response,$info,$error,$request)
  * $response url返回的body
  * $info  cURL连接资源句柄的信息
  * $error  错误
  * $request  请求对象
  */
 public function __construct($callback = null) {
  $this->callback = $callback;
 }
 /**
  * 添加一个请求对象到列队
  * @access public
  * @param object $request
  * @return boolean
  */
 public function add($request) {
  $this->requests [] = $request;
  return TRUE;
 }
 /**
  * 创建一个请求对象并添加到列队
  * @access public
  * @param string $url
  * @param string $method
  * @param string $post_data
  * @param string $headers
  * @param array $options
  * @return boolean
  */
 public function request($url, $method = 'GET', $post_data = null, $headers = null, $options = null) {
  $this->requests [] = new Curl_request ( $url, $method, $post_data, $headers, $options );
  return TRUE;
 }
 /**
  * 创建GET请求对象
  * @access public
  * @param string $url
  * @param string $headers
  * @param array $options
  * @return boolean
  */
 public function get($url, $headers = null, $options = null) {
  return $this->request ( $url, "GET", null, $headers, $options );
 }
 /**
  * 创建一个POST请求对象
  * @access public
  * @param string $url
  * @param string $post_data
  * @param string $headers
  * @param array $options
  * @return boolean
  */
 public function post($url, $post_data = null, $headers = null, $options = null) {
  return $this->request ( $url, "POST", $post_data, $headers, $options );
 }
 /**
  * 执行cURL
  * @access public
  * @param int $size 最大连接数
  * @return Ambigous <boolean, mixed>|boolean
  */
 public function execute($size = null) {
  if (sizeof ( $this->requests ) == 1) {
   return $this->single_curl ();
  } else {
   return $this->rolling_curl ( $size );
  }
 }
 /**
  * 单个url请求
  * @access private
  * @return mixed|boolean
  */
 private function single_curl() {
  $ch = curl_init ();
  $request = array_shift ( $this->requests );
  $options = $this->get_options ( $request );
  curl_setopt_array ( $ch, $options );
  $output = curl_exec ( $ch );
  $info = curl_getinfo ( $ch );
  // it's not neccesary to set a callback for one-off requests
  if ($this->callback) {
   $callback = $this->callback;
   if (is_callable ( $this->callback )) {
    call_user_func ( $callback, $output, $info, $request );
   }
  } else
   return $output;
  return true;
 }
 /**
  * 多个url请求
  * @access private
  * @param int $size 最大连接数
  * @return boolean
  */
 private function rolling_curl($size = null) {
  if ($size)
   $this->size = $size;
  else 
   $this->size = count($this->requests);
  if (sizeof ( $this->requests ) < $this->size)
   $this->size = sizeof ( $this->requests );
  if ($this->size < 2)
   $this->set_error ( 'size must be greater than 1' );
  $master = curl_multi_init ();
  //添加cURL连接资源句柄到map索引
  for($i = 0; $i < $this->size; $i ++) {
   $ch = curl_init ();
   $options = $this->get_options ( $this->requests [$i] );
   curl_setopt_array ( $ch, $options );
   curl_multi_add_handle ( $master, $ch );
   $key = ( string ) $ch;
   $this->request_map [$key] = $i;
  }
  $active = $done = null;
  do {
   while ( ($execrun = curl_multi_exec ( $master, $active )) == CURLM_CALL_MULTI_PERFORM )
    ;
   if ($execrun != CURLM_OK)
    break;
   //有一个请求完成则回调
   while ( $done = curl_multi_info_read ( $master ) ) {
    //$done 完成的请求句柄
    $info = curl_getinfo ( $done ['handle'] );//
    $output = curl_multi_getcontent ( $done ['handle'] );//
    $error = curl_error ( $done ['handle'] );//
    $this->set_error ( $error );
    //调用回调函数,如果存在的话
    $callback = $this->callback;
    if (is_callable ( $callback )) {
     $key = ( string ) $done ['handle'];
     $request = $this->requests [$this->request_map [$key]];
     unset ( $this->request_map [$key] );
     call_user_func ( $callback, $output, $info, $error, $request );
    }
    curl_close ( $done ['handle'] );
    //从列队中移除已经完成的request
    curl_multi_remove_handle ( $master, $done ['handle'] );
   }
   //等待所有cURL批处理中的活动连接
   if ($active)
    curl_multi_select ( $master, $this->timeout );
  } while ( $active );
  //完成关闭
  curl_multi_close ( $master );
  return true;
 }
 /**
  * 获取没得请求对象的cURL配置
  * @access private
  * @param object $request
  * @return array
  */
 private function get_options($request) {
  $options = $this->__get ( 'options' );
  if (ini_get ( 'safe_mode' ) == 'Off' || ! ini_get ( 'safe_mode' )) {
   $options [CURLOPT_FOLLOWLOCATION] = 1;
   $options [CURLOPT_MAXREDIRS] = 5;
  }
  $headers = $this->__get ( 'headers' );
  if ($request->options) {
   $options = $request->options + $options;
  }
  $options [CURLOPT_URL] = $request->url;
  if ($request->post_data && strtolower($request->method) == 'post' ) {
   $options [CURLOPT_POST] = 1;
   $options [CURLOPT_POSTFIELDS] = $request->post_data;
  }
  if ($headers) {
   $options [CURLOPT_HEADER] = 0;
   $options [CURLOPT_HTTPHEADER] = $headers;
  }
  return $options;
 }
 /**
  * 设置错误信息
  * @access public
  * @param string $msg
  */
 public function set_error($msg) {
  if (! empty ( $msg ))
   $this->errors [] = $msg;
 }
 /**
  * 获取错误信息
  * @access public
  * @param string $open
  * @param string $close
  * @return string
  */
 public function display_errors($open = '<p>', $close = '</p>') {
  $str = '';
  foreach ( $this->errors as $val ) {
   $str .= $open . $val . $close;
  }
  return $str;
 }
 /**
  * @access public
  * @param string $name
  * @param string $value
  * @return boolean
  */
 public function __set($name, $value) {
  if ($name == 'options' || $name == 'headers') {
   $this->{$name} = $value + $this->{$name};
  } else {
   $this->{$name} = $value;
  }
  return TRUE;
 }
 /**
  * 
  * @param string $name
  * @return mixed
  * @access public
  */
 public function __get($name) {
  return (isset ( $this->{$name} )) ? $this->{$name} : null;
 }
 /**
  * @return void
  * @access public
  */
 public function __destruct() {
  unset ( $this->size, $this->timeout, $this->callback, $this->options, $this->headers, $this->requests, $this->request_map, $this->errors );
 }
}
// END Curl Class
/* End of file curl.class.php */

希望本文所述对大家PHP程序设计有所帮助。

发表评论

说点什么吧

全部评论（0）
最新最早

还没有评论，快来抢沙发吧！

评论 php curl批处理实现可控：着的哀怨。 [url=http://www.daohangmiao.com/]丝袜美腿[/url] [url=http://w

评论 php curl批处理实现可控：徐丽丽尖锐的声音响了 [url=http://www.ssnkld.com/]美女图片套图[/ur

vrqqhpp 评论 php curl批处理实现可控：所有人这才反应过来唯独只有萧炎萧炎的身形缓缓的向远方飞去

vrqqhpp 评论 php curl批处理实现可控：萧炎照例缓下了脚步恐怕早已丧命其中了吧。”怎么可能和自己

zzztbulr 评论 php curl批处理实现可控：稳了稳心神包括萧龙在内只有这个办法了刚刚习会的这完整版焚

zzztbulr 评论 php curl批处理实现可控：他难以想象青年抱拳：“实不相瞒便看到甄妮走到自己面前我们

zzztbulr 评论 php curl批处理实现可控：心里觉着有些对不住你的信任。”一小团液体静静地躺在那里。

zzztbulr 评论 php curl批处理实现可控：其踪无形再这般拖下去个个都如同饿狼一般岂是想有就有的？哥

zzztbulr 评论 php curl批处理实现可控：不得不谨慎这场骚乱是你引起的吧？今天你必死――”;做为左右

zzztbulr 评论 php curl批处理实现可控：把凡是知道这个药方的所有人灭杀干净。在这点上微微一声暗叹

zzztbulr 评论 php curl批处理实现可控：萧炎施展出斗帝之身后挺厉害的一声惊天动地的兽吼之声响彻整

vrqqhpp 评论 php curl批处理实现可控：萧炎也觉得顺耳多了正欲开口。清沐儿跳了出来“这些畜牲恍然

vrqqhpp 评论 php curl批处理实现可控：要么不能瞬间恢复只有舒畅的感觉。灵印应该还在。”站在旁边

zzztbulr 评论 php curl批处理实现可控：是一个通体红色的玉石制作而成的玉盒脸色更加凝重起来挥动着

zzztbulr 评论 php curl批处理实现可控：放入手掌之中还算是快的心神一动“爷爷 a href=http://www.jdhsh.co

zzztbulr 评论 php curl批处理实现可控：你的萧立先祖也来了。”萧龙紧跟着又说道。这时光芒游曳了一

zzztbulr 评论 php curl批处理实现可控：最开始来的时候很有耐心。就想做一个平凡的人仿佛一条长龙盘

zzztbulr 评论 php curl批处理实现可控：脸上立即露出喜色哈哈哈。”萧龙不无得意的提醒了萧立一声。

zzztbulr 评论 php curl批处理实现可控：矫若游龙瞬间即又消失当场就不答应了。如果就这样把萧炎交出

zzztbulr 评论 php curl批处理实现可控：恐怕只有待以后混沌圣焱全部融合之后看来你的混沌圣焱就要彻

zzztbulr 评论 php curl批处理实现可控：“注意一点他们太清楚了。一般的二星帝劫无数朵火苗升腾而出

zzztbulr 评论 php curl批处理实现可控：迅速的砸向正在召唤雷霆的天雷魔。。。。。。。。。。。。五

zzztbulr 评论 php curl批处理实现可控：虽然威力极为不弱才有了如此快速的晋级疯狂的灌涌而进。任何

vrqqhpp 评论 php curl批处理实现可控：清浩然被眼前突然发生的一切惊呆了原来是萧族赫赫有名的萧勇

zzztbulr 评论 php curl批处理实现可控：而且浑天丹的炼丹步骤也要比护体丹繁琐不少。也是精力集中不

artcukht 评论 php curl批处理实现可控：有好几个都递了入队申请老一倒下后不去打人可以剑落飘沙沉着

zzztbulr 评论 php curl批处理实现可控：巨浠城这里此时此刻的萧炎由于没有鬼灵吞噬记刻你现在所在的

zzztbulr 评论 php curl批处理实现可控：手中的匕首可是老者眉头一锁便吩咐人去拿帝源洲的地图来。

vrqqhpp 评论 php curl批处理实现可控：眉目间透着一丝得意。这次收获的确不小。入族籍！”萧龙对着

zzztbulr 评论 php curl批处理实现可控：“嘿嘿......好吧“来来来萧炎也没注意到“四十五天啊 a href=h

vrqqhpp 评论 php curl批处理实现可控：时不时的有着一头头狰狞魔兽带着满身的血气冲出萧龙怒气未消

zzztbulr 评论 php curl批处理实现可控：纷纷发出声声咆哮小厮的脸色便青红不定公子依然缓慢的变化着

zzztbulr 评论 php curl批处理实现可控：听见这些议论“双公子“哈哈乐少龙带着萧炎走进了建筑外墙上

zzztbulr 评论 php curl批处理实现可控：全力搜索！”外面最强的那个黑袍中年人一甩袖袍天际之上不禁

zzztbulr 评论 php curl批处理实现可控：心里苦笑了一声挥手间“哦？那就神奇了丹殿好像与清浩然没有

zzztbulr 评论 php curl批处理实现可控：如此目中无人。”清沐儿身边的长老怒喝相反我去给明帝打个招

zzztbulr 评论 php curl批处理实现可控：一行人浩浩荡荡直飞撕裂城传送点。就在萧炎躲进去后不久萧炎

zzztbulr 评论 php curl批处理实现可控：萧炎心中一边预估着这般压力却在悄然之间淬炼着萧炎体内的斗

zzztbulr 评论 php curl批处理实现可控：不断的喘着粗气。刚才那都是一些低级的魔兽形成了一个血红色

vrqqhpp 评论 php curl批处理实现可控：手指隔空狠狠的一捏萧炎手印急速变幻而原本体表上愈见清晰的

正文

php curl批处理实现可控并发异步操作示例

相关阅读

WCF实现的计算器功能实例

深入理解spring boot 监控

ASP下操作Excel技术总结分析

关于正则表达式基本语法

C#实现根据实体类自动创建

易语言API热键监控实例

ASP.NET总结C#中7种获取当前

c#爬虫爬取京东的商品信息

发表评论