Detailed explanation of curl_multi concurrency in PHP

Detailed explanation of curl_multi concurrency in PHP

curl_multi series functions in PHP You can request multiple URLs at the same time to achieve concurrency, instead of blocking after requesting like a normal curl function, and not making the next request until the result is returned. Therefore, when requesting URLs in batches, the curl_multi series of functions can be used to improve the running efficiency of the program.

curl normal request

$startTime = microtime(true); $chArr = []; $optArr = [ CURLOPT_URL => 'http://www.httpbin.org/ip', CURLOPT_HEADER => 0, CURLOPT_RETURNTRANSFER => 1, ]; $result = []; //创建多个curl资源并执行 for ($i=0; $i<10; $i++) { $chArr[$i] = curl_init(); curl_setopt_array($chArr[$i], $optArr); $result[$i] = curl_exec($chArr[$i]); curl_close($chArr[$i]); } $endTime = microtime(true); echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime);use time: 6.080 s

use time: 6.080 s

curl_multi concurrent request

$startTime = microtime(true); $chArr = []; $optArr = [ CURLOPT_URL => 'http://www.httpbin.org/ip', CURLOPT_HEADER => 0, CURLOPT_RETURNTRANSFER => 1, ]; $result = []; //创建多个curl资源 for ($i=0; $i<10; $i++) { $chArr[$i] = curl_init(); curl_setopt_array($chArr[$i], $optArr); } //创建批处理curl句柄 $mh = curl_multi_init(); //将单个curl句柄添加到批处理curl句柄中 foreach ($chArr as $ch) { curl_multi_add_handle($mh, $ch); } //判断操作是否仍在执行的标识的引用 $active = null; /** * 本次循环第一次处理 $mh 批处理中的 $ch 句柄，并将 $mh 批处理的执行状态写入 $active， * 当状态值等于 CURLM_CALL_MULTI_PERFORM 时，表明数据还在写入或读取中，执行循环， * 当第一次 $ch 句柄的数据写入或读取成功后，状态值变为 CURLM_OK ，跳出本次循环，进入下面的大循环中。 */ do { //处理在批处理栈中的每一个句柄 $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); /** * 上面这段代码中，是可以直接使用 $active > 0 来作为 while 的条件，如下： * do { * $mrc = curl_multi_exec($mh, $active); * } while ($active > 0); * 此时如果整个批处理句柄没有全部执行完毕时，系统会不停的执行 curl_multi_exec 函数，从而导致系统CPU占用会很高， * 因此一般不采用这种方案，可以通过 curl_multi_select 函数来达到没有需要读取的程序就阻塞住的目的。 */ /** * $active 为 true 时，即 $mh 批处理之中还有 $ch 句柄等待处理， * $mrc == CURLM_OK，即上一次 $ch 句柄的读取或写入已经执行完毕。 */ while ($active && $mrc == CURLM_OK) { /** * 程序进入阻塞状态，直到批处理中有活动连接（即 $mh 批处理中还有可执行的 $ch 句柄）， * 这样执行的好处是 $mh 批处理中的 $ch 句柄会在读取或写入数据结束后（$mrc == CURLM_OK）进入阻塞阶段， * 而不会在整个 $mh 批处理执行时不停地执行 curl_multi_exec 函数，白白浪费CPU资源。 */ if (curl_multi_select($mh) != -1) { //程序退出阻塞状态继续执行需要处理的 $ch 句柄 do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } foreach ($chArr as $i=>$ch) { //获取某个curl句柄的返回值 $result[$i] = curl_multi_getcontent($ch); //移除批处理句柄中的某个句柄资源 curl_multi_remove_handle($mh, $ch); } //关闭一组curl句柄 curl_multi_close($mh); $endTime = microtime(true); echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime);

use time: 0.599 s

By comparing the running time of the above program, we can know that concurrent requests using the curl_multi series of functions are much more efficient than sequential requests using the ordinary curl function. .

Recommended tutorial: "PHP Video Tutorial"

The above is the detailed content of Detailed explanation of curl_multi concurrency in PHP. For more information, please follow other related articles on the PHP Chinese website!