首页 PHP 库 其它类库 php的curl多线程采集类
php的curl多线程采集类
<?php
<?php
set_time_limit(0);
$urls = array('http://www.baidu.com','//m.sbmmt.com',);
$handle = curl_multi_init();
$curls = array();
foreach ($urls as $k=>$url)
{
$curls[$k] = add_handle($handle, $url);
}
function add_handle(& $handle, $url)
{
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_HEADER, '');
curl_setopt($curl,CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");       
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_multi_add_handle($handle, $curl);
return $curl;
}

这是一个php的curl多线程采集类,需要的朋友可以下载使用。

免责声明

本站所有资源均由网友贡献或各大下载网站转载。请自行检查软件的完整性!本站所有资源仅供学习参考。请不要将它们用于商业目的。否则,一切后果由您负责!如有侵权,请联系我们删除。联系方式:admin@php.cn

相关文章

PHP爬虫类的并发与多线程处理技巧 PHP爬虫类的并发与多线程处理技巧

08 Aug 2023

PHP爬虫类的并发与多线程处理技巧引言:随着互联网的快速发展,大量的数据信息存储在各种网站上,获取这些数据已经成为很多业务场景下的需求。而爬虫作为一种自动化获取网络信息的工具,被广泛应用于数据采集、搜索引擎、舆情分析等领域。本文将介绍一种基于PHP的爬虫类的并发与多线程处理技巧,并通过代码示例来说明其实现方式。一、爬虫类的基本结构在实现爬虫类的并发与多线程处

maven仓库类型有哪些 maven仓库类型有哪些

04 Jan 2024

maven仓库类型:1、本地仓库;2、远程仓库;3、中央仓库;4、私服仓库;5、其他公共远程仓库。详细介绍:1、本地仓库,是存储在本地磁盘上的仓库,它是默认的仓库类型;2、远程仓库,是存储在网络上的仓库,可以由中央仓库、私服仓库和其他公共远程仓库等组成;3、中央仓库,是由Maven团队维护的远程仓库,它包含了世界上大部分流行的开源项目的构件;4、私服仓库等等。

PHP PDO 数据类型映射:让你的数据类型化 PHP PDO 数据类型映射:让你的数据类型化

19 Feb 2024

什么是PDO数据类型映射?PDO(PHP数据对象)提供了一个抽象层,可简化与不同数据库的交互。PDO数据类型映射使我们能够将数据库字段类型映射到php数据类型。这提供了一致、类型化的和安全的数据库交互体验。为什么要使用PDO数据类型映射?类型化数据:它强制执行PHP数据类型,防止意外转换和潜在错误。一致性:它确保跨不同数据库类型始终如一的数据解释。安全性:它通过验证输入类型,防止sql注入和其他安全漏洞。性能:它可以优化查询性能,因为数据库可以根据正确的类型对字段进行优化。实现PDO数据类型映射

理解 JPA 中的 @MappedSuperclass 理解 JPA 中的 @MappedSuperclass

25 Aug 2024

JPA(Java Persistence API)提供了几个用于将 Java 类映射到数据库表的注释。一个这样有用的注释是@MappedSuperclass,它用于指定一个类,其属性必须由其他类继承。

thinkphp的db类怎么调用 thinkphp的db类怎么调用

11 Apr 2023

ThinkPHP是一个基于MVC架构的轻量级开发框架,它提供了丰富的工具和组件,方便开发者快速搭建Web应用。其中,数据库操作是Web应用开发中最常见的一项任务,因此,ThinkPHP也提供了便捷的数据库操作类——DB类。本文将详细介绍ThinkPHP的DB类的调用方式。具体内容如下:一、概述1.1 什么是DB类DB类是一种数据库操作类,它封装了数据库的操作方法,方便我们操作数

Go语言文档解读:encoding/json.Encoder类型详解 Go语言文档解读:encoding/json.Encoder类型详解

03 Nov 2023

在Go语言中,encoding/json包是用于处理JSON(JavaScriptObjectNotation)格式的数据的标准库。在这个库中,提供了一个Encoder类型,它可以将Go语言中的结构体或是其它数据类型编码成符合JSON格式的二进制数据。本文将对该类型进行详解,并提供具体的代码示例。Encoder类型的定义我们先来看

See all articles