工具标签

网站设置

站点管理发布点管理基本设置安全配置 PHPSSO配置邮箱配置 connect 配置角色管理管理员管理

模块管理

公告管理全站搜索短消息数据源财务模块评论模块友情链接模块广告模块投票模块心情模块采集模块企业黄页

用户管理

会员管理审核会员会员模块配置管理会员组管理会员模型

模板管理

模板风格管理模板风格列表管理

扩展管理

后台操作日志下载镜像管理 IP禁止更新全站缓存来源管理数据库工具菜单管理敏感词 Baibu/Google地图关联链接工作流

首页

后端开发

PHP

phpcms开发教程

采集模块

工具标签

网站设置

站点管理发布点管理基本设置安全配置 PHPSSO配置邮箱配置 connect 配置角色管理管理员管理

模块管理

公告管理全站搜索短消息数据源财务模块评论模块友情链接模块广告模块投票模块心情模块采集模块企业黄页

用户管理

会员管理审核会员会员模块配置管理会员组管理会员模型

模板管理

模板风格管理模板风格列表管理

扩展管理

后台操作日志下载镜像管理 IP禁止更新全站缓存来源管理数据库工具菜单管理敏感词 Baibu/Google地图关联链接工作流

采集模块

阅读 57279

更新时间 2016-09-11

心情模块

企业黄页

模块常用操作

操作名	说明
采集流程详述	无
其它功能说明	无

说明：

文章的采集功能是通过程序来远程获取目标网页内容，经过本地规则解析处理后存储到服务器的数据库内。

文章采集系统颠覆传统采集模式和流程，采集规则与采集界面分离,规则设置更简单，只需有基础技术知识的人员设置好相关规则。编辑人员无需了解太过细节的技术规则，只需选中自己想要采集的文章列表，就可以像发布文章一样，轻松地完成数据采集操作。

一、采集流程

简单的讲有三个步骤：

1、添加采集点，填写采集规则。

2、采集网址，采集内容

3、发布内容到指定栏目

以采集新浪新闻(http://roll.news.sina.com.cn/news/gjxw/gjmtjj/index.shtml)为例，作一下详细流程介绍。

实例说明：

目标：采集新浪新闻到V9系统国际新闻栏目中。

目标网址：http://roll.news.sina.com.cn/news/gjxw/gjmtjj/index.shtml

1、添加采集点

1.1 网址规则配置

添加采集点 - 网址规则配置图1

查看要采集的目标网址源代码，查找到要采集网址的开始点和结束点(这二个点要有在整个源代码里具有唯一性)。更进一步缩小采集网址搜索范围。

添加采集点 - 网址规则配置图2

测试你的网址采集规则是否正确,如下图所示

1.2 内容规则配置

内容规则这里看起来比较复杂，其实也很简单，为了便于说明，我们只采集标题、内容两个字段。采集内容网址：
http://news.sina.com.cn/w/2010-12-01/135121565455.shtml 的内容采集规则，请你打开这个网址，然后页面空白处右键->查看源文件搜索标题和内容的开始边界。

标题采集配置：

从网页<title></title>里取标题，并去除不需要的字符。如下图