|
class Readability {
// 保存判定结果的标记位名称
const ATTR_CONTENT_SCORE = "contentScore";
// DOM 解析类目前只支持 UTF-8 编码
const DOM_DEFAULT_CHARSET = "utf-8";
// 当判定失败时显示的内容
const MESSAGE_CAN_NOT_GET = "Readability was unable to parse this page for content.";
// DOM 解析类（PHP5 已内置）
protected $DOM = null;
// 需要解析的源代码
protected $source = "";
// 章节的父元素列表
private $parentNodes = array(); // 需要删除的标签
// Note: added extra tags from http://www.45it.net
private $junkTags = Array("style", "form", "iframe", "script", "button", "input", "textarea",
"noscript", "select", "option", "object", "applet", "basefont",
"bgsound", "blink", "canvas", "command", "menu", "nav", "datalist",
"embed", "frame", "frameset", "keygen", "label", "marquee", "link");
// 需要删除的属性
private $junkAttrs = Array("style", "class", "onclick", "onmouseover", "align", "border", "margin");
/**
* 构造函数
* @param $input_char 字符串的编码。默认 utf-8，可以省略
*/
function __construct($source, $input_char = "utf-8") {
$this->source = $source;
// DOM 解析类只能处理 UTF-8 格式的字符
$source = mb_convert_encoding($source, 'HTML-ENTITIES', $input_char);
// 预处理 HTML 标签，剔除冗余的标签等
$source = $this->preparSource($source);
// 生成 DOM 解析类
$this->DOM = new DOMDocument('1.0', $input_char);
尝试{
//libxml_use_internal_errors(true);
// 会有些错误信息，不过不要紧 :^)
if (!@$this->DOM->loadHTML(''.$source)) {
throw new Exception("解析 HTML 错误！");
}
foreach ($this->DOM->childNodes as $item) {
if ($item->nodeType == XML_PI_NODE) {
$this->DOM->removeChild($item); // 删除 hack
}
}
//插入正确的
$this->DOM->encoding = Readability::DOM_DEFAULT_CHARSET;
} catch (异常 $e) {
// ...
}
}
/**
* 预处理 HTML 标签，使其能够准确被 DOM 解析类处理
*
* @return String
*/
私有函数 preparSource($string) {
// 明显除掉避免的HTML编码标记，解析错误
preg_match("/charset=([＼w|＼-] );?/", $string, $match);
if (isset($match[1])) {
$string = preg_replace("/charset=([＼w|＼-] );?/", "", $string, 1);
}
// 替换所有双倍的
带有
的标签标签，并删除字体。
$string = preg_replace("/[ ＼r＼n＼s]*/i", " ", $string );
$string = preg_replace("/]*>/i", "", $string);
// @see https://github.com/feelinglucky/php-readability/issues/7
// - 来自http://stackoverflow.com/questions/7130867/remove-script-tag-from-html-content
$string = preg_replace("#(.*?)#is", "", $string);
返回修剪($string);
}
/**
* 删除 DOM 元素中所有的 $TagName 标签
*
* @return DOMDocument
*/
私有函数removeJunkTag($RootNode, $TagName) {
$Tags = $RootNode->getElementsByTagName($TagName);
//注意：始终索引 0，因为删除标签也会将其从结果中删除。
while($Tag = $Tags->item(0)){
$parentNode = $Tag->parentNode;
$parentNode->removeChild($Tag);
}
返回 $RootNode;
}
/**
* 删除元素中所有不需要的属性
*/
私有函数removeJunkAttr($RootNode, $Attr) {
$Tags = $RootNode->getElementsByTagName("*");
$i = 0;
while($Tag = $Tags->item($i )) {
$Tag->removeAttribute($Attr);
}
返回$RootNode;
}
/**
* 根据评分获取页面主要内容的盒模型
* 判定算法来自：http://code.google.com/p/arc90labs-readability/
* 这里由郑晓博客转发
* @return DOMNode
*/
私有函数 getTopBox() {
// 获得页面所有的章节
$allParagraphs = $this->DOM->getElementsByTagName("p");
// 研究所有段落并找到得分最高的块。
// 分数由以下因素决定：
的数量、逗号、特殊类等
$i = 0;
while($paragraph = $allParagraphs->item($i )) {
$parentNode = $paragraph->parentNode;
$contentScore = intval($parentNode->getAttribute(Readability::ATTR_CONTENT_SCORE));
$className = $parentNode->getAttribute("class");
$id = $parentNode->getAttribute("id");
// 寻找特殊的类名
if (preg_match("/(comment|meta|footer|footnote)/i", $className)) {
$contentScore -= 50;
} else if(preg_match(
"/((^|＼＼s)(post|henry|entry[-]?(内容|文本|正文)?|文章[-]?(内容|文本|正文)?)(＼＼s|$) )/i",
$className)) {
$contentScore = 25;
}
//寻找特殊的ID
if (preg_match("/(comment|meta|footer|footnote)/i", $id)) {
$contentScore -= 50;
} else if (preg_match(
"/^(post|hentry|entry[-]?(content|text|body)?|article[-]?(content|text|body)?)$/i",
$id)) {
$contentScore = 25;
}
// 为找到的段落添加一个点
// 为该段落中的任何逗号添加点
if (strlen($paragraph->nodeValue) > 10) {
$contentScore = strlen($paragraph->nodeValue);
}
// 保存父元素的分数
$parentNode->setAttribute(Readability::ATTR_CONTENT_SCORE, $contentScore);
// 保存章节的父元素，以便下次快速获取
array_push($this->parentNodes, $parentNode);
}
$topBox = null;
// Assignment from index for performance.
// See http://www.peachpit.com/articles/article.aspx?p=31567&seqNum=5
for ($i = 0, $len = sizeof($this->parentNodes); $i < $len; $i ) {
$parentNode = $this->parentNodes[$i];
$contentScore = intval($parentNode->getAttribute(Readability::ATTR_CONTENT_SCORE));
$orgContentScore = intval($topBox ? $topBox->getAttribute(Readability::ATTR_CONTENT_SCORE) : 0);
if ($contentScore && $contentScore > $orgContentScore) {
$topBox = $parentNode;
}
}
// 此时，$topBox 应为已经判定后的页面内容主元素
return $topBox;
}
/**
* 获取 HTML 页面标题
*
* @return String
*/
public function getTitle() {
$split_point = ' - ';
$titleNodes = $this->DOM->getElementsByTagName("title");
if ($titleNodes->length
&& $titleNode = $titleNodes->item(0)) {
// @see http://stackoverflow.com/questions/717328/how-to-explode-string-right-to-left
$title = trim($titleNode->nodeValue);
$result = array_map('strrev',explode($split_point, strrev($title)));
返回 sizeof($结果) > 1 ? array_pop($结果) : $标题;
}
返回空；
}
/**
* 获取主图 URL
*
* @return 字符串
*/
公共函数 getLeadImageUrl($node) {
$images = $node->getElementsByTagName("img");
if ($images->length && $leadImage = $images->item(0)) {
return $leadImage->getAttribute("src");
}
返回空；
}
/**
* 获取页面的主要内容（Readability 以后的内容）
*
* @return Array
*/
公共函数 getContent() {
if (!$this->DOM) return false;
// 获取页面标题
$ContentTitle = $this->getTitle();
// 获取页面主内容
$ContentBox = $this->getTopBox();
//Check if we found a suitable top-box.
if($ContentBox === null)
throw new RuntimeException(Readability::MESSAGE_CAN_NOT_GET);
// 复制内容到新的 DOMDocument
$Target = new DOMDocument;
$Target->appendChild($Target->importNode($ContentBox, true));
// 删除不需要的标签
foreach ($this->junkTags as $tag) {
$Target = $this->removeJunkTag($Target, $tag);
}
// 删除不需要的属性
foreach ($this->junkAttrs as $attr) {
$Target = $this->removeJunkAttr($Target, $attr);
}
$content = mb_convert_encoding($Target->saveHTML(), Readability::DOM_DEFAULT_CHARSET, "HTML-ENTITIES");
// 多个数据，以数组的形式返回
return Array(
'lead_image_url' => $this->getLeadImageUrl($Target),
'word_count' => mb_strlen(strip_tags($content), Readability::DOM_DEFAULT_CHARSET),
'title' => $ContentTitle ? $ContentTitle : null,
'content' => $content
);
}
function __destruct() { }
}
|
