用difbot爬行和搜索整个域

>本教程演示了使用Diffbot的结构化数据提取构建站点搜索引擎超过WordPress功能。 我们将利用Diffbot的API进行爬行和搜索，并采用宅基地改进的开发环境。

键优点：

difbot擅长创建WordPress功能以外的自定义搜索引擎。
• > diffbot的爬网有效索引并更新SitePoint的内容。 它允许自定义蜘蛛网址，通知，爬网限，刷新间隔和新页面处理。
• diffbot搜索API有效地搜索了索引数据，甚至使用关键字，日期范围，特定字段和布尔运算符。
>非常适合大型网站或媒体集团，可以合并来自多个领域的内容。 但是，在爬行之前，请务必检查网站服务条款。
• 实现：

我们将分两个步骤创建一个Sitepoint搜索引擎：

crawljob到index sitepoint.com，自动更新新内容。

2. > diffbot crawljob：
>

蜘蛛URL。> >使用指定的API引擎（例如，用于站点点文章的API）处理蜘蛛网

创建一个crawljob（使用diffbot php客户端）：
1. >
安装客户端：

> 创建：

1. composer require swader/diffbot-php-client运行
创建CrawlJob，在DiffBot爬网接口中可见。>
2. job.php
使用搜索API搜索

include 'vendor/autoload.php';
use Swader\Diffbot\Diffbot;
$diffbot = new Diffbot('my_token'); // Replace 'my_token' with your Diffbot token
$job = $diffbot->crawl('sp_search');
$job
    ->setSeeds(['https://www.sitepoint.com'])
    ->notify('your_email@example.com') // Replace with your email
    ->setMaxToCrawl(1000000)
    ->setMaxToProcess(1000000)
    ->setRepeat(1)
    ->setMaxRounds(0)
    ->setPageProcessPatterns([''])
    ->setOnlyProcessIfNew(1)
    ->setUrlCrawlPatterns(['^http://www.sitepoint.com', '^https://www.sitepoint.com'])
    ->setApi($diffbot->createArticleAPI('crawl')->setMeta(true)->setDiscussion(false));
$job->call();

使用搜索API查询索引数据：> php job.php

访问。 使用。

$search = $diffbot->search('author:"Bruno Skvorc"');
$search->setCol('sp_search');
$result = $search->call();

// Display results (example)
echo '<table><thead><tr><td>Title</td><td>Url</td></tr></thead><tbody>';
foreach ($search as $article) {
    echo '<tr><td>' . $article->getTitle() . '</td><td><a href="' . $article->getResolvedPageUrl() . '">Link</a></td></tr>';
}
echo '</tbody></table>';

以上是用difbot爬行和搜索整个域的详细内容。更多信息请关注PHP中文网其他相关文章！