PHP での Linux ベースの検索エンジンの実装

搜索引擎

　　搜索引擎是为用户提供快速获取网页信息的工具，其主要的功能是系统通过用户输入关键字，检索后端网页数据库，将相关网页的链接和摘要信息反馈给用户。从搜索的范围上一般分为站内网页搜索和全局网页搜索。随着网页数量的急剧增加，搜索引擎已经成为上网查询信息的必须手段，各个大型网站均已经提供网页数据搜索服务，并且出现了许多为大型网站提供专业搜索引擎服务的公司，如为Yahoo提供搜索服务的Google，为新浪网和263等国内网站提供服务的百度公司等。专业的搜索服务费用高而免费的搜索引擎软件基本都是基于英文的检索，所以都不太适合Intranet环境（如校园网等）的需要。

　　搜索引擎的基本组成一般分为网页收集程序、网页后端数据组织存储、网页数据检索三部分。决定搜索引擎好坏的关键因素是数据查询的响应时间，即如何组织好满足全文检索需要的大量网页数据。

　　GNU/Linux作为一个优秀的网络操作系统，其发行版本中集成了大量的网络应用软件，如 Web服务器（Apache ＋ PHP）、目录服务器（OpenLDAP）、脚本语言（Perl）、网页收集程序（Wget）等。所以，通过将它们集中进行应用，便可以实现一个简单、高效的搜索引擎服务器。

　　一、基本组成和使用方法

　　1、网页数据收集

　　Wget程序是一个优秀的网页收集程序，它采用多线程设计能够方便地将网站内容镜像到本地目录中，并且能够灵活定制收集网页的类型、递归收集层次、目录限额、收集时间等。通过专用的收集程序完成网页的收集工作，既降低了设计的难度又提高了系统的性能。为了减小本地数据的规模，可只收集能够查询的html文件、txt文件、脚本程序asp和php只使用缺省的结果，而不收集如图形文件或是其他的数据文件。

　　2、网页数据过滤

　　由于html文件中存在大量的标记，如

　　3、目录服务

　　目录服务是针对大量数据检索需要开发的服务，最早出现在X.500协议集中，后来扩展到TCP/IP中发展成为LDAP（Lightweight Directory Acess Protocol）协议，其相关的标准为1995年制定的RFC1777和1997年制定的RFC2251等。LDAP协议已经作为工业标准被Sun、Lotus、微软等公司广泛应用到其相关产品中，但是专用的基于Windows平台的目录服务器却较少见，OpenLDAP是免费的运行于Unix系统的目录服务器，其产品的性能优秀，已经被许多的Linux发行版本收集（Redhat、Mandrake等），并且提供了包括C、Perl、PHP等的开发接口。

　　使用目录服务技术代替普通的关系数据库作为网页数据的后端存取平台主要基于目录服务的技术优势。目录服务简化了数据处理类型，去掉了通用关系数据库的费时的事务机制，而是采用全局替换的策略对数据进行更新，其应用的重点是大量数据的检索服务（一般数据更新和检索的频率比例要求在1:10以上），强调检索速度和全文查询，提供完整的数据备份，非常适合搜索引擎之类服务的需要。从目录服务技术解决问题的重点不难看出其在数据检索上的优势，它的提出时间远远落后于关系数据库的提出时间，实际上反映了根据具体问题优化数据解决方案的原则。这与目前广泛存在的凡是涉及大量数据处理必选SQL Server的处理方法形成鲜明对比。

　　通过选用成熟的目录服务技术提高网页查询的效率，能够简洁有效地提高数据处理能力。这也充分显示了GNU/Linux系统运行开放软件的优势，毕竟不能方便地获得运行于其他平台的目录服务器。

　　4、查询程序设计

　　搜索引擎的前端界面是网页，用户通过在特定的网页中输入关键字提交给Web服务器进行处理。运行在Apache Web服务器上的PHP脚本通过运行其相关ldap函数便可以执行关键字的查询工作。主要进行的工作是根据关键字构造查询、向目录服务器提交查询、显示查询结果等。Linux + Apache + PHP作为广泛使用Web服务器，与WinNT + IIS + ASP相比其性能毫不逊色，在目前的Linux发行版本中都集成了Apache + PHP 以及缺省的ldap、pgsql、imap等模块。

　　5、计划任务

　　搜索引擎的网页数据收集、数据过滤、加入目录数据库等工作都应该是自动完成的，在UNIX系统中有cron进程来专门完成按照特定时间调度任务，为了不影响系统的运行，一般可以把这些工作安排到深夜进行。

　　二、具体步骤和注意事项

　　1、配置Wget软件

　　在RedHat 6.2发行版中已经集成了该软件包，可以直接进行安装。将需要镜像的站点地址编辑为一个文件中，通过 -I 参数读入该文件；为镜像的站点指定一个本地下载目录；为了避免内部网中链接的重复引用，一般只镜像该站点内的数据；还可以根据网站的具体情况，指定其镜像的深度。

　　2、配置Openldap服务

　　在RedHat 6.2发行版中已经集成了Openldap-1.2.9，其配置文件存放在/etc/openldap的目录中。主要的配置文件是slapd.conf，关键要打开对检索速度至关重要的index选项，可以使用setup工具，将ldap在系统引导后作为缺省服务启动。

　　Ldap服务可以通过文本文件方式存放数据，即LDIF文件格式。使用此方式可以高效地更新目录服务数据，需要注意LDIF格式是通过空行对数据进行分隔的，并且通过运行ldif2lbm将LDIF格式数据导入目录数据库中时需要暂停目录服务。

　　3、编制数据过滤和LDIF文件生成脚本

　　为了方便地过滤网页数据，可以调用Perl的HTML-Parser库函数，该程序包下载后需要进行编译，在eg目录下生成了相关的htext，htitle程序，在Perl中可以通过调用外部程序的方式运行该程序，并对其过滤结果通过重定向的方法生成临时文件。本搜索引擎设计的目录数据属性有dn 、link、title、modifydate、contents，其中的dn通过Link进行唯一性标识，将过滤后的网页文本内容通过/usr/sbin/ldif程序进行自动编码后放入LDIF文件中。

　　基本的LDIF文件格式如下：

dn: dc=27jd,dc=zzb
objectclass: top
objectclass: organization

dn: link= http://freemail.27jd.zzh/index.html, dc=27jd ,dc=zzb
link: http://freemail.27jd.zzh/index.html
title: Webmail主页
modifydate: 2001年2月8日
contents::
CgpXZWJtYWls1vfSswoKCgoKIKHvoaG7ttOtyrnTw1dlYm1haWzPtc2zoaGh7yDO0t
KqyerH69PKz+QhISFPdXRsb29rxeTWw6O6U01UUDogZnJlZW1haWwuMjdqZC56emJQ
T1AzOiBmcm
VlbWFpbC4yN2pkLnp6YkROUyA6IDExLjk5LjY0Ljiy4srU08O7p6O6bWFpbGd1ZXN00
8O7p7/awe
6jum1haWxndWVzdNLR16Ky4dPDu6cg08O7p8P7OkAgZnJlZW1haWwuMjdqZC56emK/
2sHuOqChoa
AgIKHyzOG5qbf+zvEgofKzo7z7zsrM4iCh8s2o0bbCvKHyICCh8sq1z9bUrcDtIKHywfTR1
LK+of
IgofK8vMr1sr/W99Kzsb7Ptc2z08nK1NHpvLzK9bK/zfjC59bQ0MS9qMGius3OrLukCgoK
CqAKCg
o=
objectclass:webpage

基本的slapd.conf文件如下：
defaultaccess read
include /etc/openldap/slapd.at.conf
#include /etc/openldap/slapd.oc.conf
schemacheck off
sizelimit 20000
pidfile /var/run/slapd.pid
argsfile /var/run/slapd.args
#######################################################################
# ldbm database definitions
#######################################################################
database ldbm
dbcachesize 1000000
index contents,title
suffix "dc=27jd, dc=zzb"
directory /usr/tmp
rootdn "cn=root,dc=27jd, dc=zzb"
rootpw secret

  通过对一个4万个网页（约300M左右）的本地html文件目录进行过滤后生成的LDIF文件约180M左右，如果只取文字数据的前400个字符作为网页内容，则生成文件约35M左右。

　　4、配置PHP+LDAP服务

PHP3 および php-ldap モジュールは Redhat6.2 に統合されています。完全インストールを選択すると、/usr/lib/apache ディレクトリにインストールされます。/etc/httpd/ の動的展開を確認してください。 php3.ini (動的拡張機能の extension=ldap.so かどうか) が選択されています。 PHP3 は、ディレクトリ データの検索機能を簡単に完了できる豊富な LDAP アクセス関数を提供します。 Apach + PHP プログラミングについては多くの情報があるため、ここでは詳しく説明しません。なお、PHP3 の LDAP 検索関数 ldap_search は、ディレクトリサービスで設定した最大取得データ数を超える返結果を扱うことができないため、状況に応じて、slapd 設定ファイルでより大きな取得データ制限 (sizelimit) を設定できます。この問題は PHP4 ではすでに解決されています。

5. タスクのスケジュール

Crond は Redhat6.2 に統合されており、デフォルトのインストール後に起動されます。関連する設定ファイルには、/etc/crontab、/etc/cron.daily、/etc/cron.hourly、/etc/weekly、/etc/monthly が含まれます。必要なのは、データ更新の頻度に基づいて Web ページを収集してフィルタリングすることだけです。 . 、LDIF ファイルの生成、ディレクトリ サービスの停止、ディレクトリ データの更新、ディレクトリ サービスの再起動を行い、それを単純なシェル プログラムとして対応するディレクトリに配置します。

3. 効果と感想

以上は、GNU/Linux についてわかっていることを簡単に紹介したものです。イントラネットのニーズを満たすためにディレクトリ サービスを中核として設計された表面的な検索エンジン システムでは、GNU/Linux とそれに統合される多数のソフトウェアの真の強みを表現することはできません。

RedHat Linux 6.2 がインストールされた Sparc Ultra 250 での実際のテストにより、40,000 の Web ページのディレクトリ データを検索する場合、上記の方法に基づいて設計された検索エンジンの応答速度は一般的に約 3 秒かかります。ディレクトリ データを完全に更新するには約 4 時間かかり、イントラネットのニーズを満たすことができます。実際、検索の応答速度を制限する鍵となるのは、PHP3 の ldap_search 関数にはデータ制限の機能が提供されていないためです。そのため、クエリの結果セットが大きすぎると、システムの応答速度が遅くなります。ユーザーが毎回参照できるのは、実際には非常に少数です。PHP4 の ldap_search では、サーバー側のすべてのクエリが常にすべての結果を返します。この問題は、sizelimit パラメーターを指定することで効果的に解決できます。

ディレクトリ サービスは非常に幅広い用途に使用されており、実際、大規模な情報サイトでは、顧客のアクセス効率を向上させるために多かれ少なかれディレクトリ サービス テクノロジが採用されています。特定のアプリケーション要件に基づいて最適化されたディレクトリ サービスの設計方法は、間違いなく、アプリケーション システムの開発を決定する際のインスピレーションになります。LDAP サービスは、インデックス情報に基づいた従来のリレーショナル データベース システムよりもはるかに優れていると言えます。

GNU/Linux に基づいてネットワーク サーバー プログラムを設計すると、オープン ソース コードの魅力と強みを十分に理解でき、システムの設計が簡素化され、作業効率が大幅に向上するだけでなく、作業効率も効果的に向上します。システムコスト。プログラミングは、ゼロから始める複雑で退屈な繰り返し作業を、問題の抽象化、機能の分解、リソースの検索、システムの組み合わせの 4 つの部分に簡素化されており、システムの理解、広い視野、学習能力に重点が置かれています。 、オープンソースコードであると同時に、システムをさらに最適化するための強固な基盤も提供します