• 技术文章 >php教程 >php手册

    PHP中使用正则表达式提取中文实现笔记,

    2016-06-13 09:16:50原创637

    PHP中使用正则表达式提取中文实现笔记,


    最近老板叫做一个数据查重的小练习,涉及从一个包含中文字段的文件中提取出其中的中文字段并存储,使用php开发。中间涉及到php正则表达式中文匹配的问题,网上搜罗一大片,但是也很乱没有一个准信儿,经过自己的代码的修改和检验,先将extract函数写下。

    首先要注意到的是,双字节字符的编码问题,这里我们以后还可能会遇到像韩文、日文等编码问题,与中文理解上是一个意思。

    1. GBK (GB2312/GB18030)

    复制代码 代码如下:


    \x00-\xff GBK双字节编码范围
    \x20-\x7f ASCII
    \xa1-\xff 中文 gb2312
    \x80-\xff 中文 gbk


    2. UTF-8 (Unicode)

    复制代码 代码如下:


    \u4e00-\u9fa5 (中文)
    \x3130-\x318F (韩文
    \xAC00-\xD7A3 (韩文)
    \u0800-\u4e00 (日文)

    在Notepad++下面,我们可以首先进行测试我们的正则书写的错误与否。第一个表达式我是使用[\u4e00-\u9fa5]+来检验的,+号表示不止一个

    匹配符。结果与预期相同,那么,是否在脚本中就可以使用这个正则了呢?

    我们测试一下,我们使用preg_match_all(‘/[\u4e00-\u9fa5]+/', $subject,$matches)调用,然后你却看到了这么一个结果:Compilation failed: PCRE does not support \L, \l, \N{name}, \U, or \u at offset 2。。。。是不是很头大??这究竟是什么原因?

    查阅了很多资料后发现,u (PCRE_UTF8),就是上面的PCRE,这是是一个Perl库,包括 perl 兼容的正规表达式库。此修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式字符串被当成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用,在 win32 下自 PHP 4.2.3 起可用。而php正则表达式对于十六进制数据的表达方式上也有所不同,在php中,是用\x表示十六进制数据的。下面我们就将代码优化一下,检测函数变为:

    复制代码 代码如下:


    class storeDataAdapter extends Store{
    private $dsData;
    /**
    * 数据转换函数,调用preg_match_all根据$pattern正则来进行数值匹配,并将返回的结果以数组形式存储在$matches中,
    * $matches[0]将包含与整个模式匹配的文本,$matches[1] 将包含与第一个捕获的括号中的子模式所匹配的文本,以此类推
    * @see Store::data_convert()
    */
    public function data_convert($pattern,$subject) {
    $matches=array();
    if (preg_match_all($pattern, $subject,$matches)){
    return $matches[0];
    }else
    {
    return null;
    }
    }
    }

    调用的时候变为:

    复制代码 代码如下:


    $store=new storeDataAdapter($txtContent);
    $match=array();
    $dsName=$store->data_convert(‘/[\x7f-\xff]+/',$txtContent);
    foreach ($dsName as $val){
    echo $val."
    ";
    }

    输入文件为:

    ,下面是提取出中文之后的输出文件内容:

    ,符合预期需求。

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    专题推荐:PHP 正则表达式 中文
    上一篇:通过php修改xml文档内容的方法,php修改xml文档 下一篇:php+xml实现在线英文词典查询的方法,xml英文词典
    20期PHP线上班

    相关文章推荐

    • 【活动】充值PHP中文网VIP即送云服务器• 挑战最棒的留言本的源码(三)• PHP5中Cookie与 Session使用详解_php基础• php的array_multisort()使用方法介绍_php基础• yii2分页的使用及其扩展• PHP关联数组实现根据元素值删除元素的方法
    1/1

    PHP中文网