简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python - pyspider遇到不能识别的url时报错
PHP中文网
PHP中文网 2017-04-17 17:43:16
0
1
385

大家好，我遇到一个很棘手的问题想请教大家是怎么解决的。

问题描述：

pyspider遇到不规则的html页面时，只要其实包含不能正常解析的url时就会报错,如页面http://www.jb51.net/os/windows/win2008/18272.html，其中就有

作者：增加 减小] 来源：互联网 时间：07-02 01:51:10 我要评论

，这里页面的链接不能正常解析就会报Invalid IPv6 URL错误
如下图：

PHP中文网
PHP中文网

认证高级PHP讲师

membalas semua (1)
大家讲道理
大家讲道理2017-04-17 17:45:16 Tingkat 1

如果你要深究，这是 lxml， pyquery， urlparse 标准库的 bug。

只能 catch 掉，然后手动建树。

Suka+0
Tambah Balasan
    Topik popular
    Lagi>
    Artikel popular
    Tutorial Popular
    Lagi>
    Tutorial berkaitan
    Cadangan popular
    Kursus terkini
    Muat turun terkini
    Lagi>
    kesan web
    Kod sumber laman web
    Bahan laman web
    Templat hujung hadapan
    Tentang kita Penafian Sitemap
    Laman web PHP Cina：Latihan PHP dalam talian kebajikan awam，Bantu pelajar PHP berkembang dengan cepat！