• 技术文章 >后端开发 >Python教程

    爬虫的解析方式一:JOSN解析

    爱喝马黛茶的安东尼爱喝马黛茶的安东尼2019-06-05 14:36:14转载2877
    众多语言都能进行爬虫,但基于python的爬虫显得更加简洁,方便。爬虫也成了python语言中必不可少的一部分。爬虫解析数据的方式有很多种,在上一篇给大家介绍的是爬虫能获取什么样的数据和具体的解析方式,本篇给大家带来的是JSON解析。

    zz.jpg

    php入门到就业线上直播课:进入学习

    JSON

    json简单说就是javascript中的对象和数组,所以这两种结构就是对象和数组两种结构,通过这两种结构可以表示各种复杂的结构。

    对象:

    对象在js中表示为{ }括起来的内容,数据结构为 { key:value, key:value, ... }的键值对的结构,在面向对象的语言中,key为对象的属性,value为对应的属性值,所以很容易理解,取值方法为 对象.key 获取属性值,这个属性值的类型可以是数字、字符串、数组、对象这几种。

    数组:

    数组在js中是中括号[ ]括起来的内容,数据结构为 ["Python", "javascript", "C++", ...],取值方式和所有语言中一样,使用索引获取,字段值的类型可以是 数字、字符串、数组、对象几种。

    JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前台与后台之间的数据交互。

    import json
    def resolveJson(path):
        file = open(path, "rb")
        fileJson = json.load(file)
        field = fileJson["field"]
        futures = fileJson["futures"]
        type = fileJson["type"]
        name = fileJson["name"]
        time = fileJson["time"]
        return (field, futures, type, name, time)
    def output():
        result = resolveJson(path)
        print(result)
        for x in result:
            for y in x:
                print(y)
    path = r"C:\Users\dell\Desktop\kt\test.json"
    output()

    注意函数返回多个值时返回的是一个元组tuple;

    对一个字符串进行for循环的时候会对每个字符进行遍历

    Python JSON

    本章节我们将为大家介绍如何使用 Python 语言来编码和解码 JSON 对象。

    JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于人阅读和编写。

    JSON 函数

    使用 JSON 函数需要导入 json 库:import json。

    函数 描述

    json.dumps 将 Python 对象编码成 JSON 字符串

    json.loads 将已编码的 JSON 字符串解码为 Python 对象

    json.dumps

    json.dumps 用于将 Python 对象编码成 JSON 字符串。

    语法

    json.dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, encoding="utf-8", default=None, sort_keys=False, **kw)

    实例

    以下实例将数组编码为 JSON 格式数据:

    #!/usr/bin/python
    import json
    data = [ { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 } ]
    json = json.dumps(data)
    print json

    以上代码执行结果为:

    [{"a": 1, "c": 3, "b": 2, "e": 5, "d": 4}]

    使用参数让 JSON 数据格式化输出:

    >>> import json
    >>> print json.dumps({'a': 'Runoob', 'b': 7}, sort_keys=True, indent=4, separators=(',', ': '))
    {
        "a": "Runoob",
        "b": 7
    }

    python 原始类型向 json 类型的转化对照表:

    Python JSON

    dict object

    list, tuple array

    str, unicode string

    int, long, float number

    True true

    False false

    None null

    json.loads

    json.loads 用于解码 JSON 数据。该函数返回 Python 字段的数据类型。

    语法

    json.loads(s[, encoding[, cls[, object_hook[, parse_float[, parse_int[, parse_constant[, object_pairs_hook[, **kw]]]]]]]])

    实例

    以下实例展示了Python 如何解码 JSON 对象:

    <pre>
    #!/usr/bin/python
    import json
    jsonData = '{"a":1,"b":2,"c":3,"d":4,"e":5}';
    text = json.loads(jsonData)
    print text
    </pre>

    以上代码执行结果为:

    {u'a': 1, u'c': 3, u'b': 2, u'e': 5, u'd': 4}

    json 类型转换到 python 的类型对照表:

    JSON Python

    object dict

    array list

    string unicode

    number (int) int, long

    number (real) float

    true True

    false False

    null None

    使用第三方库:Demjson

    Demjson 是 python 的第三方模块库,可用于编码和解码 JSON 数据,包含了 JSONLint 的格式化及校验功能。

    Github 地址:https://github.com/dmeranda/demjson

    官方地址:http://deron.meranda.us/python/demjson/

    环境配置

    在使用 Demjson 编码或解码 JSON 数据前,我们需要先安装 Demjson 模块。本教程我们会下载 Demjson 并安装:

    $ tar -xvzf demjson-2.2.3.tar.gz
    $ cd demjson-2.2.3
    $ python setup.py install

    JSON 函数

    函数 描述

    encode 将 Python 对象编码成 JSON 字符串

    decode 将已编码的 JSON 字符串解码为 Python 对象

    encode

    Python encode() 函数用于将 Python 对象编码成 JSON 字符串。

    语法

    demjson.encode(self, obj, nest_level=0)


    实例

    以下实例将数组编码为 JSON 格式数据:

    <pre>
    #!/usr/bin/python
    import demjson
    data = [ { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 } ]
    json = demjson.encode(data)
    print json
    </pre>

    以上代码执行结果为:

    [{"a":1,"b":2,"c":3,"d":4,"e":5}]


    decode

    Python 可以使用 demjson.decode() 函数解码 JSON 数据。该函数返回 Python 字段的数据类型。

    语法

    demjson.decode(self, txt)

    实例

    以下实例展示了Python 如何解码 JSON 对象:

    <pre>
    #!/usr/bin/python
    import demjson
    json = '{"a":1,"b":2,"c":3,"d":4,"e":5}';
    text = demjson.decode(json)
    print  text
    </pre>

    以上代码执行结果为:

    {u'a': 1, u'c': 3, u'b': 2, u'e': 5, u'd': 4}

    以上就是爬虫的解析方式一:JOSN解析的详细内容,更多请关注php中文网其它相关文章!

    声明:本文转载于:CSDN,如有侵犯,请联系admin@php.cn删除

    前端(VUE)零基础到就业课程:点击学习

    清晰的学习路线+老师随时辅导答疑

    自己动手写 PHP MVC 框架:点击学习

    快速了解MVC架构、了解框架底层运行原理

    专题推荐:python 爬虫 JOSN
    上一篇:爬虫能获取什么样的数据和具体的解析方式 下一篇:自己动手写 PHP MVC 框架(40节精讲/巨细/新人进阶必看)

    相关文章推荐

    • ❤️‍🔥共22门课程,总价3725元,会员免费学• ❤️‍🔥接口自动化测试不想写代码?• puppeteer爬虫是什么?爬虫的工作原理• 什么是爬虫和爬虫的基本流程• 爬虫基本流程Request和Response的介绍• 爬虫能获取什么样的数据和具体的解析方式
    1/1

    PHP中文网