Bagaimana cara menghuraikan fail JSON yang besar di Python?

Bagaimana cara mengendalikan fail JSON yang besar di Python? 1. Gunakan Perpustakaan IJSON untuk mengalir dan mengelakkan limpahan memori melalui parsing item demi item; 2. Jika dalam format JSON Lines, anda boleh membacanya dengan garis dan memprosesnya dengan json.loads (); 3. Atau memecah fail besar ke dalam kepingan kecil dan kemudian memprosesnya secara berasingan. Kaedah ini dengan berkesan menyelesaikan masalah batasan memori dan sesuai untuk senario yang berbeza.

Parsing fail JSON yang besar di Python boleh menjadi rumit jika anda digunakan untuk memuatkan keseluruhannya ke dalam ingatan dengan json.load() . Tetapi apabila fail itu benar -benar besar seperti beratus -ratus megabytes atau lebih -pendekatan itu tidak berfungsi lagi. Ia akan menjadi sangat perlahan atau merosakkan skrip anda sepenuhnya.

Jadi apa yang anda buat? Berikut adalah beberapa cara praktikal yang sebenarnya digunakan oleh orang untuk mengendalikan keadaan seperti ini.

Gunakan ijson untuk mengalirkan fail JSON yang besar

Jika fail JSON anda terlalu besar untuk memuatkan semua sekaligus, streaming adalah pertaruhan terbaik anda. Perpustakaan ijson membolehkan anda membaca melalui sekeping fail JSON, yang bermaksud ia tidak pernah memuatkan keseluruhan fail ke dalam ingatan.

Anda memasangnya seperti ini:

 PIP Pasang IJSON

Dan inilah cara anda menggunakannya untuk mengeluarkan sesuatu yang khusus, seperti senarai nama dari array besar:

 Import ijson

dengan terbuka ('big_file.json', 'r') sebagai f:
    parser = ijson.items (f, 'people.item.name')
    untuk nama di parser:
        cetak (nama)

Ini hanya menyimpan satu item dalam ingatan pada satu masa. Ia lebih perlahan daripada memuatkan segala -galanya di depan, tetapi ia satu -satunya cara untuk pergi ketika berurusan dengan fail besar.

Beberapa perkara yang perlu diingat:

• ijson menggunakan notasi dot untuk menavigasi struktur bersarang.
• Ia berfungsi dengan baik apabila anda berminat dengan subset data tertentu dan bukannya struktur keseluruhan.
• Prestasi tidak menyala dengan cepat berbanding dengan parsing penuh, tetapi ia mendapat pekerjaan yang dilakukan.

Proses line-by-line jika anda mempunyai garis json (ndjson)

Kadang -kadang, fail JSON yang besar disimpan dalam format yang dipanggil JSON Lines , di mana setiap baris adalah objek JSON yang berasingan. Dalam hal ini, anda boleh memproses baris fail mengikut baris tanpa perpustakaan khas.

Inilah cara anda melakukannya:

 Import JSON

dengan terbuka ('big_file.jsonl', 'r') sebagai f:
    untuk baris dalam f:
        data = json.loads (baris)
        # Buat sesuatu dengan data

Kaedah ini mudah dan cekap kerana:

• Setiap baris cukup kecil untuk menghuraikan secara individu.
• Anda tidak perlu memuatkan keseluruhan fail ke dalam ingatan.
• Ia berfungsi hebat untuk fail log, dataset, atau eksport dari sistem lain.

Hanya pastikan fail anda benar -benar dalam format JSON LINES. Jika tidak, ini tidak akan berfungsi secara langsung.

Berpecah fail terlebih dahulu untuk pengendalian yang lebih mudah

Sekiranya kaedah di atas tidak sesuai dengan keperluan anda, pilihan lain adalah untuk memecah fail JSON yang besar ke dalam ketulan yang lebih kecil terlebih dahulu.

Anda boleh melakukan ini secara manual atau menulis skrip mudah untuk memecahkannya ke dalam kepingan yang boleh diurus. Sebaik sahaja ia berpecah, anda boleh memuatkan dan memproses setiap bahagian biasanya menggunakan modul json standard.

Berikut adalah idea asas bagaimana anda boleh membahagikannya:

• Baca baris fail mengikut baris.
• Mengesan apabila objek JSON bermula dan berakhir.
• Tulis setiap objek lengkap ke dalam failnya sendiri atau kumpulannya ke dalam kumpulan.

Pendekatan ini berguna jika anda perlu debug atau menganalisis bahagian data secara berasingan.

Perlu diingat:

• Ini memerlukan mengetahui struktur JSON anda.
• Ia menambah langkah tambahan ke aliran kerja anda.
• Ia tidak sesuai jika anda bekerja dalam persekitaran yang terkawal memori seperti fungsi tanpa pelayan.

Mengendalikan fail JSON yang besar di Python tidak sukar apabila anda mengetahui alat dan teknik yang betul. Bagi kebanyakan kes, ijson atau JSON LINES akan membawa anda ke mana anda perlu pergi. Dan jika mereka tidak betul, memisahkan fail kadang -kadang boleh menjadi penyelesaian yang paling mudah.

Pada dasarnya itu sahaja.

Atas ialah kandungan terperinci Bagaimana cara menghuraikan fail JSON yang besar di Python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!