masyarakat Belajar Perpustakaan Alatan Masa lapang
cari
Melayu
Rumah > pembangunan bahagian belakang > tutorial php > PHP或者python进行数据采集和分析，有什么比较成熟的框架？

PHP或者python进行数据采集和分析，有什么比较成熟的框架？

WBOY
Lepaskan： 2016-10-23 23:59:59
asal
836 orang telah melayarinya

我现在需要对一个网站的文章列表和列表里面的实际内容进行自动化数据采集，列表里面能够取得每个文章的id，而每个文章又是通过一个统一的接口（参数带上那个文章id即可获取到对应的json）里面又有一部分数据需要采集然后进行数据分析。

目前有什么比较成熟的框架或者轮子能够实现我的需求吗？（要多线程，而且可以7x24小时稳定运行，因为采集数量巨大）

另外问一下，采集到的内容如何存储（百万到千万），数据里面有一些数字数据，需要进行统计分析，用mysql可以吗？或者说还有其他更加成熟简便的轮子可以用吗？

Label berkaitan：
c++ java node.js php python
sumber：php.cn
Artikel sebelumnya：苹果序列号查询接口 Artikel seterusnya：像今日头条，她社区之类点击刷新数据不重复实现机制是什么？
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Isu terkini
Nuxt 3 tidak akan dipaparkan dalam SSR Jadi saya telah menghadapi masalah di mana saya cuba mendapatkan pembolehubah persekitaran...
daripada 2024-04-05 15:04:40
0
1
3642
Ralat berkaitan Axios yang dihadapi semasa membina aplikasi React menggunakan vite Axios berfungsi dengan sempurna dalam pengeluaran tetapi apabila membina aplikasi saya men...
daripada 2024-04-05 13:20:02
0
1
326
Bagaimanakah cara saya mengubah suai kad ini supaya responsif dengan Boostrap 4? Bagaimanakah saya boleh mempunyai 4 kad dipaparkan setiap baris dan sudah tentu menjadikan...
daripada 2024-04-05 10:48:45
0
1
4072
Masalah permulaan sifat CommandText Saya cuba untuk merealisasikan data ke dalam 2 (kemudian 3) jadual secara serentak menggun...
daripada 2024-04-04 22:43:24
0
1
385
Tambahkan nilai tertinggi sebagai lajur menggunakan fungsi tetingkap Saya mempunyai jadual seperti ini: Pertanyaan untuk menyalin data: DROPTABLEIFEXISTSunits_...
daripada 2024-04-04 12:18:16
0
2
405
Topik-topik yang berkaitan
Lagi>
Cadangan popular
Tutorial Popular
Lagi>
Tutorial berkaitan
Cadangan popular
Kursus terkini
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan