简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Rumah> pembangunan bahagian belakang> Tutorial Python> teks badan

使用Python编写MapReduce作业

高洛峰
Lepaskan： 2016-10-18 10:28:52
asal
1325 orang telah melayarinya

mrjob 可以让用 Python 2.5+ 来编写 MapReduce 作业，并在多个不同平台上运行，你可以：

使用纯 Python 编写多步的 MapReduce 作业

在本机上进行测试

在 Hadoop 集群上运行

使用 Amazon Elastic MapReduce (EMR) 在云上运行

pip 的安装方法非常简单，无需配置，直接运行：pip install mrjob

代码实例：

from mrjob.job import MRJob class MRWordCounter(MRJob): def mapper(self, key, line): for word in line.split(): yield word, 1 def reducer(self, word, occurrences): yield word, sum(occurrences) if __name__ == '__main__': MRWordCounter.run()
Salin selepas log masuk


Label berkaitan：
使用Python编写MapReduce作业
sumber：php.cn
Artikel sebelumnya：pydev部署开发全解析 Artikel seterusnya：python查询百度seo信息
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Isu terkini
API Komposisi Vue 3 - Objek yang berpotensi kosong Saya menggunakan Vue3Compositionapi dan Typescript untuk melaksanakan pinch-to-zoom menggu...
daripada 2023-11-08 13:04:14
0
1
166
Kenal pasti had prestasi dalam JavaScript Saya cuba mencari kesesakan dalam Javascript saya. Pada asasnya saya sedang membangunkan s...
daripada 2023-10-31 20:47:17
0
1
229
Akses `window`/DOM/HTML halaman web daripada sambungan Saya sedang menulis sambungan Chrome dan cuba menindih halaman web semasa sebaik sahaja bu...
daripada 2023-10-18 09:44:00
0
2
257
Menggunakan pembolehubah untuk melaksanakan pernyataan SQL dalam Python Saya mempunyai kod Python berikut: cursor.execute("INSERTINTOtableVALUESvar1,var2,var...
daripada 2023-10-12 15:06:00
0
2
258
Pembetulan Kerentanan Kod JavaScript: Langkah Penting yang Anda Perlu Tahu Saya bukan pengguna JS yang paling kuat, tetapi saya memerlukannya dan menulis beberapa ko...
daripada 2023-09-20 14:49:09
0
4
328
Topik-topik yang berkaitan
Lagi>
Cadangan popular
Tutorial Popular
Lagi>
Tutorial berkaitan
Cadangan popular
Kursus terkini
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina：Latihan PHP dalam talian kebajikan awam，Bantu pelajar PHP berkembang dengan cepat！