简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Heim> Backend-Entwicklung> Python-Tutorial> Hauptteil

使用Python编写MapReduce作业

高洛峰
Freigeben： 2016-10-18 10:28:52
Original
1325 Leute haben es durchsucht

mrjob 可以让用 Python 2.5+ 来编写 MapReduce 作业，并在多个不同平台上运行，你可以：

使用纯 Python 编写多步的 MapReduce 作业

在本机上进行测试

在 Hadoop 集群上运行

使用 Amazon Elastic MapReduce (EMR) 在云上运行

pip 的安装方法非常简单，无需配置，直接运行：pip install mrjob

代码实例：

from mrjob.job import MRJob class MRWordCounter(MRJob): def mapper(self, key, line): for word in line.split(): yield word, 1 def reducer(self, word, occurrences): yield word, sum(occurrences) if __name__ == '__main__': MRWordCounter.run()
Nach dem Login kopieren


Verwandte Etiketten：
使用Python编写MapReduce作业
Quelle：php.cn
Vorheriger Artikel：pydev部署开发全解析 Nächster Artikel：python查询百度seo信息
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Aktuelle Ausgaben
Vue 3 Composition API – Möglicherweise leeres Objekt Ich verwende Vue3Compositionapi und Typescript, um Pinch-to-Zoom mit dem HammerJS-Paket zu...
Aus 2023-11-08 13:04:14
0
1
166
Identifizieren Sie Leistungseinschränkungen in JavaScript Ich versuche, den Engpass in meinem Javascript zu finden. Im Grunde entwickle ich eine in ...
Aus 2023-10-31 20:47:17
0
1
229
Greifen Sie über eine Erweiterung auf das „Fenster'/DOM/HTML einer Webseite zu Ich schreibe eine Chrome-Erweiterung und versuche, die aktuelle Webseite zu überlagern, so...
Aus 2023-10-18 09:44:00
0
2
257
Verwenden von Variablen zum Ausführen von SQL-Anweisungen in Python Ich habe den folgenden Python-Code: Cursor.execute("INSERTINTOtableVALUESvar1,var2,va...
Aus 2023-10-12 15:06:00
0
2
258
Behebung der Sicherheitslücke im JavaScript-Code: Wichtige Schritte, die Sie kennen müssen Ich bin nicht der stärkste JS-Benutzer, aber ich brauche es und habe Code für meine Websei...
Aus 2023-09-20 14:49:09
0
4
328
verwandte Themen
Mehr>
Beliebte Empfehlungen
Beliebte Tutorials
Mehr>
Verwandte Tutorials
Beliebte Empfehlungen
Aktuelle Kurse
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website：Online-PHP-Schulung für das Gemeinwohl，Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln！