• 技术文章 >后端开发 >Python教程

    python的map和reduce和Hadoop的MapReduce有什么关系?

    2016-06-06 16:24:27原创851
    如题

    回复内容:

    hadoop map阶段所做的事 类比于 python map
    hadoop reduce阶段所做的事 类比于 python groupby
    但只是类比,hadoop map阶段和reduce阶段有更具体细节的不同步骤,两者牛头无法对上马嘴。 MapReduce是一种Google第一次提出的,在并行集群里对大数据进行计算的的一种编程模型。它包括map与reduce。map与reduce来源于函数式编程的两个方法。Hadoop的MapReduce是对Google MapReduce的一个开源实现。它提供Map与Reduce两个接口。

    以下是python官方文档对map与reduce的定义。

    map(function, iterable): Apply function to every item of iterable and return a list of the results. 这个方法会把可迭代函数里的每一个元素应用一次方程,并将结果以一个数组返回。

    实例:
    def add_one(x):
      return x+1
    
    a = [1,2,3,4]
    map(add_one,a)  // 此处将返回 [2,3,4,5]
    
    blog.damotou.info/2015/
    看我这篇博客吧 我去,这差得十万八千里。。

    您好 我一名学生,现在的研究方向也是关于数据挖掘的,今天有幸看到您的文章里有关于 用python来实现mapreduce 程序,想请教一下您仅用python来写实现mapreduce程序够吗 因为我学得是python ,但是了解到大部分的hadoop程序及框架都是用java来写的,所以在这里想问一下您是不是还需要继续学习java来开发mapreduce 程序?希望得到您的指导

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    专题推荐:
    上一篇:电影《危机解密 》(The Fifth Estate )中使用的是什么编辑器? 下一篇:为什么metasploit框架选择ruby而不是python呢?
    20期PHP线上班

    相关文章推荐

    • 【活动】充值PHP中文网VIP即送云服务器• 聊聊Python中列表和字典前加星号(**)• python网络爬虫方向的第三方库有哪些• python爬虫入门实战之爬取网页图片• Python编码规范知识点整理• 一文搞懂python中Tkinter的使用
    1/1

    PHP中文网