Home  >  Article  >  Database  >  hadoop学习-前记

hadoop学习-前记

WBOY
WBOYOriginal
2016-06-07 16:38:291087browse

之前找工作的时候,我的目标是找互联网、电商方面的公司开发工作,但是碰了好多壁。原因是一直做企业级开发,与互联网开发方面不对口。而互联网公司都需要有互联网开发经验的,对这方面我有很大的不足。 一次在面试的过程中我就问面试官,互联网现在一般用哪

之前找工作的时候,我的目标是找互联网、电商方面的公司开发工作,但是碰了好多壁。原因是一直做企业级开发,与互联网开发方面不对口。而互联网公司都需要有互联网开发经验的,对这方面我有很大的不足。

一次在面试的过程中我就问面试官,互联网现在一般用哪些技术,他告诉我现在互联网开发主要是针对大数据的处理,云计算的方向。具体点的就是hadoop、hbase、高并发、网络编程方面的。

所以最近我准备学习hadoop的应用,在此留下我学习的足迹。


先上一段百度百科对hadoop的介绍:

hadoop:

一个分布式系统基础架构,由Apache基金会所开发。

用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。[2] 


声明: 本文采用 BY-NC-SA 协议进行授权 | yu博客
转载请注明转自《hadoop学习-前记》

Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn