hadoop是什么意思（hadoop核心组件功能）

1、Hadoop是什么tQL快乐收录网

1.1、小故事版本的解释tQL快乐收录网

小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务，小明感觉很轻松。他首先把这个100M的文件拷贝到自己的电脑上，然后写了个计算程序在他的计算机上执行后顺利输出了结果。tQL快乐收录网

后来，小明接到了另外一个任务，计算一个1T（1024G）的文本文件中的单词的个数。再后来，小明又接到一个任务，计算一个1P(1024T)的文本文件中的单词的个数……tQL快乐收录网

面对这样大规模的数据，小明的那一台计算机已经存储不下了，也计算不了这样大的数据文件中到底有多少个单词了。机智的小明上网百度了一下，他在百度的输入框中写下了：大数据存储和计算怎么办？按下回车键之后，出现了有关Hadoop的网页。tQL快乐收录网

看了很多网页之后，小明总结一句话：Hadoop就是存储海量数据和分析海量数据的工具。tQL快乐收录网

1.2、稍专业点的解释tQL快乐收录网

Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。tQL快乐收录网

HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。tQL快乐收录网

MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。tQL快乐收录网

1.3、记住下面的话：tQL快乐收录网

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。tQL快乐收录网

把HDFS理解为一个分布式的，有冗余备份的，可以动态扩展的用来存储大规模数据的大硬盘。tQL快乐收录网

把MapReduce理解成为一个计算引擎，按照MapReduce的规则编写Map计算/Reduce计算的程序，可以完成计算任务。tQL快乐收录网

2、Hadoop能干什么tQL快乐收录网

大数据存储：分布式存储tQL快乐收录网

日志处理：擅长日志分析tQL快乐收录网

ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库tQL快乐收录网

机器学习: 比如Apache Mahout项目tQL快乐收录网

搜索引擎:Hadoop + lucene实现tQL快乐收录网

数据挖掘：目前比较流行的广告推荐，个性化广告推荐tQL快乐收录网

Hadoop是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。tQL快乐收录网

实际应用：tQL快乐收录网

（1）Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析tQL快乐收录网

 tQL快乐收录网

（2）酷狗音乐的大数据平台tQL快乐收录网

 tQL快乐收录网

3、怎么使用HadooptQL快乐收录网

3.1、Hadoop集群的搭建tQL快乐收录网

无论是在windows上装几台虚拟机玩Hadoop，还是真实的服务器来玩，说简单点就是把Hadoop的安装包放在每一台服务器上，改改配置，启动就完成了Hadoop集群的搭建。tQL快乐收录网

3.2、上传文件到Hadoop集群tQL快乐收录网

Hadoop集群搭建好以后，可以通过web页面查看集群的情况，还可以通过Hadoop命令来上传文件到hdfs集群，通过Hadoop命令在hdfs集群上建立目录，通过Hadoop命令删除集群上的文件等等。tQL快乐收录网

3.3、编写map/reduce程序tQL快乐收录网

通过集成开发工具（例如eclipse）导入Hadoop相关的jar包，编写map/reduce程序，将程序打成jar包扔在集群上执行，运行后出计算结果。tQL快乐收录网

　　《hadoop是什么意思（hadoop核心组件功能）》更新于时间：2022-07-12 22:13:43；由本站小编进行发布，目前浏览的小伙伴达到，感谢你们的支持，后期快乐收录网小编会继续为大家更新更多相关的文章，希望广大网友多多关注快乐收录网工作心得栏目，如果觉得本站不错，那就给我们一个分享的支持吧！

hadoop是什么意思（hadoop核心组件功能）特别声明

本站快乐收录网提供的hadoop是什么意思（hadoop核心组件功能）都来源于网络，不保证文章的准确性和真实性，同时，对于该文章所造成的影响，不由快乐收录网实际控制，在2022-07-12 22:13:43收录时，该网页上的内容，都属于合规合法，如有侵权违规，可以直接联系网站管理员进行整改或删除，快乐收录网不承担任何责任。

标签：