Hadoop中运行WordCount

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境，今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程：这时注意程序是在文件系统dfs运行的，创建的文件

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境，今天介绍如何运行Hadoop环境下的第一个实例WordCount。

在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程：这时注意程序是在文件系统dfs运行的，创建的文件也都基于文件系统：

1、准备需要进行wordcount的文件
首先在”/home/hadoop”目录下创建文件夹”file”。接着创建两个文本文件file1.txt和file2.txt，使file1.txt内容为”Hello world”，而file2.txt的内容为”Hello hadoop”。

2、在HDFS上创建输入文件夹input

hadoop fs -mkdir input 

3、将准备的测试文件上传到dfs文件系统中的input目录下，

hadoop fs -put /home/hadoop/file1.txt input
hadoop fs -put /home/hadoop/file2.txt input

4、运行wordcount

说明：hadoop-0.20.2-examples.jar是Hadoop中自带的实例，Hadoop版本不一样，实例名称可能有区别，大家在目录中自行查看。

hadoop jar hadoop-0.20.2-examples.jar wordcount input outputo

5、查看结果

hadoop dfs -cat outputo/part-r-00000 

6、进入bin目录停止stop-all.sh。

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com