64安装与配置Hadoop(3)

验证是否正确,有两种方式
[Hadoop@master hadoop]$ jps 下面表示正常
3598 Jps
3371 SecondaryNameNode
3429 JobTracker
3229 NameNode
‚[hadoop@master hadoop]$ hadoop dfsadmin -report
Configured Capacity: 55609774080 (51.79 GB)
Present Capacity: 46984687616 (43.76 GB)
DFS Remaining: 46984564736 (43.76 GB)
DFS Used: 122880 (120 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)

Name: 192.168.1.22:50010
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 40960 (40 KB)
Non DFS Used: 2875023360 (2.68 GB)
DFS Remaining: 15661527040(14.59 GB)
DFS Used%: 0%
DFS Remaining%: 84.49%
Last contact: Fri Jul 26 11:02:58 CST 2013


Name: 192.168.1.24:50010
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 40960 (40 KB)
Non DFS Used: 2874978304 (2.68 GB)
DFS Remaining: 15661572096(14.59 GB)
DFS Used%: 0%
DFS Remaining%: 84.49%
Last contact: Fri Jul 26 11:02:59 CST 2013


Name: 192.168.1.23:50010
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 40960 (40 KB)
Non DFS Used: 2875084800 (2.68 GB)
DFS Remaining: 15661465600(14.59 GB)
DFS Used%: 0%
DFS Remaining%: 84.49%
Last contact: Fri Jul 26 11:03:00 CST 2013

网页查看集群:

CentOS 6.3 x86_64安装与配置Hadoop-1.0

五、Hadoop进程监听的地址和端口
Hadoop启动时会运行两个服务器进程,一个为用于Hadoop各进程之间进行通信的RPC服务器,另一个是提供了便于管理员查看Hadoop集群各进程相关信息页面的HTTP服务器。

用于定义各RPC服务器所监听的地址和端口的属性有如下几个:
fs.default.name:定义HDFS的NameNode用于提供URI所监听的地址和端口,默认端口为8020;
dfs.datanode.ipc.address:DataNode上RPC服务器监听的地址和端口,默认为0.0.0.0:50020;
mapred.job.tracker:JobTracker的PRC服务器所监听的地址和端口,默认端口为8021;
mapred.task.tracker.report.address:TaskTracker的RPC服务器监听的地址和端口;TaskTracker的子JVM使用此端口与TaskTracker进行通信,它仅需要监听在本地回环地址127.0.0.1上,因此可以使用任何端口;只有在当本地没有回环接口时才需要修改此属性的值;
除了RPC服务器之外,DataNode还会运行一个TCP/IP服务器用于数据块传输,其监听的地址和端口可以通过dfs.datanode.address属性进行定义,默认为0.0.0.0:50010。

可用于定义各HTTP服务器的属性有如下几个:
dfs.http.address:NameNode的HTTP服务器地址和端口,默认为0.0.0.0:50070;
dfs.secondary.http.address:SecondaryNameNode的HTTP服务器地址和端口,默认为0.0.0.0:50090;
mapred.job.tracker.http.addrss:JobTracker的HTTP服务器地址和端口,默认为0.0.0.0:50030;
dfs.datanode.http.address:DataNode的HTTP服务器地址和端口,默认为0.0.0.0:50075;
mapred.task.tracker.http.address:TaskTracker的HTTP服务器地址和端口,默认为0.0.0.0:50060;
上述的HTTP服务器均可以通过浏览器直接访问以获取对应进程的相关信息,访问路径为:Port。如namenode的相关信息:

CentOS 6.3 x86_64安装与配置Hadoop-1.0

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/dd11859209f9773d5aeb861da570ea47.html