Hadoop

Yarn 面试题总结

4

杨不知 发布于 3个月前 (03-31)

Yarn 的基本架构 从 YARN 的架构图来看,它主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件组成。 ResourceManager:它控制整个集群并管理应用程序向基础计算资源的分配。Reso […]

阅读(479)评论(0)赞 (0)

Hadoop HA(集群高可用)笔记

杨不知 发布于 3个月前 (03-29)

背景 在 Hadoop 之前的版本中存在单点故障的问题,就是说每个集群中只有一个 NameNode 提供服务,如果发生意外宕机或者对机器进行维护(如更换硬盘)的时候,整个集群就不能正常工作,基于以上原因,提出了 HA(Hadoop 高可用)的概念。 Hadoop 官方网站上提供了 […]

阅读(268)评论(0)赞 (0)

HDFS 面试题总结

5

杨不知 发布于 4个月前 (03-24)

以下内容搜集整理于网络,并会不定期更新 HDFS 组成架构 Client(客户端):访问 HDFS 的程序或者 HDFS 的 Shell 操作都可以认为是 HDFS 的客户端。 (1)负责文件切分。文件上传 HDFS 的时候,Client 将文件切分成一个个 Block,然后进行 […]

阅读(443)评论(0)赞 (0)

Hadoop 启动关闭命令总结

杨不知 发布于 4个月前 (02-26)

HDFS: 格式化 NameNode:bin/hdfs namenode -format 启动单个 NameNode:sbin/hadoop-daemon.sh start namenode 启动单个 DataNode:sbin/hadoop-daemon.sh start na […]

阅读(324)评论(0)赞 (0)

HDFS常用命令总结

杨不知 发布于 7个月前 (12-01)

执行以下命令需要在hadoop安装目录下的bin目录中执行,比如我的安装路径是/opt/module/hadoop-2.7.2,那么就在/opt/module/hadoop-2.7.2/bin目录下执行。 -help:显示帮助信息 hdfs dfs -help rm -ls:显示 […]

阅读(386)评论(1)赞 (0)

Hadoop集群搭建

1

杨不知 发布于 1年前 (2019-02-16)

Hadoop集群部署 一、准备工作 假设现在有4台机器 192.168.1.101 192.168.1.102 192.168.1.103 192.168.1.104 这里以centos7系统为例 (不同版本的Linux系统在做某些操作时命令不一样,可自行百度) 四个节点都有登录 […]

阅读(420)评论(0)赞 (2)