标签:面试

Flume

Flume 面试题总结

1

杨不知 发布于 3个月前 (04-01)

Flume 基础架构 Agent Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的地。它主要由三个部分组成:Source、Channel、Sink。 Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类 […]

阅读(609)评论(0)赞 (0)

Hadoop

Yarn 面试题总结

4

杨不知 发布于 3个月前 (03-31)

Yarn 的基本架构 从 YARN 的架构图来看,它主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件组成。 ResourceManager:它控制整个集群并管理应用程序向基础计算资源的分配。Reso […]

阅读(479)评论(0)赞 (0)

Spark

Spark 面试题

2

杨不知 发布于 3个月前 (03-29)

Spark 有哪几种运行模式 Local 模式:Local 模式就是运行在一台计算机上的模式,通常用于在本机练手和测试。 Standalone 模式:构建一个 Master + Slave 构成的 Spark 集群,Spark 运行在集群中。 Yarn 模式:Spark 客户端直 […]

阅读(323)评论(0)赞 (0)

Hadoop

Hadoop HA(集群高可用)笔记

杨不知 发布于 3个月前 (03-29)

背景 在 Hadoop 之前的版本中存在单点故障的问题,就是说每个集群中只有一个 NameNode 提供服务,如果发生意外宕机或者对机器进行维护(如更换硬盘)的时候,整个集群就不能正常工作,基于以上原因,提出了 HA(Hadoop 高可用)的概念。 Hadoop 官方网站上提供了 […]

阅读(268)评论(0)赞 (0)

Hadoop

HDFS 面试题总结

5

杨不知 发布于 4个月前 (03-24)

以下内容搜集整理于网络,并会不定期更新 HDFS 组成架构 Client(客户端):访问 HDFS 的程序或者 HDFS 的 Shell 操作都可以认为是 HDFS 的客户端。 (1)负责文件切分。文件上传 HDFS 的时候,Client 将文件切分成一个个 Block,然后进行 […]

阅读(443)评论(0)赞 (0)