程序员虾说程序员虾说

24小时更新:0篇     一周更新:0篇最新发布

Flume

Flume 面试题总结

1

杨不知 发布于 3个月前 (04-01)

Flume 基础架构 Agent Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的地。它主要由三个部分组成:Source、Channel、Sink。 Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类 […]

阅读(609)评论(0)赞 (0)

Hadoop

Yarn 面试题总结

4

杨不知 发布于 3个月前 (03-31)

Yarn 的基本架构 从 YARN 的架构图来看,它主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件组成。 ResourceManager:它控制整个集群并管理应用程序向基础计算资源的分配。Reso […]

阅读(479)评论(0)赞 (0)

Spark

Spark 面试题

2

杨不知 发布于 3个月前 (03-29)

Spark 有哪几种运行模式 Local 模式:Local 模式就是运行在一台计算机上的模式,通常用于在本机练手和测试。 Standalone 模式:构建一个 Master + Slave 构成的 Spark 集群,Spark 运行在集群中。 Yarn 模式:Spark 客户端直 […]

阅读(323)评论(0)赞 (0)

Hadoop

Hadoop HA(集群高可用)笔记

杨不知 发布于 3个月前 (03-29)

背景 在 Hadoop 之前的版本中存在单点故障的问题,就是说每个集群中只有一个 NameNode 提供服务,如果发生意外宕机或者对机器进行维护(如更换硬盘)的时候,整个集群就不能正常工作,基于以上原因,提出了 HA(Hadoop 高可用)的概念。 Hadoop 官方网站上提供了 […]

阅读(268)评论(0)赞 (0)

杂七杂八

Java 基础面试题总结

杨不知 发布于 4个月前 (03-24)

1. String、StringBuffer、StringBuilder 的区别? String:不可变的字符序列 StringBuffer:可变的字符序列;线程安全,效率低;底层使用 char[] 存储。 StringBuilder:可变的字符序列;线程不安全,效率高;底层使用 […]

阅读(236)评论(0)赞 (0)

Hadoop

HDFS 面试题总结

5

杨不知 发布于 4个月前 (03-24)

以下内容搜集整理于网络,并会不定期更新 HDFS 组成架构 Client(客户端):访问 HDFS 的程序或者 HDFS 的 Shell 操作都可以认为是 HDFS 的客户端。 (1)负责文件切分。文件上传 HDFS 的时候,Client 将文件切分成一个个 Block,然后进行 […]

阅读(443)评论(0)赞 (0)

Hadoop

Hadoop 启动关闭命令总结

杨不知 发布于 4个月前 (02-26)

HDFS: 格式化 NameNode:bin/hdfs namenode -format 启动单个 NameNode:sbin/hadoop-daemon.sh start namenode 启动单个 DataNode:sbin/hadoop-daemon.sh start na […]

阅读(324)评论(0)赞 (0)

Hive

Hive 数据导入和导出

杨不知 发布于 4个月前 (02-26)

一、数据导入 1.1 load 命令 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] local […]

阅读(307)评论(0)赞 (0)

Hive

内部表、外部表、分区表、分桶表

2

杨不知 发布于 4个月前 (02-26)

一、内部表 内部表也称为管理表,默认创建的表都是内部表。因为这种表,Hive 会(或多或少地)控制着数据的生命周期。Hive 默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如,/user/hive/warehouse)所定义的 […]

阅读(427)评论(0)赞 (0)

Hive

Hive DDL操作合集

杨不知 发布于 4个月前 (02-25)

关于Hive官方对DDL语言的说明,可以参见此页。 一、数据库操作 1.1 创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs […]

阅读(325)评论(0)赞 (0)