程序员虾说程序员虾说

所有文章 第3页

Hbase

HBase集群搭建以及使用

杨不知 发布于 10个月前 (12-25)

一、集群搭建 在搭建HBase集群之前请确保已经正确安装了Zookeeper集群和Hadoop集群,并且zkServer、HDFS和Yarn已经正常启动。关于Zookeeper和Hadoop的集群搭建请看Zookeeper集群搭建以及使用、Hadoop集群搭建以及使用。 由于HB […]

阅读(881)评论(0)赞 (0)

Kafka

Kafka集群搭建以及使用

杨不知 发布于 10个月前 (12-25)

一、集群搭建 1、在Kafka官网下载安装包,并解压到/opt/module目录 $ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ 2、进入到/opt/module目录,修改解压后的文件名称 $ cd /opt/module […]

阅读(960)评论(0)赞 (0)

Zookeeper

Zookeeper写数据流程

杨不知 发布于 10个月前 (12-24)

1、当Client向Server1写数据的时候会发送一个写请求; 2、如果Server1不是Leader,那么它接收到Client的请求之后会将该请求转发给Leader,Leader会进一步将请求广播给其它几个Server,其它几个Server写成功之后就会通知Leader。这样 […]

阅读(632)评论(0)赞 (0)

Zookeeper

Zookeeper内部原理剖析

杨不知 发布于 10个月前 (12-24)

一、半数以上机制 提到Zookeeper就不得不说它的半数以上机制,其实就是在Zookeeper集群中所有的机器只要半数以上存活,那么该集群就是可用的。比如:假设当前Zookeeper集群由5台机器组成,那么只要有3台机器存活,该集群就可以正常使用,但是2台存活就不行。所以,Zo […]

阅读(449)评论(0)赞 (0)

Zookeeper

Zookeeper集群搭建以及使用

杨不知 发布于 10个月前 (12-24)

一、安装 安装Zookeeper的前提是已经安装了JDK。 1、解压 (1)解压Zookeeper安装包到/opt/module/目录下 $ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ (2)同步/opt/module/zo […]

阅读(583)评论(0)赞 (0)

Sqoop

Sqoop安装以及使用

杨不知 发布于 10个月前 (12-24)

一、简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也 […]

阅读(774)评论(0)赞 (0)

Kafka

Kafka群起(关闭)脚本

杨不知 发布于 11个月前 (12-11)

创建kafka.sh文件,在里面输入以下内容: #!/bin/bash case $1 in "start"){ for i in bd102 bd103 bd104 do echo "***************$i***************" ssh $i "/opt/ […]

阅读(800)评论(0)赞 (0)

Hadoop

HDFS常用命令总结

杨不知 发布于 11个月前 (12-01)

执行以下命令需要在hadoop安装目录下的bin目录中执行,比如我的安装路径是/opt/module/hadoop-2.7.2,那么就在/opt/module/hadoop-2.7.2/bin目录下执行。 -help:显示帮助信息 hdfs dfs -help rm -ls:显示 […]

阅读(682)评论(1)赞 (0)

杂七杂八

Jupyter notebook配置多行显示

1

杨不知 发布于 12个月前 (10-28)

在用户家目录下面的/.ipython/profile_default/目录下新建 ipython_config.py,然后添加以下两行代码 c = get_config() c.InteractiveShell.ast_node_interactivity = “al […]

阅读(1165)评论(1)赞 (0)

杂七杂八

Apache如何搭建多站点

杨不知 发布于 1年前 (2019-10-22)

我个人本来就有一台云服务器,上面挂着我的博客,然后注册了两个域名,想额外搭建两个网站。但是又不想再花钱买服务器(主要是太穷),所以就在已有的那台机器上又增加了两个网站。本来是想通过Nginx搭建的,但是因为已经有Apache了,所以就直接搭建在Apache上面了。 在开始之前先明 […]

阅读(1315)评论(0)赞 (1)