分类目录归档:Hadoop集群

Flume组件安装配置


Flume 组件安装配置

安装

[root@master software]# tar -xvf apache-flume-1.7.0-bin.tar.gz  -C /usr/local/
[root@master software]# ln -s /usr/local/apache-flume-1.7.0-bin/ /usr/local/flume

配置Flume

[root@master software]# vim /etc/profile
export JAVA_HOME=/usr/loc...

Read more

Sqoop 组件安装与配置


Sqoop 组件安装与配置

1.下载和解压 Sqoop

Sqoop相关发行版本可以通过官网 https://mirror-hk.koddos.net/apache/sqoop/来

获取

[root@master local]# tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz  -C /usr/local/

[root@master local]# ln -s /usr/local/sqoop-1.4.7.bin__hadoop-2.6.0  /usr/lo...

Read more

HBase 常用 Shell 命令


HBase 常用 Shell 命令

1.HBase 常用命令

启动 hdfs、zookeeper、hbase 服务

start-all.sh
zkServer.sh start
start-hbase.sh
# 使用 HBase 命令行
[hadoop@master hbase]$ hbase shell
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit ...

Read more

HBase 组件安装与配置


HBase 组件安装与配置

1.HBase 安装与配置

[root@master local]# tar -xvf hbase-1.7.1-bin.tar.gz  -C /usr/local/

[root@master local]# ln -s /usr/local/hbase-1.7.1/ /usr/local/hbase

# 在所有节点添加环境变量
[root@master ~]# vi /etc/profile
export HBASE_HOME=/usr/local/hbase

exp...

Read more

ZooKeeper组件安装配置


ZooKeeper 组件安装配置

1.安装 ZooKeeper

# 准备好ZooKeeper安装包
[root@master software]# tar -xvf apache-zookeeper-3.5.9-bin.tar.gz -C /usr/local/
[root@master software]# cd /usr/local/
[root@master local]# ln -s /usr/local/apache-zookeeper-3.5.9/  /usr/local/zookeepe...

Read more

Hive 组件安装与配置


Hive 组件安装与配置

1.基础环境和安装准备

Hive 组件的部署规划和软件包路径如下:

(1)当前环境中已安装 Hadoop 全分布系统。

(2)本地安装 MySQL 数据库(账号 root,密码 root123)

(3)MySQL 端口号(3306)。

(4)MySQL 的 JDBC 驱动包/opt/software/mysql-connector-java-5.1.49.jar,

在此基础上更新 Hive 元数据存储。

(5)Hive 软件包/opt/software/apache-hive...

Read more

Hadoop环境搭建


Hadoop环境搭建

1.配置Linux基础环境

# 获取IP
[root@base ~]# ifconfig |grep  inet|head -1
        inet 192.168.91.10  netmask 255.255.255.0  broadcast 192.168.91.255
 # 设置主机名
[root@base ~]# hostnamectl set-hostname master
[root@base ~]# hostname
master
# 绑定主机名和IP地址
[...

Read more