作者文章归档：zuojie@88.com
1.了解在流水线上进行数据分类预测的方法。
1.调用 pipeline 进行整个数据处理流程的调用。
2.调用 train_test_split 进行数据集的分割。
使用 train_test_split 可拆分数据，保留一部分数据进行测试，以尽量避免过 拟合，保留一部分数据做测试训练模型用，改变 random_state 还可以改变分离 数据的位置，test_size 默认是 0.25，可通过这个变量改变分离的数据量比例； 把常用的可重复的操作放进流水线 pipeline 上以方便训练模型。由于 sklearn 的...[root@master software]# tar -xvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/
[root@master software]# ln -s /usr/local/apache-flume-1.7.0-bin/ /usr/local/flume
[root@master software]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
...Sqoop相关发行版本可以通过官网 https://mirror-hk.koddos.net/apache/sqoop/来
获取
[root@master local]# tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/
[root@master local]# ln -s /usr/local/sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop
[root@master local]# cd /usr/loca...启动 hdfs、zookeeper、hbase 服务
start-all.sh
zkServer.sh start
start-hbase.sh
# 使用 HBase 命令行
[hadoop@master hbase]$ hbase shell
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
Version 1.7.1, r2d92...[root@master local]# tar -xvf hbase-1.7.1-bin.tar.gz -C /usr/local/
[root@master local]# ln -s /usr/local/hbase-1.7.1/ /usr/local/hbase
# 在所有节点添加环境变量
[root@master ~]# vi /etc/profile
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/b...# 准备好ZooKeeper安装包
[root@master software]# tar -xvf apache-zookeeper-3.5.9-bin.tar.gz -C /usr/local/
[root@master software]# cd /usr/local/
[root@master local]# ln -s /usr/local/apache-zookeeper-3.5.9/ /usr/local/zookeeper
[root@master local]# chown hadoop.hadoop -...我们可以通过以下命令将容器保存为镜像
docker commit 容器名 镜像名
我们可以通过以下命令将镜像保存为tar 文件
docker save -o 镜像.tar 镜像名
然后执行load命令进行恢复
docker load -i xxxx.tar
# -i 输入的文件
我们可以基于这个镜像来创建一个容器，例如
docker run -di --name=容器名 -p 81:80 镜像名
Hive 组件的部署规划和软件包路径如下：
（1）当前环境中已安装 Hadoop 全分布系统。
（2）本地安装 MySQL 数据库（账号 root，密码 root123）
（3）MySQL 端口号（3306）。
（4）MySQL 的 JDBC 驱动包/opt/software/mysql-connector-java-5.1.49.jar，
在此基础上更新 Hive 元数据存储。
（5）Hive 软件包/opt/software/apache-hive-2.3.9-bin.tar.gz
# 1.下载MySQL
wge...# 获取IP
[root@base ~]# ifconfig |grep inet|head -1
inet 192.168.91.10 netmask 255.255.255.0 broadcast 192.168.91.255
# 设置主机名
[root@base ~]# hostnamectl set-hostname master
[root@base ~]# hostname
master
# 绑定主机名和IP地址
[root@base ~]# vim /etc/hosts
192.168.91.10 ...