分类目录归档：大数据
安装必要库（仅需基础库）：
pip install requests beautifulsoup4 lxml
目标：提取豆瓣电影Top250的电影名称、评分、评价人数（适合学习静态页面解析）。
import requests
from bs4 import BeautifulSoup
# 目标URL（豆瓣电影Top250第一页）
url = "https://movie.douban.com/top250?start=0"
# 模拟浏览器请求头（关键：避免被识别为爬虫）
headers =...Requests 是 Python 中最流行的 HTTP 客户端库，由 Kenneth Reitz 开发，以“人类友好”为设计理念，简化了发送 HTTP 请求、处理响应的流程。相比 Python 内置的 urllib 库，Requests 语法更简洁，自动处理编码、Cookie、会话等细节，是接口测试、爬虫、API 交互等场景的首选工具。
Requests 是第三方库，需通过 pip 安装：
pip install requests
Requests 支持所有常见的 HTTP 方法（GET、POST、PUT、DELE...
了解爬虫，爬虫起源；
专业术语： 网络爬虫（又被称为网页蜘蛛，网络机器人）
网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战；
搜索引擎有Yahoo，Google，百度等,作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南
网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，采集信息，这些网页信息用于建立索引从而为搜索 引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此...
1.了解在流水线上进行数据分类预测的方法。
1.调用 pipeline 进行整个数据处理流程的调用。
2.调用 train_test_split 进行数据集的分割。
使用 train_test_split 可拆分数据，保留一部分数据进行测试，以尽量避免过 拟合，保留一部分数据做测试训练模型用，改变 random_state 还可以改变分离 数据的位置，test_size 默认是 0.25，可通过这个变量改变分离的数据量比例； 把常用的可重复的操作放进流水线 pipeline 上以方便训练模型。由于 sklearn 的...[root@master software]# tar -xvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/
[root@master software]# ln -s /usr/local/apache-flume-1.7.0-bin/ /usr/local/flume
[root@master software]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
...Sqoop相关发行版本可以通过官网 https://mirror-hk.koddos.net/apache/sqoop/来
获取
[root@master local]# tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/
[root@master local]# ln -s /usr/local/sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop
[root@master local]# cd /usr/loca...启动 hdfs、zookeeper、hbase 服务
start-all.sh
zkServer.sh start
start-hbase.sh
# 使用 HBase 命令行
[hadoop@master hbase]$ hbase shell
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
Version 1.7.1, r2d92...[root@master local]# tar -xvf hbase-1.7.1-bin.tar.gz -C /usr/local/
[root@master local]# ln -s /usr/local/hbase-1.7.1/ /usr/local/hbase
# 在所有节点添加环境变量
[root@master ~]# vi /etc/profile
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/b...