开发和DBA为了能够实时掌握mysql的运行情况，需要对mysql中执行的sql指令大于1秒的统计出来，并且通过ELK分析，统计，实时查看。通过分析可以让DBA能够优化数据库，能够提升运行速度。
a、mysql安装
安装脚本
mysql默认root密码更改
[root@node4 mysql]# mysql_secure_installation
b、mysql slow日志开启
#开启slow log
slow_query_log=1
slow_query_log_file=/usr/local/mysql/mysql-slow.log
long-...我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。把这多台存储服务器的存储合起来做成一个整体再通过网络进行远程共享,共享的方式有目录(文件存储),块设备(块存储),对象网关或者说一个程序接口(对象存储)。
常见的分布式存储开源软件有:GlusterFS,Ceph,HDFS,MooseFS,FastDFS等。
分布式存储一般都有以下几个优点:
公司为了每天都能够随时看到公司WEB业务的实时运行情况，希望运维通过分析access.log日志信息，实时展示一下数据给公司的运营部门：
a、部署nginx服务
[root@node4 ~]# tar xf nginx-*.rpm
[root@node4 ~]# cd nginx-*.rpm
[root@node4 ~]# yum -y install pcre-deve...因为logstash太费内存了,如果在要采集的服务上都安装logstash,你可以想象这样这样资源消耗多高。所以我们要用轻量级的采集工具才更高效,更省资源。
beats是轻量级的日志收集处理工具，Beats占用资源少
学习数据采集、数据分析的时候，我们一般验证都是通过ES-head来查看的，虽然解决了验证问题，但是界面友好度还是比较差，为了解决这个问题，我们可以通过学习kibana之后，通过kibana进行数据展示。
Kibana是一个开源的可视化web平台,【是什么】
可以为ElasticSearch集群的管理提供友好的Web界面,帮助汇总,分析和搜索重要的日志数据。【干什么】
文档路径: https://www.elastic.co/guide/en/kibana/current/setup.html
部署前准备
主要的基础概念有: Index,Type,Document,Field,shard和replicas.
Index(索引): 是具有相似特性的文档集合。
Type(类型): 在一个索引中可以定义一个或多个类型。
Documenet(文档): 索引信息的基本单位。
Field(字段): ES里更小的信息单位。
shard(分片)： 数据存储的方式
replicas(副本)：副本 数据备份
为了便于理解,我们和mysql这种关系型数据库做一个对比:
| 关系型数据库(如mysql,oracle等) | elasticsearch |
|---|---|
| database... |
ES负责存储、分析数据，但是这一切前提是需要有数据，ES本身是不能够收集数据的，数据的收集如何来做呢？我们可以通过两个软件来实现数据的收集，那就是：
Logstash:收集、处理数据然后交给ES
Beats:收集数据交给ES
两者不同点在于Logstash能够更像一个数据中转站，它能够收集数据，并且对收集的数据进行处理，所以logstash消耗的计算机资源也是比较大的。Beats只负责收集数据，将数据收集后交给ES，和logstash相比其消耗的计算机资源更少，可以忽略。
logstash是一个开源的数据采集工具,通过数据源采集数据.然后进行过滤,并自定义格式输...
elasticsearch-head是 ES集群管理、索引数据可视化、增删改查、查询语句可视化 工具。
ES集群管理 ES集群上的数据索引管理和查询 查看索引中的某条数据
从ES5版本后安装方式和ES2以上的版本有很大的不同,在ES2中可以直接在bin目录下执行plugin install xxxx 来进行安装,但是在ES5中这种安装方式变了,要想在ES5中安装Elasticsearch Head必须要安装NodeJs,然后通过NodeJS来启动Head。
官网下载地址:https://github.com/mobz/elasticsearc...
http://ES-head_ip:9100
概览：显示ES集群及节点状态
索引：索引管理
数据浏览：查看某个索引中的数据
基本查询：查询索引中的所有数据
复合查询：数据管理[上传数据、查看数据、删除数据 doc]
a、创建索引
选择索引标签–新建索引
索引名称:根据业务起名字
分片数：创建多少个shard分片
副本数：需要多少个ES集群节点存储
b、查看索引
可以看到新创建的索引 zuolaoshi_com_log 以及大小和文档数
也可以通过概述查看...
单节点的ES需要在处理大量数据的时候需要消耗大量内存和CPU资源，数据量大到一定程度就会产生处理瓶颈，甚至会出现宕机。为了解决单节点ES的处理能力的瓶颈及单节点故障问题，我们考虑使用ES集群。
优化数据处理能力：通过多台ES共同处理数据，提升处理能力，节省时间。
容错能力增强：解决了ES单点故障问题，让架构更稳定。
数据安全：分布式数据存储，数据更安全
实验部署准备
两台ES机器：node1、node2
同步时间：chrony
静态IP：192.168.8.21 192.168.8.22
关闭防火墙、selinux
配置ES yum源
部署步骤: