单节点的ES需要在处理大量数据的时候需要消耗大量内存和CPU资源，数据量大到一定程度就会产生处理瓶颈，甚至会出现宕机。为了解决单节点ES的处理能力的瓶颈及单节点故障问题，我们考虑使用ES集群。

一、ES集群的优点：

优化数据处理能力：通过多台ES共同处理数据，提升处理能力，节省时间。

容错能力增强：解决了ES单点故障问题，让架构更稳定。

数据安全：分布式数据存储，数据更安全

实验部署准备

两台ES机器：node1、node2

同步时间：chrony

静态IP：192.168.8.21 192.168.8.22

关闭防火墙、selinux

配置ES yum源

二、集群部署

部署步骤:

1. n...

Read more

一、Elasticsearch简介

Elasticsearch(简称ES)是一个开源的分布式搜索引擎,Elasticsearch还是一个分布式文档数据库。所以它提供了大量数据的存储功能,快速的搜索与分析功能。

提到搜索,大家肯定就想到了百度,谷歌,必应等。当然也有如下的搜索场景。

二、Elasticsearch部署方法

1. JDK安装并设置为默认java环境
2. Elasticsearch安装
3. 配置elasticsearch监听ip地址
4. 测试

关于软件获得
1、JDK    注意：下载页面，需要接受下载协议才能下载
jdk13 https://download.oracle.com/otn...

Read more

一、项目背景

运维人员需要对系统和业务日志进行精准把控，便于分析系统和业务状态。日志分布在不同的服务器上，传统的使用传统的方法依次登录每台服务器查看日志，既繁琐又效率低下。所以我们需要集中化的日志管理工具将位于不同服务器上的日志收集到一起, 然后进行分析,展示。

前面我们学习过rsyslog,它就可以实现集中化的日志管理，可是rsyslog集中后的日志实现统计与检索又成了一个问题。使用wc, grep, awk等相关命令可以实现统计与检索，但如果要求更高的场景，这些命令也会力不从心。所以我们需要一套专业的日志收集分析展示系统。

二、项目分析

2.1、数据分析流程

1. 数据收集
2. 数据分析
3. 数...

Read more

接下来设置grafana的报警通道

点击左侧铃铛图表—notification channels—Add channel

• Name 部分：填一个名字
• Type 部分：选择 webhook 方式
• Send on all alerts：勾选后表示默认所有的报警都会通过这个通道发
• Include image：勾选后表示在报警的时候同时截图发送，因为目前的报警通知不支持图片，所以这里不用勾选
• Disable Resolve Message：勾选后表示当状态从报警中恢复到正常时，不再发送信息，即不告知恢复正常，这里不用勾选
• Send reminders：勾选后表示除了状态刚变成报警中时会发报...

Read more

案例需求

通过prometheus监控MariaDB业务

案例分析 要监控mysql需要两个条件，一个是系统中有mysql，另一个是要有监控插件，现在监控插件我已经下载好了，所以我们要先安装mysql，然后进行相应的授权，让插件可以获取到所需要的信息，然后再设置相关插件，修改prometheus配置文件

案例实现

a、部署mysql业务

[root@node2 node_exporter-0.18.1.linux-amd64]# dnf -y install mariadb-server mariadb
[root@node2 mysqld_exporter-0.12.0.linux-a...

Read more

通过前面课程的学习我们知道了如何部署和设置prometheus，但是这个监控软件的展示界面实在是有些难看，所以我们换一个展示方式Grafana，是一个开源的度量分析和可视化工具（没有监控功能），可以通过将采集的数据分析，查询，然后进行可视化的展示,并能实现报警。

一、部署grafana

1.1、grafana安装

软件包获得

官方网站: grafana:https://grafana.com/

软件包安装

[root@manage01 ~]# dnf -y localinstall grafana-6.6.1-1.x86_64...

服务启动

#服务启动
[root@manage01...

Read more

案例要求： 通过prometheus监控业务机器192.168.98.202(node2)

一、案例实现

a、安装监控客户端

[root@node2 ~]# tar xf node_exporter-0.18.1.linux-amd64.tar.gz -C /usr/local/
[root@node2 ~]# cd /usr/local/node_exporter-0.18.1.linux-amd64/
[root@node2 node_exporter-0.18.1.linux-amd64]# ls
LICENSE  node_exporter  NOTICE

#后台启动
[roo...

Read more

部署prometheus监控平台

• 安装部署prometheus服务监控端
• 监控一个远端机器
• 监控一个服务—mysql

一、软件获得

官方网站：https://prometheus.io/download/

prometheus 主程序包：wget https://github.com/prometheus/prometheus/releases/download/v2.11.1/prometheus-2.16.0.linux-amd64.tar.gz

远端主机监控插件(类似于zabbix-agent): wget  https://github.com/prometheus/nod...

Read more

Prometheus(由go语言开发)是一套开源的监控&报警&时间序列（按照时间排序）数据库的组合。适合监控docker 容器。因为kubernetes(俗称k8s)的流行带动了prometheus的发展。它可以监控主机，服务，容器

https://prometheus.io/docs/introduction/overview/

时间序列数据(TimeSeries Data) : 按照时间顺序记录系统、设备状态变化的数据被称为时序数据。这种时序数据，会应用到很多场景, 如:

• 最常见的就是我们系统中的日志
• 无人驾驶车辆运行中要记录的经度，纬度，速度，方向，旁边物体的距离...

Read more

一、部署思路

1. 一共6个容器，1个主节点、2个从节点、3个哨兵节点。
2. 编写namespace脚本，创建专门的namespace
3. 编写configmap脚本，分别将主节点、从节点、哨兵的配置写在里面
4. 编写secret脚本，将redis的密码保存在里面
5. 编写pv脚本，用于创建磁盘资源
6. 编写service脚本，1个提供redis之间的网络，1个提供哨兵之间的网络，1个对外提供服务
7. 编写statefulSet脚本，1个提供redis主从服务，1个提供哨兵集群服务

二、部署

部署说明

Read more