ELK数据管理工具ES-Head部署


一、elasticsearch-head介绍

elasticsearch-head是 ES集群管理、索引数据可视化、增删改查、查询语句可视化 工具。

ES集群管理 ES集群上的数据索引管理和查询 查看索引中的某条数据

从ES5版本后安装方式和ES2以上的版本有很大的不同,在ES2中可以直接在bin目录下执行plugin install xxxx 来进行安装,但是在ES5中这种安装方式变了,要想在ES5中安装Elasticsearch Head必须要安装NodeJs,然后通过NodeJS来启动Head。

官网下载地址:https://github.com/mobz/elasticsearc...

Read more

ELK数据管理工具ES-Head应用


一、ES-head web UI界面

ES-head web UI界面介绍

http://ES-head_ip:9100

10_eshead_webUI.png

概览:显示ES集群及节点状态
索引:索引管理
数据浏览:查看某个索引中的数据
基本查询:查询索引中的所有数据
复合查询:数据管理[上传数据、查看数据、删除数据 doc]
索引管理
  • 创建索引
  • 管理索引
  • 删除索引

a、创建索引

11_eshead_index创建1729565.png

选择索引标签–新建索引

12_eshead_index创建.png

索引名称:根据业务起名字
分片数:创建多少个shard分片
副本数:需要多少个ES集群节点存储

b、查看索引

13_eshead_index创建.png

可以看到新创建的索引 zuolaoshi_com_log 以及大小和文档数

也可以通过概述查看...

Read more

ELK-部署Elasticsearch集群


单节点的ES需要在处理大量数据的时候需要消耗大量内存和CPU资源,数据量大到一定程度就会产生处理瓶颈,甚至会出现宕机。为了解决单节点ES的处理能力的瓶颈及单节点故障问题,我们考虑使用ES集群。

一、ES集群的优点:

优化数据处理能力:通过多台ES共同处理数据,提升处理能力,节省时间。

容错能力增强:解决了ES单点故障问题,让架构更稳定。

数据安全:分布式数据存储,数据更安全

实验部署准备

两台ES机器:node1、node2

同步时间:chrony

静态IP:192.168.8.21 192.168.8.22

关闭防火墙、selinux

配置ES yum源

二、集群部署

部署步骤:

  1. n...

Read more

ELK-单机部署Elasticsearch


一、Elasticsearch简介

Elasticsearch(简称ES)是一个开源的分布式搜索引擎,Elasticsearch还是一个分布式文档数据库。所以它提供了大量数据的存储功能,快速的搜索分析功能。

提到搜索,大家肯定就想到了百度,谷歌,必应等。当然也有如下的搜索场景。

github搜索界面.png

二、Elasticsearch部署方法

  1. JDK安装并设置为默认java环境
  2. Elasticsearch安装
  3. 配置elasticsearch监听ip地址
  4. 测试
关于软件获得
1、JDK    注意:下载页面,需要接受下载协议才能下载
jdk13 https://download.oracle.com/otn...

Read more

ELK介绍


一、项目背景

运维人员需要对系统和业务日志进行精准把控,便于分析系统和业务状态。日志分布在不同的服务器上,传统的使用传统的方法依次登录每台服务器查看日志,既繁琐又效率低下。所以我们需要集中化的日志管理工具将位于不同服务器上的日志收集到一起, 然后进行分析,展示

前面我们学习过rsyslog,它就可以实现集中化的日志管理,可是rsyslog集中后的日志实现统计与检索又成了一个问题。使用wc, grep, awk等相关命令可以实现统计与检索,但如果要求更高的场景,这些命令也会力不从心。所以我们需要一套专业的日志收集分析展示系统。

二、项目分析

2.1、数据分析流程

  1. 数据收集
  2. 数据分析
  3. 数...

Read more

Grafana报警


接下来设置grafana的报警通道

image20200225174606552.png

点击左侧铃铛图表—notification channels—Add channel

image20200225175559736.png

  • Name 部分:填一个名字
  • Type 部分:选择 webhook 方式
  • Send on all alerts:勾选后表示默认所有的报警都会通过这个通道发
  • Include image:勾选后表示在报警的时候同时截图发送,因为目前的报警通知不支持图片,所以这里不用勾选
  • Disable Resolve Message:勾选后表示当状态从报警中恢复到正常时,不再发送信息,即不告知恢复正常,这里不用勾选
  • Send reminders:勾选后表示除了状态刚变成报警中时会发报...

Read more

使用prometheus监控一个业务


案例需求

通过prometheus监控MariaDB业务

案例分析 要监控mysql需要两个条件,一个是系统中有mysql,另一个是要有监控插件,现在监控插件我已经下载好了,所以我们要先安装mysql,然后进行相应的授权,让插件可以获取到所需要的信息,然后再设置相关插件,修改prometheus配置文件

案例实现

a、部署mysql业务

[root@node2 node_exporter-0.18.1.linux-amd64]# dnf -y install mariadb-server mariadb
[root@node2 mysqld_exporter-0.12.0.linux-a...

Read more

prometheus+Grafana数据展示


通过前面课程的学习我们知道了如何部署和设置prometheus,但是这个监控软件的展示界面实在是有些难看,所以我们换一个展示方式Grafana,是一个开源的度量分析和可视化工具(没有监控功能),可以通过将采集的数据分析,查询,然后进行可视化的展示,并能实现报警。

一、部署grafana

1.1、grafana安装

软件包获得

官方网站: grafana:https://grafana.com/

软件包安装

[root@manage01 ~]# dnf -y localinstall grafana-6.6.1-1.x86_64...

服务启动

#服务启动
[root@manage01...

Read more

使用prometheus监控一个业务机


案例要求: 通过prometheus监控业务机器192.168.98.202(node2)

一、案例实现

a、安装监控客户端

[root@node2 ~]# tar xf node_exporter-0.18.1.linux-amd64.tar.gz -C /usr/local/
[root@node2 ~]# cd /usr/local/node_exporter-0.18.1.linux-amd64/
[root@node2 node_exporter-0.18.1.linux-amd64]# ls
LICENSE  node_exporter  NOTICE

#后台启动
[roo...

Read more

部署prometheus监控平台


部署prometheus监控平台

  • 安装部署prometheus服务监控端
  • 监控一个远端机器
  • 监控一个服务—mysql

一、软件获得

官方网站:https://prometheus.io/download/

prometheus 主程序包:wget https://github.com/prometheus/prometheus/releases/download/v2.11.1/prometheus-2.16.0.linux-amd64.tar.gz

远端主机监控插件(类似于zabbix-agent): wget  https://github.com/prometheus/nod...

Read more