构建可视化数据分析系统-ELK
1712 views
分类目录归档：云计算
ELK-收集mysql slow 日志
468 views
案例分析
开发和DBA为了能够实时掌握mysql的运行情况，需要对mysql中执行的sql指令大于1秒的统计出来，并且通过ELK分析，统计，实时查看。通过分析可以让DBA能够优化数据库，能够提升运行速度。
一、MySQL设置
a、mysql安装
安装脚本
mysql默认root密码更改
[root@node4 mysql]# mysql_secure_installation
b、mysql slow日志开启
#开启slow log
slow_query_log=1
slow_query_log_file=/usr/local/mysql/mysql-slow.log
long-...分布式存储-GlusterFS
549 views
一、分布式存储介绍
我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。把这多台存储服务器的存储合起来做成一个整体再通过网络进行远程共享,共享的方式有目录(文件存储),块设备(块存储),对象网关或者说一个程序接口(对象存储)。
常见的分布式存储开源软件有:GlusterFS,Ceph,HDFS,MooseFS,FastDFS等。
分布式存储一般都有以下几个优点:
- 扩容方便，轻松达到PB级别或以上
- 提升读写性能或数据高可用
- 避免单个节点故障导致整个架构问题
- 价格相对便宜，大量的廉价设备就可以组成，比光纤S...
ELK收集nginx access_log日志
512 views
一、案例分析
公司为了每天都能够随时看到公司WEB业务的实时运行情况，希望运维通过分析access.log日志信息，实时展示一下数据给公司的运营部门：
- 统计不同返回值的数量
- 统计访问前5名的IP地址
- 统计每日PV
- 统计每日UV
- …….
二、nginx access_log定义json格式日志
- 部署nginx
- 设置nginx 访问日志为json格式
a、部署nginx服务
[root@node4 ~]# tar xf nginx-*.rpm
[root@node4 ~]# cd nginx-*.rpm
[root@node4 ~]# yum -y install pcre-deve...ELK-beats数据采集
503 views
一、beats介绍
因为logstash太费内存了,如果在要采集的服务上都安装logstash,你可以想象这样这样资源消耗多高。所以我们要用轻量级的采集工具才更高效,更省资源。
beats是轻量级的日志收集处理工具，Beats占用资源少
- Packetbeat： 网络数据（收集网络流量数据）
- Metricbeat： 指标 （收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
- Filebeat： 文件（收集日志文件数据）
- Winlogbeat： windows事件日志（收集 Windows 事件日志数据）
- Auditbeat：审计数据 （收集审计日志）
- Heartbeat：运...
ELK-kibana数据展示
529 views
学习数据采集、数据分析的时候，我们一般验证都是通过ES-head来查看的，虽然解决了验证问题，但是界面友好度还是比较差，为了解决这个问题，我们可以通过学习kibana之后，通过kibana进行数据展示。
一、kibana部署
1.1、kibana介绍
Kibana是一个开源的可视化web平台,【是什么】
可以为ElasticSearch集群的管理提供友好的Web界面,帮助汇总,分析和搜索重要的日志数据。【干什么】
文档路径: https://www.elastic.co/guide/en/kibana/current/setup.html
1.2、kibana安装部署
部署前准备
- 机器...
ELK-数据管理
522 views
一、elasticsearch基础概念
主要的基础概念有: Index,Type,Document,Field,shard和replicas.
Index(索引): 是具有相似特性的文档集合。
Type(类型): 在一个索引中可以定义一个或多个类型。
Documenet(文档): 索引信息的基本单位。
Field(字段): ES里更小的信息单位。
shard(分片)： 数据存储的方式
replicas(副本)：副本 数据备份
为了便于理解,我们和mysql这种关系型数据库做一个对比:
| 关系型数据库(如mysql,oracle等) | elasticsearch |
|---|---|
| database... |
ELK-Logstash日志收集
604 views
ES负责存储、分析数据，但是这一切前提是需要有数据，ES本身是不能够收集数据的，数据的收集如何来做呢？我们可以通过两个软件来实现数据的收集，那就是：
Logstash:收集、处理数据然后交给ES
Beats:收集数据交给ES
两者不同点在于Logstash能够更像一个数据中转站，它能够收集数据，并且对收集的数据进行处理，所以logstash消耗的计算机资源也是比较大的。Beats只负责收集数据，将数据收集后交给ES，和logstash相比其消耗的计算机资源更少，可以忽略。
一、logstash介绍
logstash是一个开源的数据采集工具,通过数据源采集数据.然后进行过滤,并自定义格式输...
ELK数据管理工具ES-Head部署
630 views
一、elasticsearch-head介绍
elasticsearch-head是 ES集群管理、索引数据可视化、增删改查、查询语句可视化 工具。
ES集群管理 ES集群上的数据索引管理和查询 查看索引中的某条数据
从ES5版本后安装方式和ES2以上的版本有很大的不同,在ES2中可以直接在bin目录下执行plugin install xxxx 来进行安装,但是在ES5中这种安装方式变了,要想在ES5中安装Elasticsearch Head必须要安装NodeJs,然后通过NodeJS来启动Head。
官网下载地址:https://github.com/mobz/elasticsearc...
ELK数据管理工具ES-Head应用
519 views
一、ES-head web UI界面
ES-head web UI界面介绍
http://ES-head_ip:9100
概览：显示ES集群及节点状态
索引：索引管理
数据浏览：查看某个索引中的数据
基本查询：查询索引中的所有数据
复合查询：数据管理[上传数据、查看数据、删除数据 doc]
索引管理
- 创建索引
- 管理索引
- 删除索引
a、创建索引
选择索引标签–新建索引
索引名称:根据业务起名字
分片数：创建多少个shard分片
副本数：需要多少个ES集群节点存储
b、查看索引
可以看到新创建的索引 zuolaoshi_com_log 以及大小和文档数
也可以通过概述查看...