分类目录归档:云计算

Ubuntu22.04搭建DNS服务


Ubuntu22.04搭建DNS服务

准备工作

# 切换root用户,以下所有操作使用root用户执行
su - 

# 关闭防火墙,linux服务默认开启防火墙,bind使用的端口为53,协议为TCP/UDP
# 查看ufw防火墙是否已启动  
ufw status    
# 关闭ufw
ufw disable   

# 配置好静态ip
vim /etc/netplan/00-installer-config.yaml 
# This is the network config written by 'subiquity'
network:
  ethernets:...

阅读全文 →

Nginx实战


Nginx基础

Nginx进阶

Nginx动态网站

阅读全文 →

MySQL函数


MySQL函数,是一种控制流程函数,属于数据库用语言。

MySQL数据库中提供了很丰富的函数。MySQL函数包括数学函数、字符串函数、日期和时间函数、条件判断函数、系统信息函数、加密函数、格式化函数等。通过这些函数,可以简化用户的操作。

一、数学函数

1.1、函数概述

MySQL函数是MySQL数据库提供的内部函数。这些内部函数可以帮助用户更加方便的处理表中的数据。

1.2、数学函数概述

数学函数是MySQL中常用的一类函数。主要用于处理数字,包括整型、浮点数等。

1.3、常用数学函数

1.3.1、abs()

abs(X):返回X的绝对值

mysql> select abs(-32...

阅读全文 →

构建可视化数据分析系统-ELK


阅读全文 →

ELK-收集mysql slow 日志


案例分析

开发和DBA为了能够实时掌握mysql的运行情况,需要对mysql中执行的sql指令大于1秒的统计出来,并且通过ELK分析,统计,实时查看。通过分析可以让DBA能够优化数据库,能够提升运行速度。

一、MySQL设置

a、mysql安装

安装脚本

mysql默认root密码更改

[root@node4 mysql]# mysql_secure_installation

b、mysql slow日志开启

#开启slow log
slow_query_log=1
slow_query_log_file=/usr/local/mysql/mysql-slow.log
long-...

阅读全文 →

分布式存储-GlusterFS


一、分布式存储介绍

我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。把这多台存储服务器的存储合起来做成一个整体再通过网络进行远程共享,共享的方式有目录(文件存储),块设备(块存储),对象网关或者说一个程序接口(对象存储)。

常见的分布式存储开源软件有:GlusterFS,Ceph,HDFS,MooseFS,FastDFS等。

分布式存储一般都有以下几个优点:

  1. 扩容方便,轻松达到PB级别或以上
  2. 提升读写性能或数据高可用
  3. 避免单个节点故障导致整个架构问题
  4. 价格相对便宜,大量的廉价设备就可以组成,比光纤S...

阅读全文 →

ELK收集nginx access_log日志


一、案例分析

公司为了每天都能够随时看到公司WEB业务的实时运行情况,希望运维通过分析access.log日志信息,实时展示一下数据给公司的运营部门:

  • 统计不同返回值的数量
  • 统计访问前5名的IP地址
  • 统计每日PV
  • 统计每日UV
  • …….

二、nginx access_log定义json格式日志

  • 部署nginx
  • 设置nginx 访问日志为json格式

a、部署nginx服务

[root@node4 ~]# tar xf nginx-*.rpm
[root@node4 ~]# cd nginx-*.rpm
[root@node4 ~]# yum -y install pcre-deve...

阅读全文 →

ELK-beats数据采集


一、beats介绍

因为logstash太费内存了,如果在要采集的服务上都安装logstash,你可以想象这样这样资源消耗多高。所以我们要用轻量级的采集工具才更高效,更省资源。

ELKfilebeat架构.png

beats是轻量级的日志收集处理工具,Beats占用资源少

  • Packetbeat: 网络数据(收集网络流量数据)
  • Metricbeat: 指标 (收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)
  • Filebeat: 文件(收集日志文件数据)
  • Winlogbeat: windows事件日志(收集 Windows 事件日志数据)
  • Auditbeat:审计数据 (收集审计日志)
  • Heartbeat:运...

阅读全文 →

ELK-kibana数据展示


学习数据采集、数据分析的时候,我们一般验证都是通过ES-head来查看的,虽然解决了验证问题,但是界面友好度还是比较差,为了解决这个问题,我们可以通过学习kibana之后,通过kibana进行数据展示。

一、kibana部署

1.1、kibana介绍

Kibana是一个开源的可视化web平台,【是什么】

可以为ElasticSearch集群的管理提供友好的Web界面,帮助汇总,分析和搜索重要的日志数据。【干什么】

文档路径: https://www.elastic.co/guide/en/kibana/current/setup.html

1.2、kibana安装部署

部署前准备

  • 机器...

阅读全文 →

ELK-数据管理


一、elasticsearch基础概念

主要的基础概念有: Index,Type,Document,Field,shard和replicas.

Index(索引): 是具有相似特性的文档集合。

Type(类型): 在一个索引中可以定义一个或多个类型。

Documenet(文档): 索引信息的基本单位。

Field(字段): ES里更小的信息单位。

shard(分片): 数据存储的方式

replicas(副本):副本 数据备份

为了便于理解,我们和mysql这种关系型数据库做一个对比:

关系型数据库(如mysql,oracle等) elasticsearch
database...

阅读全文 →