CentOS服务器运维做到一定阶段,最让人头疼的不是不会配置某个服务,而是重复的事情太多。几十台机器要批量改配置、批量看状态、批量传文件,如果还靠一台台SSH登录敲命令,效率低不说,还容易出错。自动化运维真正落地,不是装一个工具就完事,而是要把日常操作抽象成可复用、可审计、可回滚的流程。下面直接讲在CentOS环境里怎么把自动化运维真正用起来。
先解决批量执行命令的问题自动化运维的第一步,是能同时在一批服务器上执行命令。CentOS上最直接的方式是用Ansible,它基于SSH协议,不需要在目标机器上装客户端,只要控制机能免密登录到所有被管机器就行。安装很简单,启用EPEL源后直接yum install ansible。装完后在/etc/ansible/hosts里定义主机清单,比如:
[web] 192.168.1.10 192.168.1.11 192.168.1.12 [db] 192.168.1.20 ansible_user=root ansible_port=22
然后就能用ansible命令批量执行了。比如查看所有web服务器的负载:
ansible web -m shell -a "uptime"
这里要注意,第一次用ansible批量执行前,一定要先配置好SSH密钥分发。可以用ssh-copy-id把控制机的公钥推到每台机器上,或者用ansible的authorized_key模块统一管理。很多团队在这一步就卡住了,因为密钥管理混乱,导致自动化推行不下去。建议专门建一个运维跳板机作为Ansible控制节点,所有操作都从这台机器发起,权限和日志都集中在这台机器上。
把日常操作固化成Playbook单条命令批量执行只是入门,真正有价值的是把复杂的运维动作写成Playbook。比如新机器上线,要做的操作包括更新系统、安装基础软件包、配置NTP、关闭SELinux、调整内核参数、部署监控agent等。把这些步骤写成一个YAML文件,以后新机器加入只要跑一遍Playbook就行。
- hosts: new_servers
become: yes
tasks:
- name: 更新所有软件包
yum:
name: "*"
state: latest
- name: 安装基础工具
yum:
name:
- vim
- net-tools
- htop
- wget
- curl
state: present
- name: 配置NTP同步
template:
src: templates/chrony.conf.j2
dest: /etc/chrony.conf
notify:
- restart chronyd
- name: 关闭SELinux
selinux:
state: disabled
- name: 调整内核参数
sysctl:
name: "{{ item.name }}"
value: "{{ item.value }}"
state: present
reload: yes
loop:
- { name: "net.ipv4.ip_forward", value: "1" }
- { name: "vm.swappiness", value: "10" }
Playbook写好后,要纳入版本管理,推荐放在内部Git仓库里。这样每次修改都有记录,出了问题可以回滚到上一个版本。很多运维团队不重视Playbook的版本管理,改来改去最后自己都不知道线上是什么状态。版本管理是自动化运维落地的关键一环,没有版本管理的自动化是不可控的。
配置管理要模板化CentOS服务器上最多的配置就是各种.conf文件。Nginx配置、MySQL配置、rsyslog配置、防火墙规则,每台机器可能略有不同,但大部分内容是相同的。用Ansible的template模块配合Jinja2模板,可以把配置文件做成带变量的模板,根据主机所在的组、主机名、IP地址等动态生成配置。
比如Nginx的站点配置,不同业务线的域名和上游服务器不一样,但配置结构相同。做一个模板:
server {
listen 80;
server_name {{ domain }};
location / {
proxy_pass http://{{ upstream }};
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}
然后在Playbook里针对不同主机传入不同的变量。这样改配置只需要改变量,不用动模板。配置模板化之后,配置的一致性会大幅提升,不会出现每台机器配置都不一样、出了问题很难排查的情况。同时模板文件也要放在Git里管理,和Playbook一起版本化。
监控和告警要跟着自动化走自动化运维不是把命令批量执行完就结束了,执行结果需要监控和反馈。CentOS上可以用Prometheus加node_exporter来采集基础指标,用Grafana做展示。node_exporter的部署本身就可以用Ansible来批量完成,新机器上线时自动装好并注册到Prometheus的采集目标里。
更关键的是对自动化操作本身的监控。比如用Ansible跑完一个Playbook后,要能知道哪些机器成功、哪些失败、失败原因是什么。可以在Playbook里加回调插件,把执行结果推送到内部消息系统或者写入日志平台。很多团队只关注业务监控,忽略了运维操作本身的监控,导致批量操作失败后很久才发现。建议在Ansible的ansible.cfg里开启日志记录:
[defaults] log_path = /var/log/ansible/ansible.log callback_whitelist = profile_tasks
这样每次执行的任务耗时、失败信息都会记录下来,方便事后审计和优化。
定时任务和事件驱动自动化有些运维操作是周期性的,比如每天凌晨备份数据库、每周清理日志、每月生成报表。这些可以用cron配合Ansible Playbook来做。在控制机上配置crontab,定时执行对应的Playbook。但要注意,cron里执行Ansible要设置好环境变量和路径,否则可能找不到ansible命令。
更进阶的做法是用事件驱动,比如监控到磁盘使用率超过80%就自动触发清理脚本,或者检测到某个服务挂了自动拉起。CentOS上可以用systemd的定时器替代传统cron,配合脚本判断条件来触发后续动作。不过事件驱动自动化要谨慎设计,避免误触发造成更大的问题。建议先做半自动,即检测到异常后先发告警,由人工确认后再执行自动化修复。
安全加固要纳入自动化流程CentOS服务器上线后,安全加固是必做项。包括修改SSH默认端口、禁用root密码登录、配置防火墙规则、安装fail2ban、设置密码策略等。这些操作完全可以写成Playbook,在新机器初始化时自动执行。安全加固自动化后,能避免因为人工遗漏导致的安全隐患。
比如SSH加固的Playbook片段:
- name: 修改SSH配置
lineinfile:
path: /etc/ssh/sshd_config
regexp: "{{ item.regexp }}"
line: "{{ item.line }}"
state: present
loop:
- { regexp: "^#?PermitRootLogin", line: "PermitRootLogin no" }
- { regexp: "^#?PasswordAuthentication", line: "PasswordAuthentication no" }
- { regexp: "^#?Port", line: "Port 22022" }
notify:
- restart sshd
- name: 安装并启动fail2ban
yum:
name: fail2ban
state: present
notify:
- start fail2ban
防火墙规则也建议用Ansible管理,统一在控制端定义规则,批量下发到各台机器。这样防火墙策略变更时,不需要逐台登录修改。
日志集中管理是自动化的基础自动化运维做到后面,日志管理必须跟上。CentOS服务器上的系统日志、应用日志、安全日志如果分散在各台机器上,排查问题非常困难。建议用rsyslog或者filebeat把日志集中收集到统一的日志平台。rsyslog是CentOS自带的,配置简单,适合系统日志集中。应用日志可以用filebeat采集,结构化后存入Elasticsearch或者内部日志系统。
日志集中后,可以基于日志做自动化告警和联动。比如检测到SSH暴力破解日志,自动把攻击IP加入防火墙黑名单。这种自动化能显著提升安全响应速度。不过日志平台本身也需要维护,建议用Ansible来部署和管理日志采集组件,保持所有机器上的采集配置一致。
备份和恢复自动化数据备份是运维的底线。CentOS服务器上的数据库、配置文件、网站数据都需要定期备份。可以用Ansible Playbook配合cron定时执行备份任务,把备份文件传输到专门的备份服务器或者对象存储。备份完成后要有校验机制,定期做恢复演练,确保备份真的可用。
一个简单的MySQL备份Playbook示例:
- hosts: db_servers
tasks:
- name: 创建备份目录
file:
path: /backup/mysql
state: directory
mode: "0755"
- name: 执行mysqldump备份
shell: "mysqldump --all-databases --single-transaction > /backup/mysql/backup_$(date +%Y%m%d).sql"
args:
executable: /bin/bash
- name: 同步备份到远程存储
synchronize:
src: /backup/mysql/
dest: /data/backup/mysql/
mode: push
rsync_opts:
- "--remove-source-files"
备份自动化要注意备份文件的保留策略,避免备份占满磁盘。同时备份任务本身也要监控,备份失败必须告警,否则备份自动化形同虚设。
落地过程中的常见坑自动化运维在CentOS环境落地时,有几个常见问题要提前规避。第一是主机清单维护不及时,新机器上线了没加进Ansible清单,导致自动化覆盖不到。建议把主机清单也纳入版本管理,新机器上线流程里强制要求更新清单。第二是Playbook没有做幂等性设计,重复执行会出错。写Playbook时尽量用Ansible自带的模块,这些模块天然幂等,少用shell模块做复杂操作。第三是权限控制混乱,所有人都有Ansible控制机权限,操作无法追溯。建议用sudo配合审计日志,或者用AWX这类带权限管理的平台来执行Playbook。
另外,CentOS版本差异也会带来问题。CentOS 7和CentOS 8在软件包名称、服务管理方式上有区别,Playbook里要做版本判断。虽然CentOS 8已经停止维护,但很多存量环境还在用,自动化方案要兼容不同版本。
自动化运维的落地不是一蹴而就的,先从最频繁、最耗时的操作开始自动化,逐步扩大范围。每自动化一个流程,就要把文档、Playbook、监控都配套做好。这样积累下来,整个运维体系会越来越高效稳定,而不是变成一堆没人敢动的脚本。
