Shell脚本实现日志老化管理：七天打包归档与三十天自动清除

已于 2024-11-24 13:12:35 修改
阅读量10w+ 收藏 587
点赞数 241
CC 4.0 BY-SA版权
分类专栏： Shell脚本开发 文章标签： 服务器 linux 运维 后端
于 2018-12-10 10:40:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaofeng10330111/article/details/84936252

目录

一、功能介绍

（一）具体案例背景

（二）具体要求说明

二、部分注意指令

（一）find 目录 -maxdepth 1 -ctime +7 -type f

（二）复杂判断思考

（三）tar --warning=no-file-changed

 （四）tar --exclude=文件

（五）tar --zpcP

三、具体代码和说明

（一）代码展示

（二）具体功能说明

四、总结

干货分享，感谢您的阅读！

在现代系统管理中，日志文件的处理与管理是确保系统稳定性和高效运维的重要任务之一。尤其是在多容器环境下，由于日志文件结构的不统一和数量庞大，如何有效进行日志的老化处理、备份和清理成为了一个亟待解决的问题。本文介绍了一个名为 clearlogs.sh 的脚本，旨在自动化处理和清理指定目录下的日志文件。脚本通过定期备份超过七天未修改的日志文件，打包存档并管理其生命周期，同时确保备份文件不超过一个月，避免日志文件占用过多存储空间。此外，脚本还提供了针对日志清理的详细操作，帮助运维人员有效控制系统存储，确保日志管理的高效性与安全性。

一、功能介绍

将某一目录下的所有日志进行老化处理，这些日志是来自于其他容器的外挂日志，由于各个容器内的日志安排不同，所以结构不统一.

（一）具体案例背景

  1. 所有容器下的日志会外挂到/home/log下，我们处理这个目录下的日志就可以；
  2. /home/log下的结构按外挂容器名和具体日志有如下结构，只是举例，列举部分容器的外挂

（二）具体要求说明

现在要求日志老化，具体要求如下：

  1. 将以上具体某个日志下的日志已保留了七天的统一打包到一个目录下，该目录的名称和原来的目录名称基本对应，以保证在看其备份日志时，可以方便查找；
  2. 上面打包以后采用直接move操作来转移到新目录下；
  3. 在新的统一目录下，要求所有的tar包都只保留一个月，一个月后自动清除。

二、部分注意指令

（一）find 目录 -maxdepth 1 -ctime +7 -type f

功能：查找指定目录下超过7天未修改的文件。

详解：find 命令用于搜索文件系统中符合特定条件的文件和目录。这条命令通过 -maxdepth 1 限制查找深度为当前目录，-ctime +7 指定文件的修改时间超过7天，-type f 表示查找的是普通文件而非目录或其他类型的文件。

（二）复杂判断思考

if [[ " "x != ${NOT_INCLUDE}x ]] && [[ -n "find ${targetdir} -maxdepth 1 -type f | grep -v 'gz$'" ]]：

功能：在复杂判断条件中使用改进的条件语句以避免兼容性问题。

详解：[[ ... ]] 是 Bash shell 中的条件判断语句，" "x != ${NOT_INCLUDE}x 判断变量 ${NOT_INCLUDE} 是否为空，避免了字符串比较时可能出现的问题。第二个条件是判断目标目录 ${targetdir} 中是否存在非以 .gz 结尾的普通文件，通过 find 结合 grep -v 'gz$' 实现。

（三）tar --warning=no-file-changed

功能：在使用 tar 命令打包时，禁止出现常见的文件未改变的警告。

详解：--warning=no-file-changed 参数告诉 tar 命令在打包时忽略任何文件未改变的警告信息，这通常用于在自动化备份和脚本执行中避免不必要的干扰和输出。

 （四）tar --exclude=文件

功能：使用 tar 命令排除指定文件或目录，避免备份中包含不需要的内容。

详解：正确使用 --exclude=文件 参数可以确保 tar 命令在打包时排除指定的文件或目录，而不会因为语法问题造成兼容性错误。

（五）tar --zpcP

功能：

  • -p：保留备份数据的原本权限和属性，适用于需要完整保留文件权限的场景，如重要的配置文件备份。
  • -P：保留绝对路径，允许备份数据中含有根目录存在之意，适用于需要保持文件层次结构完整性的情况。

详解：这些选项在 tar 命令中控制备份文件时的权限和路径行为，确保备份和恢复的准确性和完整性。合理选择 -p 或 -P 可根据具体需求保证备份数据的恢复效果符合预期。

通过了解和正确使用这些指令和参数，可以有效提高系统管理和数据备份的效率和安全性，避免常见的兼容性问题和错误用法带来的风险。

三、具体代码和说明

（一）代码展示

#!/bin/bash
#Program:
#History: 2018.11.20 zyf

#Common constant
NOWTIME=`date +"%Y%m%d%H%M%S"`
LOG_PATH=/home/log
LOG_BACKUP_PATH=/home/backuplog
LOG_TEMPFILE_PATH=/home/logtemp
LOG_TEMPFILE1=${LOG_TEMPFILE_PATH}/temp.dat
LOG_TEMPFILE2=${LOG_TEMPFILE_PATH}/clearlog-${NOWTIME}.dat
LOG_TEMPFILE3=${LOG_TEMPFILE_PATH}/firsttarfiles.dat

#print timestamp
getTimeStamp()
{
    echo `date +"%Y-%m-%d %H:%M:%S"` 
}

mkdir_clearlog()
{
    if [ ! -f "${LOG_TEMPFILE2}" ]; then
        log "mkdir_clearlog touch ${LOG_TEMPFILE2}..."
        touch ${LOG_TEMPFILE2}
    fi
}

#print log for analyzing
log()
{
    echo " $1"
    echo "`getTimeStamp` : $1" >> ${LOG_TEMPFILE2}
}

errlog()
{
  echo "[ERROR:] $1"
  echo "`getTimeStamp` : [ERROR:] $1" >> ${LOG_TEMPFILE2}
}

abnormalexit()
{   

  errlog "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
  errlog "@@@@@@@@        !!! FAILED !!!       @@@@@@@"
  errlog "@@@@@    CLEARLOGS OPERATE FAILED!!   @@@@@@"
  errlog "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
      
  exit 1
}

function cmdlog()
{
   cmd=$1
   log "$cmd"
   `$cmd`
   if [ $? -ne 0 ]
   then
      errlog "$cmd"
      abnormalexit
   fi
}

#scan all subdirectories of the current directory 
#and make the corresponding directories in the specified directory,
#then mv required files in sourcedir to targetdir and make new tar
mkdir_and_deallog()
{       
    if [ ! -d ${LOG_TEMPFILE_PATH} ]; then
        mkdir -p ${LOG_TEMPFILE_PATH}
    elif [ ! -f "${LOG_TEMPFILE1}" ]; then
        log "mkdir_and_deallog() touch LOG_TEMPFILE1..."
        touch ${LOG_TEMPFILE1}
    else
        cat /dev/null > ${LOG_TEMPFILE1}
    fi

    find ${LOG_PATH} -maxdepth 15 -type d >> ${LOG_TEMPFILE1}
    for line in `cat ${LOG_TEMPFILE1}`
    do
        CURRENT_DIR=`echo ${line} | cut -d '/' -f 4-`
        if [ -n "${CURRENT_DIR}" ]; then
            CORRESPOND_DIR=${LOG_BACKUP_PATH}/${CURRENT_DIR}
            if [ ! -d ${CORRESPOND_DIR} ]; then
                log "mkdir_and_deallog mkdir -p ${CORRESPOND_DIR}"
                mkdir -p ${CORRESPOND_DIR}
            fi
            deal_required_logs "${CORRESPOND_DIR}" "${LOG_PATH}/${CURRENT_DIR}"
        fi        
    done
}

#mv required files in sourcedir to targetdir and make new tar
deal_required_logs()
{
    targetdir=$1
    sourcedir=$2
    
    #view sourcedir log files and mv
    log "=========================================================="
    log "deal_required_logs start, and now executing in ${sourcedir}..."
    log "=========================================================="
    for file in `find ${sourcedir} -maxdepth 1 -ctime +7 -type f`
    do
        log "deal_required_logs ${file} in ${sourcedir} created over 7 days"
        if [ -n "${file}" ] && [ ! -n "`lsof ${file}`" ]; then
            cmdlog "cp ${file} ${targetdir}"            
        fi
    done

    #tar targetdir
    log "=========================================================="
    log "cp-execute end, and now executing in ${targetdir}..."
    log "=========================================================="
    NOT_INCLUDE=" "
    for file in `find ${targetdir} -maxdepth 1 -type f | grep 'gz$'`
    do
        if [ -n "${file}" ]; then   
            NOT_INCLUDE=${NOT_INCLUDE}"  --exclude="${file}" "        
        fi
    done
    
    log "deal_required_logs() set files that not-including, NOT_INCLUDE=${NOT_INCLUDE}......"
    if [[ " "x == ${NOT_INCLUDE}x ]]; then
		log "start firsttarfile_targetdir : firsttarfile_targetdir ${targetdir}"
		firsttarfile_targetdir ${targetdir}
	elif [[ " "x != ${NOT_INCLUDE}x ]] && [[ -n "`find ${targetdir} -maxdepth 1 -type f | grep -v 'gz$'`" ]]; then
		log "tar --zpcP -f ${targetdir}/${NOWTIME}.tar.gz ${NOT_INCLUDE}  ${targetdir}"
		tar --warning=no-file-changed -zpcP -f ${targetdir}/${NOWTIME}.tar.gz ${NOT_INCLUDE} ${targetdir}
	fi	    
}

firsttarfile_targetdir()
{
	targetdir=$1
	if [ ! -f "${LOG_TEMPFILE3}" ]; then
		log "firsttarfile_targetdir() touch LOG_TEMPFILE3..."
		touch ${LOG_TEMPFILE3}
	fi
	
	find ${targetdir} -maxdepth 1 -type f >> ${LOG_TEMPFILE3}
	FIRST_TAR_FILES=" "
	for line in `cat ${LOG_TEMPFILE3}`
	do
		if [[ " "x != ${line}x ]]; then
			FIRST_TAR_FILES=${FIRST_TAR_FILES}" "${line}	
        fi			
	done
	
	log "firsttarfile_targetdir : FIRST_TAR_FILES=${FIRST_TAR_FILES}"
	if [[ " "x != ${FIRST_TAR_FILES}x ]]; then
		log "tar --warning=no-file-changed -zpcP -f ${targetdir}/${NOWTIME}0.tar.gz ${FIRST_TAR_FILES}"
		tar --warning=no-file-changed -zpcP -f ${targetdir}/${NOWTIME}0.tar.gz ${FIRST_TAR_FILES}	
    fi	

    rm 	${LOG_TEMPFILE3}
}

clear_overtime_files()
{
    log "clear_overtime_files rm tar.gz that save more than 30 days......"
    find ${LOG_BACKUP_PATH} -mtime +30 -name "*.tar.gz" -exec rm -rf {} \;
    
    log "clear_overtime_files rm temp files that save more than 2 days......"
    find ${LOG_TEMPFILE_PATH} -mtime +2 -name "*.log" -exec rm -rf {} \;
    
    log "clear_overtime_files rm extra files in /home/backuplog......"
    find /home/backuplog -type f -not -name '*gz' -print0 | xargs -0 -I {} rm -v {} 
}

###############main##############
cd ${LOG_PATH}
mkdir_clearlog

log "clearlogs.sh start..."
mkdir_and_deallog
clear_overtime_files
log "clearlogs.sh end..."
log "[~CLEARLOGS OPERATE SUCCESS~]" 

（二）具体功能说明

脚本 clearlogs.sh 主要用于日志文件的管理和清理：

  1. getTimeStamp()：获取当前时间戳的函数，用于日志记录。
  2. mkdir_clearlog()：创建临时文件和目录，确保后续操作正常进行。
  3. log() 和 errlog()：记录普通日志和错误日志，并将其输出到指定的日志文件 ${LOG_TEMPFILE2}。
  4. abnormalexit()：异常退出函数，用于在操作失败时记录错误信息并终止脚本执行。
  5. cmdlog()：执行命令并记录执行日志，如果命令执行失败则调用 errlog() 记录错误并异常退出。
  6. mkdir_and_deallog()：扫描指定目录下的子目录，创建对应的备份目录并处理需要备份的日志文件。
  7. deal_required_logs()：移动超过7天未修改的日志文件到指定目录，并将其打包成 tar.gz 文件。
  8. firsttarfile_targetdir()：对目标目录下的文件进行首次打包处理，以保证备份的完整性和准确性。
  9. clear_overtime_files()：清理超过一定时间的备份文件和临时文件，确保系统空间的有效管理。

整个脚本通过多个函数实现了日志文件的备份和清理，保证了系统资源的有效利用和日志数据的安全性。

四、总结

通过本文的介绍，我们了解了如何使用 clearlogs.sh 脚本来高效管理和清理日志文件。脚本通过多种功能实现了对日志文件的老化处理、打包存档和清理，确保了系统存储的有效利用。具体来说，脚本能够：

  1. 自动扫描指定目录下的日志文件，并对超过七天未修改的文件进行备份处理。
  2. 对备份的日志文件进行打包存档，且每月自动清理过期的备份文件，避免磁盘空间被长期占用。
  3. 在处理日志文件时，脚本能够记录详细的操作日志，确保操作的透明性和可追溯性。
  4. 采用条件判断和错误处理机制，确保在遇到问题时能够及时发现并中止操作，避免系统出现不可预期的错误。

这个脚本在多容器环境下尤其有用，它能够统一处理各个容器的日志文件，并通过自动化的方式减轻运维人员的工作负担。通过合理配置和使用该脚本，能够大大提高日志文件管理的效率，降低系统资源浪费，为企业或开发团队的系统运维提供了坚实的保障。

Linux保留最近30天文件的shell脚本
如不來的博客
07-13 964
linux使用crontab实现文件的定时清理。
mysql配置日志老化配置_mysql中日志的配置与分析
weixin_35181426的博客
01-18 342
默认情况下，如果日志没有配置，则只记录错误日志，记录到syslog，配置文件/etc/mysql/conf.d/mysqld_safe_syslog.cnf (ubuntu下)[mysqld_safe]syslog移除/etc/mysql/conf.d/mysqld_safe_syslog.cnf，然后在/etc/mysql/my.cnf添加相关配置MySQL有多种类型的日志：Error ...
shell日志颜色处理及清理系统日志的方法
01-20
记录一下shell日志颜色处理 _COLORS=${BS_COLORS:-$(tput colors 2>/dev/null || echo 0)} __detect_color_support() { # shellcheck disable=SC2181 if [ $? -eq 0 ] && [ $_COLORS -gt 2 ]; then RC='\\033[1;31m' GC='\\033[1;32m' BC='\\033[1;34m' YC='\\033[1;33m' EC='\\033[0m' else RC= G
shell之日志处理
weixin_33692284的博客
08-10 327
#!/bin/bash #bylcat20160428forhadoop(grep_recharge) DATE=`date+%F_%H\:%M\:%S` YTDATE=`date-d"-1day"+%Y%m%d` RESTDIR=/home/hadoop/prodata/rest DATEDIR=/home/hadoop/prodata/rest/$YT...
日志处理中一些shell命令技巧
tanhaizhiguang的专栏
06-07 601
阴差阳错的做的日志分析，前途未卜的这段日子，唯一还有点意思的可能就是手动的处理大量日志。总结一下。 日志文件的输入是动则几个G的文本。从N个这样的文件中得到一个列表，一个数字，一个比例。在什么工具都没有情况下，用shell命令不仅是验证系统数据的准确性的方法，也是一个很好的学习过程。 使用cut命令切割日志行 下面的一行典型的apache访问日志： 120.51.133.125
第十三节.Shell日志处理和信号捕捉
千门公子襄
11-16 443
一.日志文件1.创建日志文件的重要性统计排错2.以时间为标志的日志文件#!/bin/bash #createlog today=`date '+%Y-%m-$d'` filelog="${today}.log if [[ ! -e $filelog ]];then touch $filelog fi echo "`date '+%Y-%m-%d %T'` log input start" >
栋的月结 | 第二回合（定期更新、动态、架构、云技术、算法、后端、前端、收听/收看、英文、书籍、影视、好歌、新奇）[含泪总结.. 憋泪分享！]
纽雪澳诺加海美德的博客
03-28 5933
开篇词 大家好！以下是我在 2020 年 2 月 1 日至 29 日的所见、所闻、所学和所悟。 现在，我把它们安利给你们。   定期更新 原创专栏： 一文搞定 Linux 管理员手册：既简单又深刻 官方授权： Baeldung Java 周评 符合官方许可： Spring 官方指南   动态 在我的《一文搞定》系列专栏里新增了： 《xxxx》 从我的英...
2024大数据面试题汇总(完善中。。。)
最新发布
为人性僻 语不惊人
06-18 2408
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
通信词典
热门推荐
放牛娃的专栏
07-28 3万+
通信类常用的英语词汇 （表记录的）插入修改添加删除 InsertModify, updateAddDelete （拨号后）拨号音不断 Non-stop Dial Tone （程序,进程）调度 Dispatch （程序安装的）序列号 Serial Number SN （单板）不在位 Not-in-position （单板等）插入/拔出 Plug/Unplug （发货）附件，辅助设备 Acce
【Linux】编写shell脚本将项目前一天打印的日志进行提取,并且单独保存
真的好想再回到那时，可现在能做的只有补救。————个人博客：https://w7h1te.github.io/
08-03 1459
业务场景：又到了熟悉的业务场景环节，其实应用上有很多，我们为了方便提取日志中部分关键的内容，对接给其他人也好，方便自己统计也罢，都会比每次我们都去服务器上及时查看，或者下载全部日志再筛选要方便的，下面是通过写一个shell脚本来实现该功能~
shell脚本处理日志的几个题目
linux4fun的专栏
12-26 1789
统计IP访问： 要求分析apache访问日志，找出访问页面数量在前100位的IP数。日志大小在78M左右。以下是apache的访问日志节选  202.101.129.218 - - [26/Mar/2006:23:59:55 +0800] "GET /online/stat_inst.php?pid=d065 HTTP/1.1" 302 20-"-" "-" "Mozilla/4.0
linux增加定时任务清除服务端15天之前的日志
yizhousai0662的博客
08-10 400
linux增加定时任务清除服务端15天之前的日志
Shell每天定时打包日志文件
命运之惑
02-25 1021
该脚本的作用是每天将应用程序目录下的analyzed目录下前一天的日志压缩并保存到archive目录下，目录结构类似archive/2011/02/22.tar.gz   添加cronjob 1 1 * * * /opt/etc/log/archive.sh /opt/var/log/prod >> /opt/etc/log/archive.log     archive....
利用shell脚本定时备份日志文件
m0_64906080的博客
04-18 1201
第一步创建备份脚本文件 backup_logs.sh。第二步创建存放备份的日志文件的目录。第三步赋予脚本执行权限。
linux日志自动打包脚本xshell
wtt丶的博客
08-06 1180
#vim 111.sh #!/bin/bash zip_dir=/ievsp/develop/app20file/WebContent/file-server/zip zipbak_dir=/home/backup bak_file=zip_`date +%Y%m%d` # tar everyday start tar czvPf $zipbak_dir/$bak_file.tar.gz $z...
自动分时段保留logcat脚本
Tom_2018的博客
11-17 397
#!/bin/bash # author: [email protected] # date: 2021.11.12 function getTimestamp() { date "+%Y%m%d_%H%M%S" } #function1 getTimestamp1() { # date "+%Y%m%d" #} echo "请输入每段日志记录时长(分钟单位):" read time function logLog() { timestamp=$(getTimestamp) ...
crontab
weixin_30906185的博客
07-03 147
crontab -e 与 直接编辑 /etc/crontab 的区别 方法1： 使用命令 crontab -e 然后直接编辑定时脚本。 这样执行以后，属于用户自定义的，会被写到 /var/spool/cron 目录下，生成一个和用户名一致的文件，文件内容就是我们编辑的定时脚本。 [[email protected]]#cd/var/spool/cron [root@l...
UDS DTC 老化（Ageing）测试 CAPL脚本
别再跑偏了的博客
03-08 7452
UDS DTC 老化(Ageing)测试 什么是老化 1.1从测试的角度上看，ECU 出现过一次故障，然后故障消失了，存储为历史故障，这个是老化测试的前提条件。比如测试电压偏低这个DTC， 1.1.1应该先调低电压至最低阈值（一般7.5v左右），通过19 02 01服务读取当前DTC，出现电压过低的当前DTC， 1.1.2然后恢复电压，通过19 02 01服务读不到电压过低的当前DTC， 1.1.3然后通过19 02 09读当前DTC和历史DTC，能够读到电压过低的DTC，那么这个故障就是一个历史故障，
mysql配置日志老化配置_mysql配置-日志大小限制和自动删除
weixin_34581040的博客
01-18 470
线上的项目磁盘消耗问题, 发现和MySQL日志有关系.需要处理的问题如何限制大小 不让日志无限膨胀?配置日志不留?删除的方式和直接删除会对服务有什么影响?解决方式限制大小, 保留最近一段时间日志.set global expire_logs_days=7; # 命令行进入MySQL中, 临时设置保留最近7天日志文件.expire_logs_days = 7 # 打开 my.cnf 配置文件写入...
评论 2018
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张彦峰ZYF

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值