linux 好用的DIY函数

原创 已于 2024-01-09 10:30:37 修改 · 254 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

于 2021-08-26 15:52:19 首次发布
本文介绍了Linux系统管理的一些实用脚本，包括删除日志、监控进程、获取Hive表数据条数、计算日期差、下载数据、检查HDFS文件、执行命令检查以及日志管理和报警机制。这些脚本对于日常运维工作非常有用，能够提高效率并确保系统的稳定运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 删除十天以上的日志数据

find /data/zz/logs -mtime +10 | xargs rm
# find ./logs -mtime +10 | xargs rm
# rm ./logs/log_${last_10dt}

2. 获取进程pid，并kill

#/bin/bash
PID=$(ps -ef | grep algorithms_predict | grep -v grep | awk '{print $2}')
if [ -z $PID ]; then
        echo "process provider not exist" >> ../logs/algorithms_predict.log
        exit
else
        echo "process id: $PID" >> ../logs/algorithms_predict.log
        kill -9 ${PID}
        echo "process algorithms_predict killed" >> ../logs/algorithms_predict.log
fi

或 ps -ef | grep algo | awk -F' ' '{print $2}' | xargs kill -9

3.  从元数据获取表中数据的条数

user_cnt=`hive -e "desc formatted table_name partition(pt='2021-07-01');" \
    | grep "numRows" | grep -oE "[0-9]*"`

4. 计算两日期间隔

计算日期 date1 - date2 有多少天

function date_diff {
    local date1=${1}
    local date2=${2}
    local dt1_time=$(date -d "$date1" +%s)
    local dt2_time=$(date -d "$date2" +%s)
    echo $[($dt1_time-$dt2_time)/86400]
}

5. 下载数据到本地

for trf in `hadoop fs -ls ${instance_path}/train/* | grep -o "part-.*.gz"`;
do
    hadoop fs -get ${instance_path}/train/${trf} ${train_dir} &
done
wait
if_error_exit "Download train instance from ${instance_path}/train to ${train_dir}"

6. 检测文件是否存在

6.1 检测hdfs文件是否存在

        检查HDFS文件是否存在，存在返回0，如果不存在，每10min检查一次，每1h报警一次，持续等待指定秒数(2h)后退出，返回-1。

function check_hdfs_exist {
    local target_file=${1}
    local beg=`date +%s`
    local end=`date +%s`
    local start=`date +%s`
    local the_max_wait_time = 7200

    while :
    do
        ${HADOOP_HOME}/bin/hdfs dfs -test -e $target_file
        if [ $? -eq 0 ];then
            echo "---> $1 ready!"
            return 0
        fi
        sleep 600s
        end=`date +%s`
        if ((end - beg > 3600));then
            ((beg=end))
            log_warn "${BASH_SOURCE[*]}" "${LINENO}" "need hdfs: $target_file!"
        fi

        if ((end - start > $the_max_wait_time));then
            log_error "${BASH_SOURCE[*]}" "${LINENO}" "need hdfs: $target_file! exit after waiting $the_max_wait_time seconds"
            exit 1
        fi
    done
}

调用

#!/usr/bin/env bash
# source /etc/profile
source ./utils.sh
FILE_PATH="hdfs://wxlx/user/hive/warehouse/zz.db/table/pt=2021-06-08/hour=00"
check_hdfs_exist $FILE_PATH

6.2 等待hdfs文件生成并持续报警

        检查HDFS文件是否存在，存在返回0，如果不存在，每10min(600秒)检查一次，2h(7200s)后，每半小时(1800)报警一次，持续等待直到文件生成。${1} 文件名称

function check_hdfs_hold {
    local target_file=${1}
    local current=`date +%s`
    local beg=`date +%s`
    local end=`date +%s`

    while :
    do
        ${HADOOP_HOME}/bin/hdfs dfs -test -e $target_file
        # 检测目录
        # ${HADOOP_HOME}/bin/hdfs dfs -test -d ${1}
        if [ $? -eq 0 ];then
            echo "----$target_file is ready!!!"
            return 0
        fi
        sleep 600s
        end=`date +%s`
        if ((end - current > 7200));then
            if ((end - beg > 1800));then
                ((beg=end))
                log_warn "${BASH_SOURCE[*]}" "${LINENO}" "need hdfs: $target_file!"
            fi
        fi
    done
}

调用

function check_hdfs_done {
  check_hdfs_hold "${1}/done"
  return $?
}

function check_hdfs_success {
  check_hdfs_hold "${1}/_SUCCESS"
  return $?
}

7. 判断命令是否执行成功及日志打印

7.1 判断命令是否执行成功

function if_error_exit {
    if [ $? -eq 0 ];then
        log_debug "${BASH_SOURCE[*]}" "${LINENO}" "Success: ${1}"
    else
        log_error "${BASH_SOURCE[*]}" "${LINENO}" "Failed: ${1}"
        exit -1
    fi
}

7.2 自定义打印日志信息

function log_message {
    # 参数：log level + script caller stack + lineno + message
    local log_level=${1}
    local cs=${2}
    local line_no=${3}
    local message=${4}
    local MSG=""
    local callStackStr=""
    for s in ${cs[*]}; do
        callStackStr="${s}:${callStackStr}"
        #if [ ${#callStackStr} -gt 0 ]; then  # csr长度是否>0
        #    callStackStr="${s}:${callStackStr}"
        #else
        #    callStackStr="${s}"
        #fi
    done

    MSG="[`hostname`][`whoami`][`date '+%Y-%m-%d %H:%M:%S'`][${log_level}][${callStackStr}:${line_no}] ${message}"
    if [[ "${log_level}" == "WARN" || "${log_level}" == "ERROR" ]];then
        echo "ERROR:  $MSG"
        curl -H 'host:portal.ad.wkanx.com' -d 's={"type":"raw","data":"xxxxx"}' "http://10.2.52.9/alert?a=at&c=6000000006&m=`echo ${MSG} | sed 's/ /+/g'`" --globoff
    elif [[ "${log_level}" == "INFO" ]];then
        echo "INFO:  $MSG"
        curl -H 'host:portal.ad.wkanx.com' -d 's={"type":"raw","data":"xxxxx"}' "http://10.2.52.9/alert?a=at&c=6000000003&m=`echo ${MSG} | sed 's/ /+/g'`" --globoff
    fi
}

 调用

# 为每个级别的通知设置不同的方式
function log {
    local log_level=$1
    local call_stack=$2
    local lineno=$3
    local msg=$4
    log_message "$log_level" "$call_stack" "$lineno" "$msg"
}

8. 计算指定时间前的N个小时的所有时间点

        计算从 "$curr_dt $curr_hr" 向前推算 "$past_hours - 1" 个小时，中间经历的日期和小时，如果某一天24个小时都取到，则用 "*" 表示该日期对应的小时。 例如："2018-09-17 14" 向前推算 "42" 个小时，则有结果。

# 2018-09-15,21
# 2018-09-15,22
# 2018-09-15,23
# 2018-09-16,*
# 2018-09-17,00
# 2018-09-17,01
# 2018-09-17,02
# 2018-09-17,03
# 2018-09-17,04
# 2018-09-17,05
# 2018-09-17,06
# 2018-09-17,07
# 2018-09-17,08
# 2018-09-17,09
# 2018-09-17,10
# 2018-09-17,11
# 2018-09-17,12
# 2018-09-17,13
# 2018-09-17,14

function select_dt_hr {
    local curr_dt=$1
    local curr_hr=$2
    local past_hours=`expr $3 - 1`
    if (($past_hours < 0)); then
        exit -1
    fi
    local first_datetime=`date -d "$curr_dt $curr_hr -$past_hours hours" '+%Y-%m-%d %H:%M:%S'`
    local first_date=${first_datetime:0:10}    # 第一个小时对应的日期
    local first_hour=${first_datetime:11:2}    # 第一个小时对应的小时
    local total_days_diff=`date_diff "$curr_dt" "$first_date"`
    # 去掉第一天和最后一天，计算中间天需要在当前时间上减多少days
    local days=`seq $[total_days_diff-1] -1 1`
    if [ z"$curr_dt" = z"$first_date" ]; then
    # 时间未跨天
        for hour in `seq $first_hour 1 $curr_hr`; do
            printf "%s,%02d\n" $curr_dt $hour
        done
    else
    # 时间有跨天
        # 第一天
        if [ z"$first_hour" = z"00" ]; then
            # 完整一天
            printf "%s,*\n" $first_date
        else
            # 不完整
            for hour in `seq $first_hour 1 23`; do
                printf "%s,%02d\n" $first_date $hour
            done
        fi

        # 中间完整的天
        for day in $days; do
            printf "%s,*\n" `date -d "$curr_dt $curr_hr -$day days" '+%Y-%m-%d'`
        done
        # 最后一天
        for hour in `seq 0 1 $curr_hr`; do
            printf "%s,%02d\n" $curr_dt $hour
        done
    fi
}

   
        11


 

Linux内存管理（14）：unflatten_device_tree 详解
私房菜
09-15 586
对于 debug 版本若通过节点查看，会发现很多细小的reserved hole。在之前《reserved-memory 详解》一文中分析了dts 中 reserved-memory 部分的内存 reserved 过程，这些内存都是工程师根据平台需要定义好的。在《paging_init 详解》一文中在进行 map_kernel 和 map_mem 映射时创建了很多的页表，系统将这部分的内存也当成了 reserved memory。本文将继上面分析系统 reserved 的另一块细小的 memory。
Qt——静态函数中发送信号方法总结（不需要通过类内部信号与槽实现，关键是清楚你发送的信号源自哪个对象）
最新发布
数字世界 万物互联
02-17 228
在Qt引入第三方SDK时，有时会使用到SDK的回调函数，而这个回调函数自己又不能把它定义在自己的类中，因为这样就是在定义时加上了类名，编译时会报错，和SDK中声明的类不匹配。所以只能把这个回调函数定义在类外，而这时要在回调函数中发送信号，就没法使用类中定义的信号了，那么怎么解决呢？
Linux shell脚本中if的“-e，-d，-f” 说明
热门推荐
hebbely的博客
10-09 2万+
1、文件表达式 序号 参数 说明 1 -e filename 如果 filename存在，则为真 2 -d filename 如果 filename为目录，则为真 3 -f filename 如果 filename为常规文件，则为真 4 -L filename 如果 filename为符号链接，则为真 5 ...
Shell if的使用详解_&&与||的使用详解
小楼一夜听春雨，深巷明朝卖杏花
05-26 2957
一 IF使用详解 1 格式 1.1 单分支语句结构 if [ 条件表达式 ]; then 指令 fi 1.2 双分支语句结构 if [ 条件表达式 ]; then 指令一 else 指令二 fi 1.3 多分支语句结构 if [ -f file ]; then echo "yes yes yes" elif [ -z file ]; then echo "yes yes" else echo "nonono" fi 上面直接给出了多分
深入linux shell编程之linux启动时启动了些什么？
cnhxjtoa的专栏
02-21 880
windows下电脑开机会启动些什么应用程序，大家不讲估计都很清楚，这里带大家看一下linux的启动后会启动了什么组件？进入到linux配置的组件目录/etc/rc.d/中会看到8个目录和1个不可执行的文件（因为它暂时不带x,没有执行权限） init.d 初始化 rc0.d 关机 rc1.d 单用户模式，没有网络，跟类似Win的安全模式，没有窗口 rc2.d 多用户模式，没有网络，带有文件系统 rc3.d 多用户模式，有网络，有文件系统，默认的启动方式，可以在这里编写shell脚本启动rc
shell脚本检查进程PID及服务脚本编写方法
weixin_42558057的博客
09-17 4878
linux在做启停服务脚本时，需要检查进程PID来确认是否启/停成功，往往需要在一个脚本中多次执行同一条命令，为了方便起见，可以把检查进程PID的命令赋给一个变量，在需要用到PID的地方，直接调用变量来获取进程当前的PID。如检查redis的进程PID: PID=`ps -ef |grep redis-server |grep -v grep |awk '{print $2}'` 通过$PID...
Linux查找PID并kill进程的shell脚本
culven的专栏
12-05 9668
在网上找的脚本漏洞百出，经实践并修改成功，记录如下： #/bin/bash ##echo "kill process provider" PID=$(ps -ef|grep provider|grep -v grep|awk '{print $2}') if [ -z $PID ]; then echo "process provider not exist" exit else ech...
Linux命令 DIY实践：如何动手实现自己的Linux命令
资源摘要信息:"在本资源中，我们将会探讨如何自己动手实现Linux命令。这不仅包括理解命令行接口的工作原理，还会涵盖编写自定义脚本或程序以模拟或扩展标准Linux命令的功能。文件名称列表中的'LinuxCmdDIY-master'...
linux串口编程
03-23
对于程序开发，Linux提供了标准的C语言API来访问串口，如`open()`、`read()`、`write()`、`close()`等函数，它们是POSIX标准的一部分。同时，还可以使用libserialport库、PySerial库（Python）等高级接口进行更复杂...
hd44780-i2c-master_teachbem_linux_Kernel_Driver_
10-04
HD44780是一种常见的字符型液晶显示模块，广泛应用于各种嵌入式系统和DIY项目中，它能显示两行、16个字符的文本信息。 描述中提到的"i2c driver for hd44780 lcd"进一步确认了这个驱动是为了解决Linux内核与HD44780...
记一次shell脚本编写
woxingli0的博客
10-27 293
#!/bin/sh echo "[INFO] 一键服务启动脚本开始运行 --------" sleep 2 PID=`ps -ef|grep "redis-server"|grep -v grep|awk '{print $2}'`; if [ ! -z "$PID" ];then kill -9 "$PID" echo "[INFO] redis服务关闭成功" else echo "[WARN] redis服务未启动." fi sleep 2 echo "[
linux中的if、for、while、case具体用法
m0_50818626的博客
04-20 1817
s#(.*)#useradd \1#g //将括号（括号中的内容就是通过echo输出的内容）里的内容替换为useradd，再通过\1将之前括号里的东西输出到替换后的命令后面，最终结果就是：useradd abc01 -10。# echo ${RANDOM:0:2} //表示取随机数，但是该数从0开始且只有2位数，":2"为值的位数，最高5位数。如果都不符合，则执行"*)"后面的指令。前面可以得到最小为0，最大为67的随机数，再加上1，很自然的就可以得到最大为1，最小为68的数了。
启动jar
wenzhenyu1990的专栏
07-26 200
#!/bin/bash #pname=$1 pname=scanner.jar puser=root pid=`ps aux | grep $pname | grep $puser | grep -v grep | awk '{print $2}'` if [[ -z $pid ]]; then echo "I can NOT find $pname running by $pu...
shell常用判断语句
cqkxboy168的专栏
09-11 1601
1.判断文件夹是否存在    if [ ! -d "$myPath"]; then  2.判断文件是否存在    if [  ! -f /tmp/dns.out ] ; then 3.判断字符串是否为空     if [ -z "$pid" ] ; then 4.判断变量值      if [ $# -ne 1 ] ; then 5. 判断$myPath是否存在并且是否具有可执
关于linux 下启动脚本那些事
风子杨的博客中心
11-07 462
关于linux 下启动脚本那些事
Perl文件检测选项及其含义
zzz_781111的专栏
07-09 965
  文件检测选项及其含义检测选项含义-r 文件或目录对此（有效的）用户（effective user）或组是可读的-w 文件或目录对此（有效的）用户或组是可写的-x 文件或目录对此（有效的）用户或组是可执行的-o 文件或目录由本（有效的）用户所有-R 文件或目录对此用户(real user)或组是可读的-W 文件或目录
linux shell脚本对未定义变量的判断以及if的用法
山鬼谣的专栏
04-25 1万+
环境操作系统：win10 虚拟机：centos7需求因为公司有个脚本，是用于启动程序的，但是每次启动都要手动做如下两个操作： ①先查询之前的进程ID ②杀死之前的，在启动新了时间长了弄得我很烦躁，所以就琢磨下，把上面的的操作一起整合到启动脚本里去。 最开始我是这么写的：#!/bin/bash echo "ggjob-search..." pid=`ps -ef|grep -w ggjob-s
Linux入门指南：从零开始
6. **Shell脚本编程**：基础的bash脚本编写，包括变量、条件语句、循环以及函数，使学习者能够自动化执行一系列命令。 7. **Linux服务器配置**：简要介绍常见的Linux服务器角色，如Web服务器（Apache或Nginx）、FTP...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值