qq_39314099的博客

nginx容器日志按天保存的配置

目录 背景 处理方式 docker容器设置固定ip 将docker容器连接到指定网络 背景 最近在做的转发服务，就是单纯的一个转发接口服务，示意如下： 目标服务不在公网，在内网中，而我目前无法访问，只有自己写mock服务，然后模拟转发调用，来测试转发服务是否有bug。 最初的想法是，使用转发服务调用自己写的mock服务，因为最终需要交付的转发服务要以镜像的形式交付，而转发的目标服务地址信息是以环境变量形式传入容器，所以也就意味着我现在打的镜像中的地址信息是不真实的，到交付的时候..

问题： 在 bash 命令行中使用 python3 -m json.tool 来格式化json的时候，发现json中包含中文会无法正常显示，是以ascii码显示。 原因： 由于json的编码要求，内容都是ascii码格式，python的json模块在序列化时，对中文默认使用的也是ascii编码，所以输出结果如上图所示。 解决办法： 根据原因来看，只需要修改下 json.tool这个模块程序。 1. 查找 json.tool 程序文件（我使用的是anaconda，只需要在最终的安装目录..

问题： 前段时间新装的一个虚拟机centos系统，发现用ssh登录非常慢，要等很久，并不是虚拟机反应慢，登录后操作反应都很正常， 所以判断为ssh的过程慢，查阅了一些资料，大致找到问题所在。 原因： 在centos系统中，有一个OpenSSH守护程序配置文件，/etc/ssh/sshd_config文件，其中记录了OpenSSH服务的一些配置信息 其中有一项，UseDNS yes，默认是注释掉的，但是实际的值也是yes。这个在 帮助页中能看到：man sshd_config 这一段翻译过来..

docker连接方式 docker 是一个本地化的软件，默认不提供通信端口访问形式。如果需要连接docker，则需要修改配置，重启docker服务。 java版的docker客户端 java版的docker客户端地址。在该项目 /etc/certs 目录下有一篇配置docker的文档，为了安全连接，一般都是yi...

问题： 在linux下编写shell脚本，赋予权限即可运行。如果是在windows下编写，比如在idea编辑器中编写，编写完毕后传到服务器上执行，有时候会出现坏的解释器： 问题原因： 由于windows系统下换行符为 \r\n，linux下换行符为 \n，所以导致在windows下编写的文件会比linux下多回车符号 \r。 解决办法： 只需要去掉多余的 \r 回车符即可。操作办法可以用sed命令进行全局替换，也可以用 vim 来重新编辑脚本，使用vim首先查看文件格式： 在底行模式下输入 s.

最近由于一个项目需要，写了一个获取centos7 ip的bash脚本，花了一两天的时间研究，记录下。 查ip的方式： 在最小化装完centos系统后，系统能查询到ip的方式也就是 ip a 根据网卡名称，可以判断出 ens32就是网卡名称，那么下面的 inet 192.168.18.122 也就是ip地址了，至于其他两个都是虚拟的网卡。 所以可以根据网卡名称使用 ip a 命令来找到对应的 ip，下面说如何获取网卡名称。 查网卡名称 正常来说，配置网卡信息是在/et...

通过hostname命令可以查看当前主机名：修改主机名：通过修改文件的方式修改： vim /etc/hostname 这样修改之后需要重启。 通过hostnamectl命令修改： 查看主机名 修改 hostnamectl --static set-hostname test1 退出重新登录生效 ...

在做了给根分区扩容（https://blog.csdn.net/qq_39314099/article/details/106358035）后，对lvm有了一点了解，于是准备重新添加硬盘，使用lvm挂载方式挂载。首先，lvm挂载过程大致是，创建物理卷PV-> 创建卷组 VG -> 创建逻辑卷LV -> 格式化 -> 挂载。具体操作过程如下：添加两块10g硬盘： sdc、sdd就是新添加的硬盘。 创建物理卷PV： pvcreate /dev/{sdc,sdd} 创.

本地安装了虚拟机，系统为centos7，使用过程中，渐渐地发现磁盘容量不够用了，于是在虚拟机中新增了一块硬盘。进入系统内查看：sdb是新增的硬盘，大小为40g。接下来有两种方式，一种是普通方式直接挂载。https://blog.csdn.net/qq_39314099/article/details/106200322这样的话只有在挂载点的目录下操作才能使用到这个新硬盘，不是很理想。还有一种方式lvm，逻辑卷管理的方式。LVM简单介绍：它是 Linux 下对磁盘分区进行管

使用虚拟机时，发现磁盘空间不够用，所以需要添加硬盘，虚拟机添加硬盘也简单，在虚拟机设置中可以添加额外的硬盘，添加好后，并不能在系统中使用，需要进行挂载操作。以下为普通模式挂载过程，关于lvm，暂未研究。使用slblk命令查看磁盘名称： 在图中可以看到，sda是已经挂载的系统盘，sdb是新添加的一块硬盘，接下来要做的就是将sdb挂载到系统中。 创建文件系统格式： 硬盘需要格式化成特定的文件系统，正如windows的ntfs文件系统。linux的xfs系统。 可以使用 parted 命令查看文件系统

之前遇到过，忘记记录了，现在记录下。安装完anaconda后，发现linux终端前面多了个base：而且切换用户后会发现base就不存在了。所以可以断定的是一定是在安装用户的家目录配置文件里做了修改。由于这个是bash上的设置，所以直接查看用户家目录下的 .bashrc文件即可。可以看到bashrc中添加了一段conda的脚本，这里显然是在打开bash后，就执行了c...

从docker hub下载了一个es的镜像，版本为6.4.2，详细信息如下：比较重要的就是这两条，第一个是工作目录，挂载目录也需要和这里对应；第二个是启动命令，这里是指定了一个预先写好的启动脚本。所以我启动了一个空容器去查看了下容器内的情况：容器内部目录结构如上图，data是用来存放数据，logs用来存放日志。接着查看下启动脚本 /usr/local/bin/do...

公司服务器一般都是需要通过跳板机进行登录：传输文件可以用sftp命令，但是sftp命令也是和服务器打通一个传输文件的通道，那么想要往服务器上传文件，首先需要打通jumpserver的通道，也就是说需要sftp到跳板机，跳上来以后，由于我只有一个服务器的访问权限，所以使用 ls 命令只能看到一个文件夹，进入和服务器 id 同名的文件夹，即可传文件，传到这个目录的文件相对应的是在相应服...

今天下载日志查看的时候，使用grep命令发现报错： Binary file (standard input) matches 大致意思是，二进制文件不能直接进行搜索。查看grep帮助信息：-a选项，可以将二进制文件声明为文本文件。这样就可以顺利使用grep命令了。...

问题如下：项目中有hadoop集群，有的模块在写数据的时候，启用了spark的压缩格式：snappy，在读取的时候，程序解析不了snappy压缩格式的文件。this version of libhadoop was built without snappy support 解决方案：查阅了很多方式，都是说需要装hadoop，因为hadoop中是有snappy支持的。但是这个程序是在一个docke...

curl -F "file=@./wall.jpg;filename='wall.jpg'" http://localhost:5000/pic-F 后面接图片信息，对比postman界面更容易理解，file就是参数名，可以随意起，但是需要服务端能接受，file=@文件路径，；文件名，如果是多组用多个-F选项即可。服务端接收后，刚才所起的参数名字便在这里了，比如换个名字：...

正常来说，程序运行会打印日志信息，默认的标准输出是屏幕，所以想要保存到文件，一般是通过输出重定向：输出重定向以后，屏幕不会打印任何信息，因为输出都在指定的文件里了。如果想两者兼顾，在屏幕上打印的同时，还能保存到文件，可以使用tee命令：比如：通过管道符将上一个命令的执行结果传输给 tee ，tee会将结果打印到屏幕并且存入指定文件。...

curl 可以发送各种http请求。是一个在linux下强大的命令。之前大多数情况测试接口，我都是依赖于python脚本，用requests库发送请求。在了解到curl命令后，简单学习记录了下。在帮助信息中可以查到很多有用的信息。比如-d选项可以加上post请求的数据。练习了get请求和post请求的两个常用请求。用python的flask框架简单写了一个web服务，放在自己的虚拟...

多数情况下，开发使用的都是windows系统，但是部署的都是linux系统，所以某些情况会遇到一些本地正常，部署后出问题的情况。这时候能直接远程调试代码就比较容易定位问题了。idea可以配置远程调试：经过上面的配置idea就可以进行远程调试了。然后服务器端需要打开相应端口，例如上面的5005端口，注意这个端口并不是项目访问的端口，仅仅是idea与服务器上的jvm远程通信端口...

下载spark安装包：https://spark.apache.org/downloads.html下载对应hadoop版本的spark即可。解压，得到目录如下：配置环境变量。依然采用在/etc/profile.d/下创建spark.sh。配置spark：进入conf文件夹，复制配置文件的模板，命名为spark-env.sh。 cp spark-env.sh....

hadoop 集群 3.2 搭建过程其实很简单。hadoop 官网地址：https://hadoop.apache.org/releases.html选择自己想要的版本，我第一次搭建用的是2.7.5，虽然也搭建出来了，但是在web管理页面没有看到文件管理的相关按钮：自我感觉不完美，后来看同事的集群，页面访问是有相关按钮的：所以仔细对比了下配置文件，并未发现有什么异同，唯一不同...

传输文件可以用 scp 命令：远程加密拷贝。用法主要是：将本机的文件传输到另一台机器： scp file username@host:/dir 通过这样的方式将本地 file 传输到 远程文件夹 dir 下。 将远程文件传输到本机： scp username@host:/file dir 将远程的 file 传输到本机 目录 dir 下。 示例如下：...

问题截图：yum是由python2写的，由于python2和python3语法不兼容，如果系统中默认的python为python3则会导致这一现象。查看python版本：或者将python默认指向python2，或者修改yum：vim /usr/bin/yum将脚本的魔数改为python2即可。再次执行yum命令即可成功。...

查看sed命令帮助信息：具体使用方法上面都有介绍，sed是一个流编辑器，它会读取文件中的每一行数据，然后放入缓冲区（也称为模式空间）中进行处理，处理完后再读取下一行数据，如此反复，所以它是针对行级别的一个处理。默认sed命令处理完后会将文件内容打印到屏幕，-e选项：可以指定一个处理的脚本语句，也可以省略。 -n选项：打印模式空间处理后的内容，不指定则打印整个模式空间内容。 -s...

linux下的cut命令，经常用来对每一行操作，比如删除、分割，并显示内容。查看帮助信息cut --help用法都在帮助信息里列出来了。分割功能（-d）：这是一个比较常用的功能，按一个分隔符分割每一行，并显示出来，默认分割符是制表符，分割的短选项是 -d常搭配 短选项 -f 来显示内容-f 后面跟一个数字来表示，展示被分割后的列表中的哪个元素（从1开始）比如查...

linux下的防火墙命令：可以通过下面命令获取帮助信息：firewall-cmd -h之前经常用增删查命令：查询端口：firewall-cmd --zone=public --query-port=2000/tcp新增端口：firewall-cmd --zone=public --add-port=2000/tcp --permanent重载防火墙：...

在配置hadoop相关环境的时候，需要打通一个免密登录通道。顺便就把windows主机也打通了，这样在用bash 连接虚拟机时就不用输入密码了。并且scp，sftp也就无需再次输入密码了，当然这也增加了风险。本机的免密登录：ssh-keygen通过这个命令可以生成公钥私钥对。私钥文件 id_rsa 和 公钥文件id_rsa.pub。进入秘钥文件夹：查看是否有`au...

一般来说，linux命令大多数都会设置很多别名，用来方便操作。但有时候，我还是想要命令原生的意思：比如 ls 命令 ：通过type查看ls命令：可以发现 ls其实是被发行商改造过的，添加了很多选项，比如颜色显示。在执行 ls 命令的时候，会把颜色也显示出来：如果不想加这些选项，用原生的 ls：\ls其他命令同理。...

环境变量可以有很多种设置方式，设置环境变量也是为了能快捷的找到程序。可以在多个文件中设置生效，大体分两个方向：全局和用户。全局变量可以在/etc/profile下面设置，但是在该文件头部有一段注释，不建议在这个文件中配置：并且指出最好在/etc/profile.d/文件夹下创建一个脚本来配置自定义环境变量。这样实现了松耦合，其实在profile脚本中，它会循环读取这个文件夹下的脚本...

linux安装nginx过程比较简单，记录下过程。nginx 下载地址：https://nginx.org/download/先决条件：安装依赖库。 yum -y install pcre pcre-devel openssl openssl-devel gd gd-devel zlib-devel当然gcc编译器也是必须的。如果没有这些类库，在gcc编译的时候会报错，原因就是缺...

linux 下安装mysql，其中还是遇到了不少的问题，简单记录下安装过程。下载mysql的压缩包，并传到linux上。mysql 版本为5.7.26。解压到 /usr/local/mysql解压后的目录重命名为mysql：创建mysql用户组创建所需的日志和数据存储文件夹，并将整个mysql文件夹权限的属主和属组改变为mysql。修改/etc/my.cnf配...

命令：passwd 用户名root密码可以随意设置，其他用户密码是有一定限制的。

linux下ssh自动登录其他服务器脚本，由于这个过程是交互式的，所以无法用重定向等方式将密码传递，可以用expect命令，这个需要单独安装，yum -y install expect。spawn：相当于加个管道，用以传递命令。 expect：从命令返回结果中匹配。 send：向交互式指令中发送字符串。 interact：进入交互模式。即将控制权最终交给调用它的控制台。在输入密码后...

下载mongodb压缩包。官网下载即可。安装还是比较简单，需要把压缩包解压然后配置环境变量启动即可，其中还有些小问题，后续会提到，比如外网访问等。连接服务器，将mongo压缩包传到服务器上，在服务器上新建mongo文件夹，将mongo压缩包移动到mongo下，然后解压。解压完会得到这样的目录：由于mongo默认数据文件是存放在/data/db下，所以需要在mongo（解压后文件...

我这里用的是kafka自带的zookeeper，没有单独搞。配置过程比较简单，下载kafka压缩包，解压，我是建立了一个kafka文件夹。解压后的目录：接下来直接去配置环境变量：现在我找到了另一种配置环境变量的方式：https://blog.csdn.net/qq_39314099/article/details/103306898配置kafka环境变量：bash_...

碰到这个问题我也一脸茫然，查了下，看到一个解决办法，记录下，谢谢这位老哥的博客。https://www.cnblogs.com/tester-007/p/9559159.html

安装redis本身不是很麻烦，需要下载压缩包，然后解压，编译，因为官网提供的都是c语言源码，所以麻烦在编译这里，它需要gcc编译器，这个编译器安装起来略麻烦些，幸而我找到了一种简单的离线安装方式。所以先看下gcc：先检查下环境中是否存在gcc编译器，输入gcc -v来测试：现在环境没有gcc编译器，如果有输出如下：若环境中存在gcc，可以跳过gcc安装。下面说安装方式：...

xshell输入主机地址，输入用户名密码就可以连接该主机，虚拟机由于ip是动态的，所以设置为静态方便今后用xshell连接。先查看虚拟机的网络编辑查看nat模式，这里的nat模式可以自动分配ip地址，也可以手动设置ip，为了以后连接方便，这里会改为静态ip。这个模式下的虚拟机是可以和主机互相访问，也可以访问外网，但是不能访问主机所在网络的其他计算机。ip，掩码，网关...

日志大概是这个样子的，想统计下有多少个title：grep title -o crawl_bilibili_minivideo_info.log | uniq -c- o 只显示匹配到的地方（为了看到统计的是什么字符）。-c表示匹配到的行数(小写c，代表count的意思，是计数；大写C是显示行数，context意思)。uniq表示不重复，我认为是去重。也就是统计到title出现的...