- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【虚拟化】常见术语
本文介绍了多种存储和网络技术概念。存储方面包括SAS盘的兼容性、磁盘直通模式、RAID阵列技术（含RAID0的性能优势和RAID1的数据安全特性）以及磁盘write-back缓存机制。网络方面涉及VLAN的虚拟交换功能、隧道网络的协议封装技术以及SR-IOV硬件虚拟化方案。这些技术分别应用于提升存储性能、保障数据安全性和优化网络通信效率。（98字）
2025-07-04 11:38:14
221
原创 【kafka】kafka3.3.2常用命令
LOG-END-OFFSET: 分区最新消息的偏移量(该第39了)偏移量就是消费者消费到哪个消息了，kafka集群有记录的该信息。CURRENT-OFFSET: 消费者当前消费到的偏移量。主题中的消息只能被同一个组中的一个消费者消费。LAG: 消费滞后量(未消费的消息数)一个主题可以被多个消费者组消费。查看指定消费者组详细信息。一个组可以有多个消费者。查看kafka服务版本。启动kafka生产者。启动kafka消费者。
2025-07-04 10:12:06
163
原创 【docker】docker run参数说明
本文总结了常用的Docker容器启动参数及其功能： -i保持输入开放，支持管道输入 --cap-add添加内核权限 -d后台运行 -t分配伪终端 --name设置容器名称 --network配置网络模式 --privileged高权限模式（需慎用） --tmpfs挂载临时文件系统 -v目录映射，支持设置读写权限 这些参数涵盖容器基础配置、权限管理、存储挂载等核心功能。
2025-06-27 16:07:37
218
原创 【linux】zfs使用参考
zfs基本命令。创建一个名为mypool的新池，该池由磁盘sde组成。-f : 忽略磁盘分区标签。raidz: 突袭级别，是RAID-5的变体。
2025-03-31 10:04:33
1155
原创 【linux】fdisk磁盘分区管理
fdisk是一个磁盘分区管理工具，可以用来创建、删除、修改和查看磁盘分区。fdisk一般都是交互式使用，基础语法:。选项含义n创建新分区p查看磁盘的分区情况w保存此次的分区修改q不保存此次的分区修改分区类型：从大的概念上分MBR(主引导记录)和GTP（GUID分区表）MBR里头将分区细分为：主分区、扩展分区(基于扩展分区可以创建逻辑分区).一块硬盘最多有4个分区。一般规划是3个主分区，1个扩展分区。
2024-10-28 17:34:10
401
原创 【linux】物理卷、卷组、逻辑卷
如果/etc/crypttab中配置了磁盘密钥文件，则不需要手动输入。打开设备/dev/myvolgroup/mylogicalvol，并创建映射mapmylogicalvol。（可选）如果配置了磁盘加密映射，需要将映射关系加入到映射关系配置文件/etc/crypttab中。在卷组myvolgroup里创建一个逻辑卷，名字叫mylogicalvol，大小为10G。创建一个名为myvolgroup的卷组，并将物理卷/dev/sdd加入到该卷组中。将物理卷/dev/sdd从卷组myvolgroup中移除。
2024-10-24 19:03:33
1549
2
原创 【ssl】证书生成
OpenSSL是一个密码学工具包，实现了(Secure Sockets Layer)SSL v2/v3和(Transport Layer Security)TSL v1网络协议及其相关的密码学标准。例子1：生成证书和密码test_ca_cert是证书：包含公钥、颁发者信息、有效期、序列号等元数据。用于建立信任关系，确保通讯双方能够确认对方的身份。test_ca_key是密钥：只有公钥和私钥的内容，必须保密。公钥用于加密和验证，私钥用于解密和签名。
2024-10-10 11:33:41
1005
原创 【pyinstaller】python打包工具
最后参照资料：https://github.com/pyinstaller/pyinstaller/issues/8014 把gssapi.raw所有的子模块给配置到hiddenimports中方才运行成功。pyinstaller并不太智能啊，花费了挺久时间。暂时记录该方案，以后说不定还能用到。
2024-08-12 19:59:14
377
原创 【linux】curl命令用法
curl命令写的更清楚一点其实是cURL（client url，客户端URL或者command url命令行url工具），用来请求url的。curl命令其实在平常工作中就已经在使用了，但是一直没有系统看过，就在这记录下，以后要用的话，可以在这儿查阅。如果是发送其他类型的请求，只需要携带对应的参数就好，比如-XPUT、-XDELETE。这里就不一一列举了。-v参数会把请求头、响应头、响应内容都打印出来，方便观察调试，一般搭配-L使用。不使用-L参数的话，遇到重定向的网址，你看不到重定向之后的网址内容。
2024-08-07 21:37:46
1784
原创 【hadoop】集群安装
查看集群状态，观察NameNode，DataNode, 2NN是否符合更开始的集群搭建需求。克隆三个虚拟机，分别是：hadoop102, hadoop103, hadoop104.配置文件目录：/opt/module/hadoop-3.1.3/etc/hadoop。重启虚拟机后，检查是否配置正确，确保每一步都是正确的，再执行后面的配置。只需要在hadoop102节点上执行，只有集群第一次启动的时候执行。虚拟机，之后集群中的虚拟机可以直接使用克隆虚拟机的方式创建。如果B要访问A，在B机器上执行以上相同操作。
2024-08-07 06:00:00
723
原创 【kerberos】基础使用
CDH 6.3.2开启kerberos认证。查看keytab文件中的账户信息。Kerberos 命令使用。导出用户keytab文件。使用keytab文件登录。登录到后台之后，输入。
2024-08-06 20:45:00
639
原创 【hadoop】常用命令
获取yarn restful节点和port信息。获取SecondaryNameNode节点。获取NameNode restful接口。获取ResourceManager节点。查询hdfs系统中的namenode。查看datanode的存储目录。上传本地文件到指定目录下。查看hadoop版本。
2024-08-06 20:00:00
466
原创 【缓存】缓存击穿、缓存穿透、缓存雪崩
缓存中没找到请求的数据，数据库中也没有请求的数据，那么把这个请求数据保存在缓存里，但是置为空。如果有攻击者伪造了一个请求，而且请求的数据再缓存中找不到，那么每次请求，都会从数据库中查找。一般缓存的数据都有有效期，当某个数据有效期过了，对该数据的所有请求统统走向了数据库，数据库由于突然大量的请求访问可能就会崩掉了，这就是缓存击穿。1）对请求进行校验，比如请求的数据，缓存中肯定没有，并且数据库中也肯定没有的情况，直接拦截过滤掉。3）如果数据量比较小，可以全部放在缓存中，有请求的数据就返回，没有就返回空。
2024-08-06 14:08:35
427
原创 【greenplum】6.21.3 备份恢复
从Pivotal Network下载适用于的Greenplum数据库版本和OS平台的最新Pivotal Greenplum Backup and Restore软件发行版.删除指定备份之前的备份集，下方例子会删除20240108184730之前的备份集，但是不会删除20240108184730这次备份。做增量备份时，如果把segment host上全量备份的gz文件删除，再发起增量备份，是可以正常备份的。GreenPlum备份和恢复工具之gpbackup和gprestore。
2024-08-06 11:30:47
1427
1
原创 【hadoop】认识Hadoop
Hadoop是由Apache基金会开发的一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。HDFS架构理解，YARN架构理解，MapReduce理解。
2024-06-23 10:25:21
1111
原创 【OceanBase】V3.1.5 物理备份恢复命令汇总
【代码】【OceanBase】V3.1.5 版本备份恢复。日志归档，全量备份，增量备份。
2024-03-23 13:20:04
744
原创 【asyncio】异步编程知识总结
协程（Coroutine），也称为微线程，是一种用户态内的上下文切换技术。其实就是通过一个线程实现代码块相互切换执行。协程的目的是通过一个线程利用其IO等待的收，再去干点别的事情，别闲着！
2022-12-23 11:46:22
954
原创 【Git】基础入门
版本控制是一种在开发过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以及恢复以前的版本的软件工程技术。主流的版本控制器有：Git、SVN、CVS、VSS、TFS主流的三种版本控制类型：本地版本控制记录文件每次的更新，对每个版本做一个快照，或是记录补丁文件，适合个人用。集中版本控制所有的版本数据都保存在服务器上，协同开发者从服务器上同步更新或上传自己的修改。、CVS、VSS。分布式版本控制。
2022-12-20 12:30:22
254
原创 【Celery】异步组件入门
用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP、redis等。Celery本身不提供消息服务，但是可以和第三方消息中间件集成，例如RabbitMQ、Redis等，任务执行单元并发地运行在分布式的系统节点中。
2022-12-18 12:28:30
732
3
原创 【python】装饰器
装饰器是python的一个语法糖，本质还是一个函数，它接收一个函数作为参数，并返回一个函数。它可以在不改变原函数功能的基础上，对函数进行增强，添加额外的功能。语法糖（Syntactic sugar），也译为糖衣语法，是由英国计算机科学家彼得·约翰·兰达（Peter J. Landin）发明的一个术语，指计算机语言中添加的某种语法，这种语法对语言的功能并没有影响，但是更方便程序员使用。通常来说使用语法糖能够增加程序的可读性，从而减少程序代码出错的机会。
2022-12-16 12:49:13
230
原创 【cuckoo】Ubuntu安装布谷鸟沙箱docker镜像
布谷鸟沙箱是一款自动化恶意软件分析工具。可以分析许多恶意文件，包括可执行文件、pdf文档、邮件、恶意网站等。
2022-12-16 07:00:00
1906
7
原创 【python】为什么线程比进程快
衣服还在盆里，盆里有水，有衣服，有洗衣液，衣服还处在你刚刚离开搓一半的状态，这一系列的条件就可以理解为上下文，相当于某一刻的状态快照。每个进程都会维护这样一个虚拟内存映射到物理内存的表，切换一次，页表也要跟着切换，切换后cache里的地址映射相当于要重新建立一次，那么虚拟地址转换为物理地址就会变慢。而线程切换和进程切换最主要的一个区别就是：每个进程都有自己的虚拟地址空间，进程内的线程共享进程的虚拟地址空间，不需要进行虚拟内存的切换，这就在一定程度上减少了时间消耗。首先需要知道一个概念，
2022-12-16 05:00:00
321
原创 【linux】signal信号
说到信号首先想到的是信号交通灯，“红灯停，绿灯行，黄灯闪闪慢慢行”。这就是信号灯在交通中起的作用。在十字路口，常见的一个现象：当为红灯时，汽车停止形式，等待行人过马路。从这个现象中，可以类比系统中的进程中断：红灯代表一种信号汽车行驶代表进程行人过马路代表信号触发的事件红灯信号使汽车停止行驶，表示信号可以中断进程；汽车停止行使后，行人可以过马路，表示信号中断进程后可以触发另一个事件；红灯变绿灯，行人过马路结束，汽车可以继续行驶。表示信号触发的事件结束之后，进程可以继续执行。
2022-12-15 23:15:33
772
原创 【docsify】知识库搭建
Docsify即时生成您的文档网站，它不会生成静态 html 文件。相反，它会智能地加载和解析 Markdown 文件，并将它们显示为网页。
2022-12-14 21:08:36
802
java 11.0.23 2024-04-16 openjdk 所有依赖rpm包
2025-06-21
机器学习python虚拟环境：machine_learn_venv.tar
2022-04-10
【python】修改数组的两种方法的区别在哪？
2024-09-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人