- 博客(82)
- 收藏
- 关注
RSS订阅
原创 OpenAI 开源模型 gpt-oss 本地部署详细教程
在自己电脑上跑OpenAI的模型，现在变得异常简单了。借助Ollama这个“神器”，你只需要像用Docker一样，敲ollama pull和ollama run两条命令，就能把OpenAI新发布的开放权重模型gpt-oss部署在本地。整个过程非常顺滑，你不仅能和它聊天、让它写代码，甚至还能联网搜索，体验相当完整。
2025-08-08 17:33:19
32911
224
原创 十三、Linux Shell脚本：文本处理三剑客之 sed 与 awk
如果说grep是文本处理的“探照灯”，那sed和awk就是“手术刀”和“瑞士军刀”。sed 擅长按行“动手术”，可以轻松地删除、打印或替换特定行的内容，尤其是它的替换功能（s/.../.../）非常强大。而 awk 更厉害，它天生就能看懂按列（字段）分布的数据，像个小型的Excel。你可以让它只打印某几列，或者根据某一列的值做计算和判断，特别适合生成统计报告。
2025-08-12 12:32:45
858
4
原创 十二、Linux Shell脚本：正则表达式
正则表达式就是一套给文本“相亲”的规则，让你不再只能找“张三”，而是能找到所有“姓张、两个字、且名字里不带'伟'”的人。它通过一些“魔术符号”（元字符）来描述模式：比如 . 代表任意字符，* 代表重复任意次，^ 和 $ 则卡住行头行尾。把这些符号组合起来，你就能用grep或sed等工具，从海量文本里精确地捞出你想要的任何格式的数据。
2025-08-11 23:51:23
825
4
原创 十一、Linux Shell脚本：函数与模块化
随着脚本越来越复杂，把所有代码都堆在一起会很难维护。这时就该用函数了，你可以把它看作是创建属于你自己的“新命令”。把一段常用逻辑封装成函数，以后只用喊一声它的“名字”就能调用。给函数“递东西”（传参数）用$1, $2；而函数想“回话”有两种方式：用return返回一个0或非0的“状态码”（表示成功或失败），用echo则能“喊出”具体的数据，让你在外面用$()接住。学会这个，就能开始打造自己的通用工具库了。
2025-08-11 18:09:11
899
原创 十、Linux Shell脚本：流程控制语句
要让脚本从简单的“指令清单”升级为能干的“小助手”，就需要用if教它根据条件做判断，用for和while循环让它重复处理任务，再用case语句帮它在多个选项中做出清晰的选择
2025-08-10 19:02:13
1331
71
原创 九、Linux Shell脚本：运算符与表达式
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西（赋值）时，=两边千万不能有空格。用单引号''装进去的东西会原封不动，用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”（Shell进程）用，想让隔壁房间（子进程）也能看到，就得给箱子盖个export的“出口”戳。此外，Shell还自带了$?（上条命令的成绩单）和$1（别人递进来的第一个包裹）等许多特殊箱子，非常有用。
2025-08-10 11:52:42
912
41
原创 八、Linux Shell 脚本：变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西（赋值）时，=两边千万不能有空格。用单引号''装进去的东西会原封不动，用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”（Shell进程）用，想让隔壁房间（子进程）也能看到，就得给箱子盖个export的“出口”戳。此外，Shell还自带了$?（上条命令的成绩单）和$1（别人递进来的第一个包裹）等许多特殊箱子，非常有用。
2025-08-09 09:45:37
1002
16
原创 七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了，把它们写进Shell脚本，就能一键搞定。脚本本质上就是个存着一堆命令的文本文件，但要让它“活”起来，有几个关键点：文件开头最好用#!/usr/bin/env bash来指定解释器，并用chmod +x给它执行权限。执行时也有讲究：./script.sh是在一个新“房间”（子Shell）里跑，不影响你；而source script.sh是在当前“房间”里跑，适合用来加载环境变量和配置文件。
2025-08-07 18:44:15
613
2
原创 六、Linux核心服务与包管理
在没有网络的情况下，使用系统安装光盘是获取RPM包的常用方法。场景二：配置本地文件镜像源 (使用系统安装光盘/ISO)(检查RPM包的GPG签名以保证安全) 或。YUM/DNF包管理工具 (yum/dnf)(此处可以放置您为本主题制作的思维导图)处理依赖问题的危险选项 (应极力避免)(覆盖文件、替换已安装包)。(list) 则是列出文件。(query file) 是。(假设系统安装光盘已挂载到。信息 (verbose)。(upgrade) 选项。(all) 已安装的包。(package) 选项
2025-08-03 23:44:57
1379
9
原创 五、Linux进程与磁盘管理
管理Linux服务器就像身兼两职：既是“医生”，又是“城市规划师”。作为“医生”，你得用ps和top给系统“体检”，看看哪些进程在运行；必要时用kill命令做“外科手术”，终止掉问题进程。作为“规划师”，你得先用fdisk把“土地”（磁盘）划分成“地块”（分区），再用mkfs铺上“地基”（文件系统），最后用mount把地块“挂牌”使用。而df和du就是你随时查看“土地”使用情况的测量工具。
2025-08-02 20:40:00
3558
37
原创 四、Portainer图形化管理实战与Docker镜像原理
如果觉得命令行繁琐，可以试试Portainer这个图形化管理工具，让你在网页上点点鼠标就能轻松管理容器和镜像。安装它只需要一条docker run命令，非常方便。同时，要理解Docker为何如此高效，关键在于它的镜像原理：镜像像洋-葱一样分层，启动容器时只在外面加一层可写的“外皮”。所有改动都发生在这层“外皮”上，这就是容器启动快、占用空间小的秘诀。
2025-08-02 20:23:57
16930
166
原创 四、Linux核心工具：Vim, 文件链接与SSH
要想在Linux世界里游刃有余，光会“走路”还不够，还得配上几样“高级装备”。首先是Vim编辑器，它像一把瑞士军刀，让你能在命令行里高效地修改文件。然后要懂“软硬链接”，软链接像个快捷方式，硬链接则是给文件起了个别名。最后，SSH是你的“传送门”，不仅能让你安全地远程登录服务器，还能用scp轻松传输文件，设置好密钥更能实现免-密登录，极大提升效率。
2025-07-29 19:54:44
1336
19
原创 三、Linux用户与权限管理详解
管理Linux系统就像当一个大楼的管家。首先，你得用useradd和passwd给新员工发“钥匙”（创建用户并设密码），并用groupadd把他们分到不同“部门”（用户组）。然后，你要为每个“房间”（文件或目录）设定规矩，这就是文件权限：用chmod命令设置谁（所有者、同部门、其他人）可以“进入”（x）、“读取”（r）或“写入”（w）。最后，用chown还能把房间的归属权转让给别人。
2025-07-29 18:07:26
6598
74
原创 二、Linux文本处理与文件操作核心命令
熟悉了Linux的基本“行走”后，就该拿起真正的“工具”干活了。用grep这个“放大镜”在文件里搜索内容，用find这个“探测器”在系统中寻找文件，再用tar把东西打包带走。最关键的是要学会使用管道符|，它像一条流水线，能把这些命令串联起来，让简单工具组合出强大的功能，比如 ps -ef | grep 'nginx' 就能快速找出nginx进程。
2025-07-28 23:41:47
1044
11
原创 一、初识 Linux 与基本命令
玩转Linux命令行，就像探索一座新城市。首先要熟悉它的“地图”，也就是/根目录下/etc（放配置）、/home（住家）这些核心区域。然后掌握几个“生存口令”：用ls看周围，cd去别处，mkdir建新房，cp/mv搬东西，再用cat或tail看文件内容。最后，别忘了随时按Tab键，它能帮你自动补全命令和路径，是提高效率的第一神器。
2025-07-28 20:30:23
1284
17
原创 三、Spark 运行环境部署：全面掌握四种核心模式
部署Spark就像选择不同的道路，从用于学习的Local“院子”，到独立的Standalone“专线”，再到与Hadoop集成的YARN“高速网”，而Windows本地开发则需先搞定特殊的winutils配置才能上路
2025-07-25 13:44:20
26243
166
原创 二、Spark 开发环境搭建 IDEA + Maven 及 WordCount 案例实战
想在自己的电脑上写Spark程序，第一步就是搭好开发环境。这次我会手把手带你在IDEA里完成所有设置：从创建Maven项目、配置好与Spark版本匹配的Scala，到在pom.xml里添加核心依赖。它还专门解决了两个常见“拦路虎”：配置log4j来减少日志刷屏，以及搞定Windows环境下特有的winutils.exe问题。跟着走完，你就能成功跑起一个WordCount，顺利迈出Spark开发的第一步。
2025-07-20 10:00:00
3465
75
原创 一、Spark专栏开篇：它从何而来，为何而生，凭何而强？
Spark可以看作是Hadoop MapReduce的“高速升级版”。它最大的优势是把计算数据都放在内存里，速度飞快，解决了MapReduce频繁读写硬盘的慢问题。它本身也是个全能平台，自带SQL、实时处理等多种功能。现实中它常和Hadoop搭档：Hadoop负责存数据，Spark负责跑计算。
2025-07-18 09:28:29
3294
66
原创 Oracle 视图
可以把Oracle视图看作是给一段复杂查询存的“快捷方式”，让你能像查一张简单的表一样去访问它，省去了每次都写长串代码的麻烦。普通视图只是个逻辑窗口，本身不存数据，主要用来简化操作和控制权限。但如果某个查询实在太慢，想用空间换时间，那就得用“物化视图”。它会真实地存一份数据副本，专门给查询提-速，是性能优化的一大杀手锏。
2025-07-10 10:04:11
1213
38
原创 三、Docker常用命令
把 Docker 玩转，就像一个建筑师，需要掌握两套核心工具：一套用来管理你的“图纸”（镜像），另一套用来管理你用图纸盖好的“房子”（容器）。对于“图纸”，你得会用 pull 下载、images 查看、rmi 删除和 tag 贴标签。对于盖好的“房子”，你得会用 run 建造并运行、ps 查看、stop 暂停、exec 进屋看看，以及 rm 拆除。掌握了这两套核心命令，日常使用 Docker 就游刃有余了。
2025-07-09 21:44:22
18376
42
原创 二、Docker安装部署教程
当你敲下docker run时，背后发生了一系列神奇的操作：从检查本地镜像，到从仓库拉取，再到创建并启动容器。搞懂这个核心流程后，就可以动手在Linux上安装Docker了。关键一步是先添加官方的软件源，然后再安装。为了避免拉取镜像时龟速等待，最后一定要记得配置国内的镜像加速器，这能极大提升你的使用体验。
2025-07-07 20:26:19
11010
47
原创 一、Docker：一场颠覆应用部署与运维的容器革命
Docker的出现，就是为了解决“在我电脑上能跑”这个老大难问题。它像个魔法集装箱，把你的程序和它需要的所有东西（比如库、配置）都打包好，这样无论在哪运行，环境都一模一样。理解它很简单，就三个核心玩意儿：镜像是程序的“安装包”，容器是跑起来的程序，而仓库就是存放和分享这些“安装包”的地方。
2025-07-03 19:36:11
2826
38
原创 Oracle 窗口函数
想在看员工薪水的同时，还能在同一行看到他所在部门的平均薪水吗？或者想给每个部门的产品按销量排名？这就是窗口函数的魔力。它不像GROUP BY会把数据压缩成一行，而是为每一行都进行一次“开窗”计算。通过OVER(PARTITION BY ...)，你可以轻松实现分组排名、累计求和、或是与前后行数据对比等高级分析，代码比复杂的自连接和子查询要优雅得多。
2025-07-03 09:58:10
861
18
原创 Oracle 数据塑形：行列转换与集合运算
报表要求的数据格式总是千奇百怪？其实用SQL就能让数据轻松“变形”。想把多行内容（比如各科成绩）合并成一行里的多列，可以用经典的CASE WHEN，或者在11g以上版本里用更简洁的PIVOT。反过来，把宽表拆成多行，也有UNION ALL和更方便的UNPIVOT。学会这些，再配合UNION、INTERSECT等集合运算，数据就能随心所欲地展示了。
2025-07-02 18:24:45
1072
25
原创 Oracle 常用函数
拿到手的数据不总是规规矩矩的？Oracle内置了超多实用函数，可以直接在SQL里“加工”数据。无论是大小写转换、截取字符串，还是日期的加减、数字的四舍五入，都有对应的函数。特别推荐用NVL来优雅地处理空值，以及用CASE语句实现复杂的判断逻辑，能让你的查询既强大又省事。
2025-07-01 20:33:20
2282
55
原创 Oracle 数据库查询：多表查询
想把分散在多个表里的数据拼起来看？核心就靠JOIN（连接）和子查询。可以用INNER JOIN找到两边都匹配的记录，或用OUTER JOIN查看单边也存在的数据。一个非常强大的技巧，是把一个查询结果当成临时表来用，能让复杂的统计分析变得清晰。再结合新版本里简洁的分页语法，跨表取数和展示就得心应手了。
2025-06-25 09:51:30
3607
58
原创 Oracle 数据库查询：单表查询
想知道Oracle是如何一步步处理你的查询请求吗？关键在于理解它背后“看不见的”执行顺序。它会先从FROM和WHERE锁定数据，再用GROUP BY分组，最后才排序。搞懂这个流程，再掌握用ROWNUM实现分页的技巧，就能更自如地从数据库里拿到你想要的数据了。
2025-06-22 19:48:45
3294
51
原创 Oracle 数据库数据操作：精通 INSERT, UPDATE, DELETE
在Oracle里，增加数据用INSERT，修改用UPDATE，删除则用DELETE。进行修改和删除时，建议总是带上WHERE条件来指定范围，这样可以确保操作的准确性
2025-06-18 21:05:10
1903
41
原创 Oracle 数据库对象管理：表空间与表的操作
表空间和表的管理，是 Oracle 数据库日常维护里的基础操作。这篇文章从创建、修改到删除，一步步带你熟悉如何控制数据的“住址”和结构布局，还搭配了实用练习题，帮助你在实战中加深理解，学完就能自己动手建表了！
2025-06-10 21:35:35
5914
13
原创 七、Sqoop Job：简化与自动化数据迁移任务及免密执行
平时用 Sqoop 导入导出时，命令一长就容易出错，特别是增量任务还得记 last-value，很麻烦。其实 Sqoop 有 Job 功能，能把命令“存档”，以后直接 --exec 执行，配合调度工具特别省心。本文手把手讲 Job 创建、管理、免密执行技巧（密码文件、Credential Provider），还带实战例子，搞完你就能写出稳稳当当的自动化 Sqoop 作业了！
2025-06-08 21:46:23
3655
4
原创 六、Sqoop 导出
除了从数据库往 Hadoop 导，Sqoop 也能把 Hadoop 里的数据反向“倒”回数据库，做成 Export。很多场景用得上，比如 ETL 后结果回写，业务系统更新，或者补数据。这篇文章细讲了 Export 的用法，INSERT / UPDATE 模式啥区别，update-key、allowinsert 怎么配，暂存表咋用，配了完整例子，学完导出不用再踩坑！
2025-06-07 19:07:16
6108
18
原创 五、Sqoop 增量导入：精通 Append 与 Lastmodified 模式
在实际业务场景中，数据是不断变化的，怎么用 Sqoop 实现“只拉新增或变化部分”而不是每次全量导入？这一篇就详细讲清楚 Sqoop 增量导入的两种模式（append 和 lastmodified），重点解释 lastmodified 模式下 merge-key 怎么用，配套实战例子和常见坑，讲完你就能搞明白增量同步该怎么配置了。
2025-06-05 21:00:04
7053
6
原创 四、Sqoop 导入表数据子集
在实际数据导入场景中，我们经常只需要数据库中的一部分数据，比如按条件筛选的行、特定的几列。这篇文章详细讲解了如何使用 Sqoop 的 --where、--columns、--query 等方式灵活实现子集导入，配有完整示例和注意事项，助你更精准地控制数据流向 HDFS 或 Hive。
2025-06-04 20:47:42
8711
6
原创 三、Sqoop 全量导入核心命令
在大数据处理过程中，数据库表怎么高效导入到 Hadoop？这一篇我带大家实战讲解 Sqoop 全量导入 的用法，从基础命令到常用参数配置，再到导入到 HDFS、Hive 的各种格式案例，配合实操示例，帮你一步步掌握全量导入技巧。最后还有练习题，供大家动手巩固一下。
2025-06-03 19:00:00
8717
15
原创 二、Sqoop 详细安装部署教程
在大数据开发实战中，Sqoop 是数据库与 Hadoop 生态之间不可或缺的数据传输工具。这篇文章将以 Sqoop 1.4.7 为例，结合官方站点截图，详细讲解 Sqoop 的下载路径、安装步骤、环境配置，以及常见 JDBC 驱动的准备过程，帮你一步步搭建出能正常运行的 Sqoop 环境，并通过 list-databases 命令验证安装是否成功。如果你正打算学习 Sqoop，或者在搭建大数据平台过程中遇到安装配置问题，本文将是非常实用的参考指南。
2025-06-02 11:55:56
10915
29
原创 一、Sqoop历史发展及原理
在大数据系统中，Sqoop 就像是一位干练的“数据搬运工”，帮助我们把 MySQL、Oracle 等数据库里的数据快速、安全地导入到 Hadoop、Hive 或 HDFS 中，反之亦然。这个专栏从基础原理讲起，配合实战案例、参数详解和踩坑提醒，让你逐步掌握 Sqoop 的使用技巧。不管你是初学者，还是正在构建数据管道的工程师，都能在这里找到实用的经验和灵感。
2025-05-30 00:04:22
12658
52
原创 三、zookeeper 常用shell命令
在分布式系统中，ZooKeeper 是幕后“协调者”，而 zkCli.sh 则是你与它对话的窗口。本篇文章带你系统掌握 ZooKeeper Shell 的常用命令，从创建节点、查看状态，到权限控制与顺序节点管理，每一步都配有实用案例和练习题。无论你是刚接触 ZooKeeper，还是在调试集群环境，这份操作手册都会是你上手与复习的好帮手。
2025-05-28 17:17:12
12290
10
原创 二、ZooKeeper 集群部署搭建
ZooKeeper 是分布式系统中不可或缺的“协调者”，而搭建一个稳定的 ZooKeeper 集群，是掌握分布式技术的必经之路。本文手把手带你在三台 Linux 主机上完成 ZooKeeper 3.8.4 的集群搭建，从下载配置到服务验证，每一步都配图详解，真正做到“照着抄也能成功”。适合正在学习大数据、准备上手实战的你。
2025-05-24 20:54:27
14061
42
原创 一、ZooKeeper：分布式系统中的隐形协调大师
在分布式系统中，很多时候出错不是因为“算错了”，而是因为“步子没对齐”。ZooKeeper 就是为了解决这个问题而生的。它不负责运算、不存大数据，却几乎出现在所有大型集群的背后，做着那些低调但关键的“协调”工作。本文从 ZooKeeper 的数据模型、角色机制、一致性保障到高可用实战，带你看清这个“动物园管理员”是如何让整个系统井然有序的。
2025-05-23 22:36:39
14602
13
原创 十五、Hive 窗口函数
在 Hive 做数据分析时，你是否遇到过“求排名”“算累计”“取前后值”这些看似简单却写不出高效 SQL 的场景？本篇文章带你一次性掌握 Hive 窗口函数的用法，从 ROW_NUMBER() 到 LAG()、NTILE() 再到窗口帧 ROWS BETWEEN 的各种花式玩法，全部配有实战示例和练习题。不讲概念空话，讲的是怎么写、哪里用、踩过哪些坑。看完这一篇，你的 Hive SQL 会变得不一样。
2025-05-22 21:43:24
14998
3
解除网页限制强制复制油猴脚本
2025-04-27
网页视频倍速播放油猴脚本
2025-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人