自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(150)
  • 收藏
  • 关注

原创 【Trae AI工具上新评测报告-免费AI开发助手-Cursour平替】

支持自定义创建智能体是Trae的一大亮点。用户可灵活设置智能体提示词,接入MCP或内置工具,增强智能体处理特定任务的能力和协作性。例如,在复杂的数据分析场景中,用户可定制专注于数据洞察的智能体,提升任务处理的专业性和精准度。通过配置用户、项目维度的Rules.md文件,Trae可在全局或单个项目中精细化控制AI的输出风格和行为。这一功能满足了不同用户在不同场景下的个性化需求,确保对话结果更符合预期。

2025-04-22 10:20:55 874

原创 【Datawhale AI春训营-第三届世界科学智能大赛创新药赛道:RNA逆折叠与功能核酸设计】

第三届世界科学智能大赛由上海市科学技术委员会等多部门指导,上海科学智能研究院与复旦大学联合主办,阿里云、复星医药等机构协办,总奖金池达百万元,面向全球开放。大赛聚焦科学智能与高价值产业场景的融合,设置航空安全、材料设计、合成生物、创新药、新能源五大赛道,旨在推动人工智能(AI)技术在复杂科学问题中的突破,加速科研范式变革。创新药赛道作为核心方向之一,以 “RNA 逆折叠与功能核酸设计” 为主题,要求参赛者基于给定的 RNA 三维骨架结构,设计能够折叠成该结构的 RNA 序列。

2025-04-19 08:40:35 680

原创 【Git江湖秘典——禁制、心法与渡劫篇】

Gitignore 是一个文本文件,用于告诉 Git 哪些文件或目录不需要纳入版本控制。就像门派的「禁书目录」,明确哪些文件不能上传到总舵(远程仓库),避免泄露垃圾文件或敏感信息。通过以上技巧,你已掌握 Git 的核心「内功心法」,无论是屏蔽文件、快速操作,还是解决冲突,都能游刃有余地在江湖中修炼武功!)修改了同一文件的同一段代码,合并时 Git 无法自动判断,需手动解决冲突。:用20%的技巧解决80%的日常问题。假设你和师弟(另一个分支)修改了。

2025-03-24 16:21:30 1012

原创 《Git江湖风云录:代码藏经阁》

你夜观星象,发现GitHub山、Gitee峰灵气汇聚。“西域GitHub山藏有《易筋经》源码,速取!:自创"独孤九剑React版",需昭告天下。如时光回溯(新增commit抵消错误):月黑风高夜,你持七星令牌初入江湖。:闭关三日,江湖已更新Vue3秘籍。:为防域外邪魔,你在三山布下镜像阵。:与师兄同改剑谱,引发灵力冲撞。不在记住了多少git命令,类型(范围): 描述。都留了条退路给队友”

2025-03-24 15:55:26 1152

原创 《Git江湖录·分支篇》

Git分支江湖版,关门弟子,正在修炼《九阳真经》的秘籍。突然掌门说:“你若想尝试新招式,切勿直接修改正本,否则会毁了祖传功法!:你有了两个分身,一个在练“乾坤大挪移”,另一个在练“降龙十八掌”。:你练成了“乾坤大挪移”,想把它合并到正本《九阳真经》里。但掌门提醒:“若你和正本的招式有冲突,得先调和矛盾!:你成功将“乾坤大挪移”合并到正本,但留下了一堆用过的副本纸。:分支就像武侠世界的“分身术”,让你在江湖中自由探索,但最终目标是让正本功法更强大!(就像你拿出一张新纸,抄下正本的内容,准备画新招式)

2025-03-24 15:03:38 990

原创 【快递分拣员-Git介绍】

Linus Torvalds(Linux之父),他想让程序员像「玩积木」一样自由地修改代码。每次寄快递都要写寄件人姓名和电话,Git 也要记录你的身份,这样提交的代码才能知道是谁写的。,就像你有一个私人快递分拣站,可以随时回溯到任何时间点的代码状态。把修改的文件「放进快递柜」,告诉 Git:「这些文件我要提交!把暂存区的快递「打包寄到保险柜」,并写上快递单号(提交信息)。发现寄错了快递,补发一个「撤销快递单」,但原快递单还在记录里。在你的文件夹里建一个「分拣站」,从此可以开始管理代码版本。

2025-03-20 22:26:46 1153

原创 【IDEA中配置Maven国内镜像源】

在国内开发时,配置国内镜像源是一个提高开发效率的好办法,避免了因为网络问题带来的构建失败和速度慢的困扰。根据具体情况,使用全局配置或者项目级配置都能帮助提升体验。在团队协作中,使用全局配置的方式会更方便,能够确保构建的一致性。

2025-03-19 22:08:32 2339

原创 【Python 的发展历史】

Python 是一种高层次、通用型编程语言,以其简单性、可读性和多功能性而闻名。它被广泛用于 web 开发、数据科学、机器学习、人工智能和教育等领域。根据 2025 年 3 月的最新数据,Python 在 TIOBE 指数中以 23.88% 的评分位居榜首,显示其在技术领域的持续主导地位 (以下是 Python 发展历史、开发者、应用场景、优点和缺点的详细分析。

2025-03-19 21:47:34 1112

原创 【Python主流环境管理工具深度对比指南】

Python 版本管理,依赖管理。环境隔离工具对比

2025-03-10 11:10:08 989

原创 【利用conda配置管理Python版本和依赖环境】

利用conda部署python环境管理相关依赖库

2025-02-25 18:04:50 446

原创 【Flink快速入门-11.Flink 中 Table API 和 SQL】

在 Flink1.9 之前,开发人员如果需要处理批计算和流计算,需要同时掌握两种编程接口,对应的业务代码也是两套。一直到 2019 年阿里巴巴 Blink 团队在 Blink 中实现了 Table API 和 SQL,并将 Blink 贡献给 Flink 社区之后,这一问题才得以解决。由于 Table API 和 SQL 出现的时间较晚,所以功能尚不完善,但是已有功能已经可以解决开发人员的很多困难。根据上图我们可以看到,Flink 中最底层的编程接口是,在其的上面一层就是。

2025-02-22 19:28:59 1108

原创 【Flink快速入门-10.Flink 中的时间语义和 WaterMark】

在本节实验中,我们介绍了 Flink 中的三个时间语义(Event Time、Ingestion Time、Processing Time)和 Watermark(水位线)。时间语义好理解,Watermark 虽然使用起来比较简单,有成熟的 API 可以调用,而且有固定的编程模式,无非就是传个参数。但是要结合到企业的业务实践中去,就必须要能够深入了解它的概念,只有这样才能应对不同的业务场景,并根据不同场景做相应的参数调整。

2025-02-21 18:31:25 841

原创 【Flink快速入门-9.Flink 中的窗口】

Window 是流处理中非常常用,也是非常重要的一种处理方式。其中 Time Window 可以说是重点中的重点,大家在学习的时候要认真理解示例图,搞清楚窗口大小和窗口滑动大小的关系。万变不离其宗,不论业务过程如何复杂,最终都会转化到本实验的编程模型中,唯一需要替换的就是聚合部分的业务逻辑。Keyed Window 和 Global Window 大家简单了解就好,有兴趣的同学可以自行实验。

2025-02-21 10:37:08 1005

原创 【Flink快速入门-7.Flink 状态管理】

本节实验我们介绍了 Flink 中的状态管理,包括 State 分类、Checkpoint 机制和 StateBackends。其中 State 分类包括 Keyed State 和 Operator State。在 Flink 状态管理中,使用相对来说比较简单,重点是概念理解。如果你学习过 Spark,请不要用 Spark 中的 Checkpoint 来类比 Flink 中的 Checkpoint,这是两种完全不同的机制。另外,在 Keyed State 案例中的。

2025-02-19 23:10:13 1084

原创 【Flink快速入门-6.流处理之 Source 与 Sink】

一般来说,Flink 官方提供的 Source 和第三方依赖提供的 Source 已经完全可以满足我们日常的开发需求了,但是如果存在不能满足的情况,那么就需要我们自己去实现一个 Source 了。虽然这种情况少之又少,但其依然是一个很重要的知识点。细心的同学可能已经发现了,我们在前面的实验中通过,env对象是有一个addSource方法的,这个方法就是我们自定义 Source 用的。自定义一个类MySource,继承并重写其方法将MySource的实例对象作为参数传入addSource。

2025-02-18 13:16:04 1039

原创 【Flink快速入门-5.流处理之多流转换算子】

本节实验中我们介绍了 Flink 中的多流转换算子,其中 Union 是将两个或者多个类型相同的输入流转换成一个输入流,而filter是将一个输入流根据给定的条件切分成多个子输入流。这部分内容在工作中会经常用到,大家一定要理解。

2025-02-16 17:49:35 1066

原创 【Flink快速入门-4.流处理之基于 Key 的算子】

在本节实验中我们介绍了 Flink 中基于 Key 的算子,keyBy 和 reduce 好理解,但是 Rolling Aggregation 算子的输出结果可能会和大家预想的不一样,特别是 min(minBy)和 max(maxBy),请一定要注意它们之间的区别。需要自己练习,确定效果。

2025-02-14 18:12:24 1093

原创 【Flink快速入门-3.流处理之基础算子】

本节实验中,我们介绍了流处理的基本流程以及三个最基础的算子,也是日常工作中使用相当频繁的三个算子。相信对于有 Spark 使用经验的同学来说并没有什么难度,对于刚入行学习的新同学来说,flatMap 算子可能会比较烧脑,但是不要气馁,所谓熟能生巧。

2025-02-10 14:36:46 513

原创 【Flink快速入门-2.Flink 部署模式】

Flink有三种部署模式,分别是 Standalone、Yarn 模式和 Kubernetes。在本次实验中我们的重点是 Standalone 模式,Yarn 和 Kubernetes 只需要了解即可

2025-02-08 22:06:38 849

原创 【Flink快速入门-8.Flink Flink 架构介绍】

Flink 运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager),以及分发器(Dispatcher)。因为 Flink 是用 Java 和 Scala 实现的,所以所有组件都会运行在 Java 虚拟机上

2025-02-08 15:01:05 1181

原创 免费 “白嫖” 满血版 DeepSeek:硅基流动 x 华为云

因「DeepSeek」爆火,使用的人太多,加上被攻击的原因,导致服务器繁忙。官方之前也表示「DeepSeek」近期不幸遭受了大规模的网络恶意攻击,导致注册系统繁忙,新用户注册时可能会遇到困难。目前官方的 API 服务也暂停了使用。为解决服务器繁忙导致的无法使用,之前也分享过如何在电脑和手机上离线部署「DeepSeek」模型,不过有些小伙伴的电脑配置比较低,跑不动模型,加上本地部署的 DeepSeek-R1 是蒸馏模型,比 “满血版” 效果要差很多。

2025-02-08 11:08:58 2349

原创 【Flink快速入门-1.Flink 简介与环境配置】

Flink快速入门,流处理概述Flink 简介Flink 批处理 WordCountFlink 流处理 WordCount

2025-02-07 16:09:56 1280

原创 ubuntu24.04部署单节点kafka_2.13-3.8.1

下载地址推荐使用清华镜像源下载部署kafka部署。

2024-12-11 22:30:19 654 1

原创 PySpark3.4.4_基于StreamingContext实现网络字节流中英文分词词频累加统计结果保存到数据库中

运用了PySpark Streaming进行实时数据处理、pymysql实现MySQL数据库基于数据库连接池交互、configparser读取配置文件,以及广播变量优化集群间数据传输。通过设置检查点、批处理插入和错误重试机制增强了系统的稳健性。日志记录和状态管理确保了应用的可维护性和性能优化。软件工程上,采用模块化设计、异常处理和配置分离提升了代码质量和开发效率

2024-12-07 23:38:51 1190

原创 PySpark3.4.4_基于StreamingContext实现网络字节流中英文分词词频累加统计结果保存到文本中

利用pyspark3.4.4开发streamingContext程序,统计实时socket网络字节流数据,实现中英文分词统计,并将统计结果持久化保存到文本文件中

2024-12-07 22:02:00 511

原创 PySpark3.4.4_基于StreamingContext实现网络字节流统计分析

基于StreamingContext实现网络字节流统计分析,使用PySpark3.4.4,支持中文,英文分词,停用词的使用。实现中英文分词混用场景的词频统计

2024-12-06 14:19:49 1379

原创 Cento7 紧急模式无法正常启动,修复home挂载问题

Cento7 紧急模式无法正常启动,修复home挂载问题

2024-12-01 22:46:00 629

原创 spark 3.4.4 利用Spark ML中的交叉验证、管道流实现鸢尾花分类预测案例选取最优模型

本案例详细介绍了在Spark中使用交叉验证、逻辑回归以及管道流(Pipeline)实现鸢尾花数据集最优模型选择的过程,并提供了Scala语言的示例代码。通过管道流机制,将数据预处理、特征选择和模型训练等阶段整合在一起,提高了机器学习流程的清晰度和可复用性。同时,结合交叉验证方法,提高了模型性能评估的可靠性和准确性。此外,还介绍了网格搜索技术,用于在指定的参数范围内寻找最优的模型参数设置,进一步提升了模型选择和调优的效率。

2024-11-25 17:07:17 1626

原创 spark 3.4.4 机器学习基于逻辑回归算法及管道流实现鸢尾花分类预测案例

Pipeline将标签索引化、文本特征提取(词向量转换)以及逻辑回归模型训练这几个步骤有序地组合起来,实现了一个简单的文本分类任务流程,体现了Pipeline在整合机器学习流程方面的便利性和实用性。Spark 3.4.4

2024-11-24 09:52:26 1396

原创 基于Spark3.4.4开发StructuredStreaming读取文件数据

基于Spark3.4.4开发StructuredStreaming读取文件数据

2024-11-20 00:29:20 480

原创 基于Spark3.4.4开发StructuredStreaming读取socket数据

spark3.4.4,基于Structured Streaming利用微批次驱动读取socket数据,惊醒wordcount统计任务

2024-11-19 21:58:32 492

原创 2023_Spark_实验十五:SparkSQL进阶操作

本实验通过实践掌握Spark SQL中的复杂查询,如子查询、窗口函数和联接操作,同时学习性能优化策略,包括数据分区、缓存机制和查询优化。学员实现了一个ETL数据处理流程,从日志和交易数据中提取信息,清洗数据并进行复杂查询,最终将处理结果加载到目标存储中。这些技能为后续的大数据分析和处理奠定了基础。

2024-11-14 23:46:33 1493

原创 2023_Spark_实验十一:RDD基础算子操作

Spark3.4.1, Scala 2.13 RDD基础练习,使用Spark-shell练习,使用IDEA练习

2024-09-26 23:15:30 1840

原创 2023_Spark_实验十:Centos_Spark Local模式部署

参考这篇博客:【Centos8_配置单节点伪分布式Spark环境】_centos8伪分布式环境搭建-CSDN博客

2024-09-26 20:58:53 1332

原创 2023_Spark_实验九:编写WordCount程序(Scala版)

Scala版本的wordcount

2024-09-26 20:53:41 1429

原创 2023_Spark_实验八:Scala高级特性实验

Scala的高级特征,泛型类、泛型函数、隐式转换、隐式类

2024-09-26 20:35:48 404

原创 2023_Spark_实验七:Scala函数式编程部分演示

Scala函数式编程初识,函数定义,匿名函数,柯里化,常用的高阶函数

2024-09-24 15:54:24 379

原创 昇思25天学习打卡营第25天|函数式自动微分

函数式自动微分在PyTorch、TensorFlow和MindSpore这三个深度学习框架对比,基于MindSpore实现函数自动求导,自动微分

2024-07-18 11:39:03 904

原创 昇思25天学习打卡营第24天|基于MindSpore的Diffusion扩散模型

基于MindSpore实现Diffusion扩散模型,基于denoising diffusion probabilistic model (DDPM)。Diffusion与其他生成模型(如Normalizing Flows、GAN或VAE)进行比较,它并没有那么复杂,它们都将噪声从一些简单分布转换为数据样本,Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪,最终得到一个实际图像。

2024-07-16 14:50:36 755

原创 昇思25天学习打卡营第23天|基于MindSpore的Pix2Pix实现图像转换

Pix2Pix是基于条件生成对抗网络(cGAN, Condition Generative Adversarial Networks )实现的一种深度学习图像转换模型。基于MindSpore实现Pix2Pix。实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。包括两个模型:生成器和判别器。

2024-07-16 13:13:06 1078

typora 1.9.4 版本,个人使用,分享测试

typora 1.9.4 版本,个人使用,分享测试

2025-03-04

贵州师范大学目标达成度分析工具

贵州师范大学目标达成度分析工具

2025-02-25

vmware workstatiions pro 17.6.1个人使用免费,不用证书直接安装使用

虚拟机vmware workstatiions pro 17.6.1个人使用免费,不用证书直接安装使用

2024-11-18

SparkSQL进阶操作相关数据

2023_Spark_实验十五:SparkSQL进阶操作相关数据

2024-11-14

Hadoop集群部署相关资源

VMware-workstation-full-15.5.1-15018445.exe MobaXterm_Portable_v20.3.zip apache-flume-1.7.0-bin.tar.gz hadoop-2.7.3.tar.gz spark-2.4.8-bin-hadoop2.7.tgz apache-maven-3.6.3-bin.zip jdk-8u171-linux-x64.tar.gz sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz flink-1.10.1-bin-scala_2.12.tgz kafka_2.11-2.3.1.tgz zookeeper-3.4.5.tar.gz apache-hive-2.3.9-bin.tar.gz

2022-09-11

zotero+zotero-better-bibtex插件分享

zotero+zotero-better-bibtex插件分享,帮助word管理论文,毕设的参考文献管理。 减少论文书写时,调整参考问题格式,快速修改,整理格式。降低书写论文难度。

2024-03-27

2023-Spark-实验十三:Spark RDD 求员工工资总额

求员工工资总额样例数据

2023-10-16

可视化大屏项目动态数据样例

可视化大屏项目MySQL端后端数据资源,包含一下数据: 1. 柱形图数据 2. 条形图数据 3. 折线图1数据 4. 折线图2数据 5. 饼图1数据 6. 饼图2数据。

2023-07-02

17. 可视化大屏配置之代码整理

可视化大屏配置专栏的完整代码,包含Echarts代码,Spring Boot代码,前后端交互代码,SQL代码。独立设计的大屏,运行在Spring Boot Application上的完整代码。其中包含了静态数据,定制,中国地图定制,静态数据定制,使用Maven打包好后的jar,可直接运行。得到一个大屏。解决了前后端跨域访问问题。使用IDEA开发,包含项目演示使用的数据。包含讲课时可以用到的演示代码。 运行说明: 1. 解压后使用idea打开项目 2. 加载sql文件并将其导入自己的mysql数据库中【MySQL数据库的版本为8.0.30,如有不同,这需要修改,pom文件修改成自己的版本,推荐使用8.0.30】 3. 修改src/main/resources/application.properties中的数据库IP和端口,数据库名,用户名和密码 4. 运行src/main/java/org/lh/view/controller/ViewController.java代码 5. 网页端访问运行的地址:运行服务器的IP:9090

2023-07-02

httpclient4_5和httpcore4_5

支持zeppelin按照部署使用 httpclient4.5.13.jar httpcore4.4.15.jar

2022-09-26

MySQL练习数据-Sakilia-spatial DB

MySQL练习数据-Sakilia-spatial DB,支持MySQL5.6~8 sakila-mv-data.sql sakila-mv-schema.sql Sakila 数据库提供了以下数据表: actor,演员信息表。通过 film_actor 表和 film 表进行关联。 film,电影信息表。film 引用了 language 表,同时被 film_category、film_actor 以及 inventory 表引用。 film_actor等 安装方法: shell> mysql -t < sakila-schema.sql; shell> mysql -t < sakila-data.sql;

2022-09-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除