- 博客(150)
- 收藏
- 关注
原创 【Trae AI工具上新评测报告-免费AI开发助手-Cursour平替】
支持自定义创建智能体是Trae的一大亮点。用户可灵活设置智能体提示词,接入MCP或内置工具,增强智能体处理特定任务的能力和协作性。例如,在复杂的数据分析场景中,用户可定制专注于数据洞察的智能体,提升任务处理的专业性和精准度。通过配置用户、项目维度的Rules.md文件,Trae可在全局或单个项目中精细化控制AI的输出风格和行为。这一功能满足了不同用户在不同场景下的个性化需求,确保对话结果更符合预期。
2025-04-22 10:20:55
874
原创 【Datawhale AI春训营-第三届世界科学智能大赛创新药赛道:RNA逆折叠与功能核酸设计】
第三届世界科学智能大赛由上海市科学技术委员会等多部门指导,上海科学智能研究院与复旦大学联合主办,阿里云、复星医药等机构协办,总奖金池达百万元,面向全球开放。大赛聚焦科学智能与高价值产业场景的融合,设置航空安全、材料设计、合成生物、创新药、新能源五大赛道,旨在推动人工智能(AI)技术在复杂科学问题中的突破,加速科研范式变革。创新药赛道作为核心方向之一,以 “RNA 逆折叠与功能核酸设计” 为主题,要求参赛者基于给定的 RNA 三维骨架结构,设计能够折叠成该结构的 RNA 序列。
2025-04-19 08:40:35
680
原创 【Git江湖秘典——禁制、心法与渡劫篇】
Gitignore 是一个文本文件,用于告诉 Git 哪些文件或目录不需要纳入版本控制。就像门派的「禁书目录」,明确哪些文件不能上传到总舵(远程仓库),避免泄露垃圾文件或敏感信息。通过以上技巧,你已掌握 Git 的核心「内功心法」,无论是屏蔽文件、快速操作,还是解决冲突,都能游刃有余地在江湖中修炼武功!)修改了同一文件的同一段代码,合并时 Git 无法自动判断,需手动解决冲突。:用20%的技巧解决80%的日常问题。假设你和师弟(另一个分支)修改了。
2025-03-24 16:21:30
1012
原创 《Git江湖风云录:代码藏经阁》
你夜观星象,发现GitHub山、Gitee峰灵气汇聚。“西域GitHub山藏有《易筋经》源码,速取!:自创"独孤九剑React版",需昭告天下。如时光回溯(新增commit抵消错误):月黑风高夜,你持七星令牌初入江湖。:闭关三日,江湖已更新Vue3秘籍。:为防域外邪魔,你在三山布下镜像阵。:与师兄同改剑谱,引发灵力冲撞。不在记住了多少git命令,类型(范围): 描述。都留了条退路给队友”
2025-03-24 15:55:26
1152
原创 《Git江湖录·分支篇》
Git分支江湖版,关门弟子,正在修炼《九阳真经》的秘籍。突然掌门说:“你若想尝试新招式,切勿直接修改正本,否则会毁了祖传功法!:你有了两个分身,一个在练“乾坤大挪移”,另一个在练“降龙十八掌”。:你练成了“乾坤大挪移”,想把它合并到正本《九阳真经》里。但掌门提醒:“若你和正本的招式有冲突,得先调和矛盾!:你成功将“乾坤大挪移”合并到正本,但留下了一堆用过的副本纸。:分支就像武侠世界的“分身术”,让你在江湖中自由探索,但最终目标是让正本功法更强大!(就像你拿出一张新纸,抄下正本的内容,准备画新招式)
2025-03-24 15:03:38
990
原创 【快递分拣员-Git介绍】
Linus Torvalds(Linux之父),他想让程序员像「玩积木」一样自由地修改代码。每次寄快递都要写寄件人姓名和电话,Git 也要记录你的身份,这样提交的代码才能知道是谁写的。,就像你有一个私人快递分拣站,可以随时回溯到任何时间点的代码状态。把修改的文件「放进快递柜」,告诉 Git:「这些文件我要提交!把暂存区的快递「打包寄到保险柜」,并写上快递单号(提交信息)。发现寄错了快递,补发一个「撤销快递单」,但原快递单还在记录里。在你的文件夹里建一个「分拣站」,从此可以开始管理代码版本。
2025-03-20 22:26:46
1153
原创 【IDEA中配置Maven国内镜像源】
在国内开发时,配置国内镜像源是一个提高开发效率的好办法,避免了因为网络问题带来的构建失败和速度慢的困扰。根据具体情况,使用全局配置或者项目级配置都能帮助提升体验。在团队协作中,使用全局配置的方式会更方便,能够确保构建的一致性。
2025-03-19 22:08:32
2339
原创 【Python 的发展历史】
Python 是一种高层次、通用型编程语言,以其简单性、可读性和多功能性而闻名。它被广泛用于 web 开发、数据科学、机器学习、人工智能和教育等领域。根据 2025 年 3 月的最新数据,Python 在 TIOBE 指数中以 23.88% 的评分位居榜首,显示其在技术领域的持续主导地位 (以下是 Python 发展历史、开发者、应用场景、优点和缺点的详细分析。
2025-03-19 21:47:34
1112
原创 【Flink快速入门-11.Flink 中 Table API 和 SQL】
在 Flink1.9 之前,开发人员如果需要处理批计算和流计算,需要同时掌握两种编程接口,对应的业务代码也是两套。一直到 2019 年阿里巴巴 Blink 团队在 Blink 中实现了 Table API 和 SQL,并将 Blink 贡献给 Flink 社区之后,这一问题才得以解决。由于 Table API 和 SQL 出现的时间较晚,所以功能尚不完善,但是已有功能已经可以解决开发人员的很多困难。根据上图我们可以看到,Flink 中最底层的编程接口是,在其的上面一层就是。
2025-02-22 19:28:59
1108
原创 【Flink快速入门-10.Flink 中的时间语义和 WaterMark】
在本节实验中,我们介绍了 Flink 中的三个时间语义(Event Time、Ingestion Time、Processing Time)和 Watermark(水位线)。时间语义好理解,Watermark 虽然使用起来比较简单,有成熟的 API 可以调用,而且有固定的编程模式,无非就是传个参数。但是要结合到企业的业务实践中去,就必须要能够深入了解它的概念,只有这样才能应对不同的业务场景,并根据不同场景做相应的参数调整。
2025-02-21 18:31:25
841
原创 【Flink快速入门-9.Flink 中的窗口】
Window 是流处理中非常常用,也是非常重要的一种处理方式。其中 Time Window 可以说是重点中的重点,大家在学习的时候要认真理解示例图,搞清楚窗口大小和窗口滑动大小的关系。万变不离其宗,不论业务过程如何复杂,最终都会转化到本实验的编程模型中,唯一需要替换的就是聚合部分的业务逻辑。Keyed Window 和 Global Window 大家简单了解就好,有兴趣的同学可以自行实验。
2025-02-21 10:37:08
1005
原创 【Flink快速入门-7.Flink 状态管理】
本节实验我们介绍了 Flink 中的状态管理,包括 State 分类、Checkpoint 机制和 StateBackends。其中 State 分类包括 Keyed State 和 Operator State。在 Flink 状态管理中,使用相对来说比较简单,重点是概念理解。如果你学习过 Spark,请不要用 Spark 中的 Checkpoint 来类比 Flink 中的 Checkpoint,这是两种完全不同的机制。另外,在 Keyed State 案例中的。
2025-02-19 23:10:13
1084
原创 【Flink快速入门-6.流处理之 Source 与 Sink】
一般来说,Flink 官方提供的 Source 和第三方依赖提供的 Source 已经完全可以满足我们日常的开发需求了,但是如果存在不能满足的情况,那么就需要我们自己去实现一个 Source 了。虽然这种情况少之又少,但其依然是一个很重要的知识点。细心的同学可能已经发现了,我们在前面的实验中通过,env对象是有一个addSource方法的,这个方法就是我们自定义 Source 用的。自定义一个类MySource,继承并重写其方法将MySource的实例对象作为参数传入addSource。
2025-02-18 13:16:04
1039
原创 【Flink快速入门-5.流处理之多流转换算子】
本节实验中我们介绍了 Flink 中的多流转换算子,其中 Union 是将两个或者多个类型相同的输入流转换成一个输入流,而filter是将一个输入流根据给定的条件切分成多个子输入流。这部分内容在工作中会经常用到,大家一定要理解。
2025-02-16 17:49:35
1066
原创 【Flink快速入门-4.流处理之基于 Key 的算子】
在本节实验中我们介绍了 Flink 中基于 Key 的算子,keyBy 和 reduce 好理解,但是 Rolling Aggregation 算子的输出结果可能会和大家预想的不一样,特别是 min(minBy)和 max(maxBy),请一定要注意它们之间的区别。需要自己练习,确定效果。
2025-02-14 18:12:24
1093
原创 【Flink快速入门-3.流处理之基础算子】
本节实验中,我们介绍了流处理的基本流程以及三个最基础的算子,也是日常工作中使用相当频繁的三个算子。相信对于有 Spark 使用经验的同学来说并没有什么难度,对于刚入行学习的新同学来说,flatMap 算子可能会比较烧脑,但是不要气馁,所谓熟能生巧。
2025-02-10 14:36:46
513
原创 【Flink快速入门-2.Flink 部署模式】
Flink有三种部署模式,分别是 Standalone、Yarn 模式和 Kubernetes。在本次实验中我们的重点是 Standalone 模式,Yarn 和 Kubernetes 只需要了解即可
2025-02-08 22:06:38
849
原创 【Flink快速入门-8.Flink Flink 架构介绍】
Flink 运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager),以及分发器(Dispatcher)。因为 Flink 是用 Java 和 Scala 实现的,所以所有组件都会运行在 Java 虚拟机上
2025-02-08 15:01:05
1181
原创 免费 “白嫖” 满血版 DeepSeek:硅基流动 x 华为云
因「DeepSeek」爆火,使用的人太多,加上被攻击的原因,导致服务器繁忙。官方之前也表示「DeepSeek」近期不幸遭受了大规模的网络恶意攻击,导致注册系统繁忙,新用户注册时可能会遇到困难。目前官方的 API 服务也暂停了使用。为解决服务器繁忙导致的无法使用,之前也分享过如何在电脑和手机上离线部署「DeepSeek」模型,不过有些小伙伴的电脑配置比较低,跑不动模型,加上本地部署的 DeepSeek-R1 是蒸馏模型,比 “满血版” 效果要差很多。
2025-02-08 11:08:58
2349
原创 【Flink快速入门-1.Flink 简介与环境配置】
Flink快速入门,流处理概述Flink 简介Flink 批处理 WordCountFlink 流处理 WordCount
2025-02-07 16:09:56
1280
原创 PySpark3.4.4_基于StreamingContext实现网络字节流中英文分词词频累加统计结果保存到数据库中
运用了PySpark Streaming进行实时数据处理、pymysql实现MySQL数据库基于数据库连接池交互、configparser读取配置文件,以及广播变量优化集群间数据传输。通过设置检查点、批处理插入和错误重试机制增强了系统的稳健性。日志记录和状态管理确保了应用的可维护性和性能优化。软件工程上,采用模块化设计、异常处理和配置分离提升了代码质量和开发效率
2024-12-07 23:38:51
1190
原创 PySpark3.4.4_基于StreamingContext实现网络字节流中英文分词词频累加统计结果保存到文本中
利用pyspark3.4.4开发streamingContext程序,统计实时socket网络字节流数据,实现中英文分词统计,并将统计结果持久化保存到文本文件中
2024-12-07 22:02:00
511
原创 PySpark3.4.4_基于StreamingContext实现网络字节流统计分析
基于StreamingContext实现网络字节流统计分析,使用PySpark3.4.4,支持中文,英文分词,停用词的使用。实现中英文分词混用场景的词频统计
2024-12-06 14:19:49
1379
原创 spark 3.4.4 利用Spark ML中的交叉验证、管道流实现鸢尾花分类预测案例选取最优模型
本案例详细介绍了在Spark中使用交叉验证、逻辑回归以及管道流(Pipeline)实现鸢尾花数据集最优模型选择的过程,并提供了Scala语言的示例代码。通过管道流机制,将数据预处理、特征选择和模型训练等阶段整合在一起,提高了机器学习流程的清晰度和可复用性。同时,结合交叉验证方法,提高了模型性能评估的可靠性和准确性。此外,还介绍了网格搜索技术,用于在指定的参数范围内寻找最优的模型参数设置,进一步提升了模型选择和调优的效率。
2024-11-25 17:07:17
1626
原创 spark 3.4.4 机器学习基于逻辑回归算法及管道流实现鸢尾花分类预测案例
Pipeline将标签索引化、文本特征提取(词向量转换)以及逻辑回归模型训练这几个步骤有序地组合起来,实现了一个简单的文本分类任务流程,体现了Pipeline在整合机器学习流程方面的便利性和实用性。Spark 3.4.4
2024-11-24 09:52:26
1396
原创 基于Spark3.4.4开发StructuredStreaming读取文件数据
基于Spark3.4.4开发StructuredStreaming读取文件数据
2024-11-20 00:29:20
480
原创 基于Spark3.4.4开发StructuredStreaming读取socket数据
spark3.4.4,基于Structured Streaming利用微批次驱动读取socket数据,惊醒wordcount统计任务
2024-11-19 21:58:32
492
原创 2023_Spark_实验十五:SparkSQL进阶操作
本实验通过实践掌握Spark SQL中的复杂查询,如子查询、窗口函数和联接操作,同时学习性能优化策略,包括数据分区、缓存机制和查询优化。学员实现了一个ETL数据处理流程,从日志和交易数据中提取信息,清洗数据并进行复杂查询,最终将处理结果加载到目标存储中。这些技能为后续的大数据分析和处理奠定了基础。
2024-11-14 23:46:33
1493
原创 2023_Spark_实验十一:RDD基础算子操作
Spark3.4.1, Scala 2.13 RDD基础练习,使用Spark-shell练习,使用IDEA练习
2024-09-26 23:15:30
1840
原创 2023_Spark_实验十:Centos_Spark Local模式部署
参考这篇博客:【Centos8_配置单节点伪分布式Spark环境】_centos8伪分布式环境搭建-CSDN博客
2024-09-26 20:58:53
1332
原创 昇思25天学习打卡营第25天|函数式自动微分
函数式自动微分在PyTorch、TensorFlow和MindSpore这三个深度学习框架对比,基于MindSpore实现函数自动求导,自动微分
2024-07-18 11:39:03
904
原创 昇思25天学习打卡营第24天|基于MindSpore的Diffusion扩散模型
基于MindSpore实现Diffusion扩散模型,基于denoising diffusion probabilistic model (DDPM)。Diffusion与其他生成模型(如Normalizing Flows、GAN或VAE)进行比较,它并没有那么复杂,它们都将噪声从一些简单分布转换为数据样本,Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪,最终得到一个实际图像。
2024-07-16 14:50:36
755
原创 昇思25天学习打卡营第23天|基于MindSpore的Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络(cGAN, Condition Generative Adversarial Networks )实现的一种深度学习图像转换模型。基于MindSpore实现Pix2Pix。实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。包括两个模型:生成器和判别器。
2024-07-16 13:13:06
1078
vmware workstatiions pro 17.6.1个人使用免费,不用证书直接安装使用
2024-11-18
Hadoop集群部署相关资源
2022-09-11
zotero+zotero-better-bibtex插件分享
2024-03-27
可视化大屏项目动态数据样例
2023-07-02
17. 可视化大屏配置之代码整理
2023-07-02
MySQL练习数据-Sakilia-spatial DB
2022-09-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人