- 博客(150)
- 收藏
- 关注
RSS订阅原创 【Trae AI工具上新评测报告-免费AI开发助手-Cursour平替】
支持自定义创建智能体是Trae的一大亮点。用户可灵活设置智能体提示词，接入MCP或内置工具，增强智能体处理特定任务的能力和协作性。例如，在复杂的数据分析场景中，用户可定制专注于数据洞察的智能体，提升任务处理的专业性和精准度。通过配置用户、项目维度的Rules.md文件，Trae可在全局或单个项目中精细化控制AI的输出风格和行为。这一功能满足了不同用户在不同场景下的个性化需求，确保对话结果更符合预期。
2025-04-22 10:20:55
876
原创 【Datawhale AI春训营-第三届世界科学智能大赛创新药赛道：RNA逆折叠与功能核酸设计】
第三届世界科学智能大赛由上海市科学技术委员会等多部门指导，上海科学智能研究院与复旦大学联合主办，阿里云、复星医药等机构协办，总奖金池达百万元，面向全球开放。大赛聚焦科学智能与高价值产业场景的融合，设置航空安全、材料设计、合成生物、创新药、新能源五大赛道，旨在推动人工智能（AI）技术在复杂科学问题中的突破，加速科研范式变革。创新药赛道作为核心方向之一，以 “RNA 逆折叠与功能核酸设计” 为主题，要求参赛者基于给定的 RNA 三维骨架结构，设计能够折叠成该结构的 RNA 序列。
2025-04-19 08:40:35
681
原创 【Git江湖秘典——禁制、心法与渡劫篇】
Gitignore 是一个文本文件，用于告诉 Git 哪些文件或目录不需要纳入版本控制。就像门派的「禁书目录」，明确哪些文件不能上传到总舵（远程仓库），避免泄露垃圾文件或敏感信息。通过以上技巧，你已掌握 Git 的核心「内功心法」，无论是屏蔽文件、快速操作，还是解决冲突，都能游刃有余地在江湖中修炼武功！）修改了同一文件的同一段代码，合并时 Git 无法自动判断，需手动解决冲突。：用20%的技巧解决80%的日常问题。假设你和师弟（另一个分支）修改了。
2025-03-24 16:21:30
1011
原创 《Git江湖风云录：代码藏经阁》
你夜观星象，发现GitHub山、Gitee峰灵气汇聚。“西域GitHub山藏有《易筋经》源码，速取！：自创"独孤九剑React版"，需昭告天下。如时光回溯（新增commit抵消错误）：月黑风高夜，你持七星令牌初入江湖。：闭关三日，江湖已更新Vue3秘籍。：为防域外邪魔，你在三山布下镜像阵。：与师兄同改剑谱，引发灵力冲撞。不在记住了多少git命令，类型(范围): 描述。都留了条退路给队友”
2025-03-24 15:55:26
1154
原创 《Git江湖录·分支篇》
Git分支江湖版,关门弟子，正在修炼《九阳真经》的秘籍。突然掌门说：“你若想尝试新招式，切勿直接修改正本，否则会毁了祖传功法！：你有了两个分身，一个在练“乾坤大挪移”，另一个在练“降龙十八掌”。：你练成了“乾坤大挪移”，想把它合并到正本《九阳真经》里。但掌门提醒：“若你和正本的招式有冲突，得先调和矛盾！：你成功将“乾坤大挪移”合并到正本，但留下了一堆用过的副本纸。：分支就像武侠世界的“分身术”，让你在江湖中自由探索，但最终目标是让正本功法更强大！（就像你拿出一张新纸，抄下正本的内容，准备画新招式）
2025-03-24 15:03:38
990
原创 【快递分拣员-Git介绍】
Linus Torvalds（Linux之父），他想让程序员像「玩积木」一样自由地修改代码。每次寄快递都要写寄件人姓名和电话，Git 也要记录你的身份，这样提交的代码才能知道是谁写的。，就像你有一个私人快递分拣站，可以随时回溯到任何时间点的代码状态。把修改的文件「放进快递柜」，告诉 Git：「这些文件我要提交！把暂存区的快递「打包寄到保险柜」，并写上快递单号（提交信息）。发现寄错了快递，补发一个「撤销快递单」，但原快递单还在记录里。在你的文件夹里建一个「分拣站」，从此可以开始管理代码版本。
2025-03-20 22:26:46
1154
原创 【IDEA中配置Maven国内镜像源】
在国内开发时，配置国内镜像源是一个提高开发效率的好办法，避免了因为网络问题带来的构建失败和速度慢的困扰。根据具体情况，使用全局配置或者项目级配置都能帮助提升体验。在团队协作中，使用全局配置的方式会更方便，能够确保构建的一致性。
2025-03-19 22:08:32
2374
原创 【Python 的发展历史】
Python 是一种高层次、通用型编程语言，以其简单性、可读性和多功能性而闻名。它被广泛用于 web 开发、数据科学、机器学习、人工智能和教育等领域。根据 2025 年 3 月的最新数据，Python 在 TIOBE 指数中以 23.88% 的评分位居榜首，显示其在技术领域的持续主导地位 (以下是 Python 发展历史、开发者、应用场景、优点和缺点的详细分析。
2025-03-19 21:47:34
1112
原创 【Flink快速入门-11.Flink 中 Table API 和 SQL】
在 Flink1.9 之前，开发人员如果需要处理批计算和流计算，需要同时掌握两种编程接口，对应的业务代码也是两套。一直到 2019 年阿里巴巴 Blink 团队在 Blink 中实现了 Table API 和 SQL，并将 Blink 贡献给 Flink 社区之后，这一问题才得以解决。由于 Table API 和 SQL 出现的时间较晚，所以功能尚不完善，但是已有功能已经可以解决开发人员的很多困难。根据上图我们可以看到，Flink 中最底层的编程接口是，在其的上面一层就是。
2025-02-22 19:28:59
1108
原创 【Flink快速入门-10.Flink 中的时间语义和 WaterMark】
在本节实验中，我们介绍了 Flink 中的三个时间语义（Event Time、Ingestion Time、Processing Time）和 Watermark（水位线）。时间语义好理解，Watermark 虽然使用起来比较简单，有成熟的 API 可以调用，而且有固定的编程模式，无非就是传个参数。但是要结合到企业的业务实践中去，就必须要能够深入了解它的概念，只有这样才能应对不同的业务场景，并根据不同场景做相应的参数调整。
2025-02-21 18:31:25
841
原创 【Flink快速入门-9.Flink 中的窗口】
Window 是流处理中非常常用，也是非常重要的一种处理方式。其中 Time Window 可以说是重点中的重点，大家在学习的时候要认真理解示例图，搞清楚窗口大小和窗口滑动大小的关系。万变不离其宗，不论业务过程如何复杂，最终都会转化到本实验的编程模型中，唯一需要替换的就是聚合部分的业务逻辑。Keyed Window 和 Global Window 大家简单了解就好，有兴趣的同学可以自行实验。
2025-02-21 10:37:08
1006
原创 【Flink快速入门-7.Flink 状态管理】
本节实验我们介绍了 Flink 中的状态管理，包括 State 分类、Checkpoint 机制和 StateBackends。其中 State 分类包括 Keyed State 和 Operator State。在 Flink 状态管理中，使用相对来说比较简单，重点是概念理解。如果你学习过 Spark，请不要用 Spark 中的 Checkpoint 来类比 Flink 中的 Checkpoint，这是两种完全不同的机制。另外，在 Keyed State 案例中的。
2025-02-19 23:10:13
1084
原创 【Flink快速入门-6.流处理之 Source 与 Sink】
一般来说，Flink 官方提供的 Source 和第三方依赖提供的 Source 已经完全可以满足我们日常的开发需求了，但是如果存在不能满足的情况，那么就需要我们自己去实现一个 Source 了。虽然这种情况少之又少，但其依然是一个很重要的知识点。细心的同学可能已经发现了，我们在前面的实验中通过，env对象是有一个addSource方法的，这个方法就是我们自定义 Source 用的。自定义一个类MySource，继承并重写其方法将MySource的实例对象作为参数传入addSource。
2025-02-18 13:16:04
1040
原创 【Flink快速入门-5.流处理之多流转换算子】
本节实验中我们介绍了 Flink 中的多流转换算子，其中 Union 是将两个或者多个类型相同的输入流转换成一个输入流，而filter是将一个输入流根据给定的条件切分成多个子输入流。这部分内容在工作中会经常用到，大家一定要理解。
2025-02-16 17:49:35
1066
原创 【Flink快速入门-4.流处理之基于 Key 的算子】
在本节实验中我们介绍了 Flink 中基于 Key 的算子，keyBy 和 reduce 好理解，但是 Rolling Aggregation 算子的输出结果可能会和大家预想的不一样，特别是 min(minBy)和 max(maxBy)，请一定要注意它们之间的区别。需要自己练习，确定效果。
2025-02-14 18:12:24
1095
原创 【Flink快速入门-3.流处理之基础算子】
本节实验中，我们介绍了流处理的基本流程以及三个最基础的算子，也是日常工作中使用相当频繁的三个算子。相信对于有 Spark 使用经验的同学来说并没有什么难度，对于刚入行学习的新同学来说，flatMap 算子可能会比较烧脑，但是不要气馁，所谓熟能生巧。
2025-02-10 14:36:46
513
原创 【Flink快速入门-2.Flink 部署模式】
Flink有三种部署模式，分别是 Standalone、Yarn 模式和 Kubernetes。在本次实验中我们的重点是 Standalone 模式，Yarn 和 Kubernetes 只需要了解即可
2025-02-08 22:06:38
849
原创 【Flink快速入门-8.Flink Flink 架构介绍】
Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在 Java 虚拟机上
2025-02-08 15:01:05
1182
原创 免费 “白嫖” 满血版 DeepSeek：硅基流动 x 华为云
因「DeepSeek」爆火，使用的人太多，加上被攻击的原因，导致服务器繁忙。官方之前也表示「DeepSeek」近期不幸遭受了大规模的网络恶意攻击，导致注册系统繁忙，新用户注册时可能会遇到困难。目前官方的 API 服务也暂停了使用。为解决服务器繁忙导致的无法使用，之前也分享过如何在电脑和手机上离线部署「DeepSeek」模型，不过有些小伙伴的电脑配置比较低，跑不动模型，加上本地部署的 DeepSeek-R1 是蒸馏模型，比 “满血版” 效果要差很多。
2025-02-08 11:08:58
2353
原创 【Flink快速入门-1.Flink 简介与环境配置】
Flink快速入门，流处理概述Flink 简介Flink 批处理 WordCountFlink 流处理 WordCount
2025-02-07 16:09:56
1281
1原创 PySpark3.4.4_基于StreamingContext实现网络字节流中英文分词词频累加统计结果保存到数据库中
运用了PySpark Streaming进行实时数据处理、pymysql实现MySQL数据库基于数据库连接池交互、configparser读取配置文件，以及广播变量优化集群间数据传输。通过设置检查点、批处理插入和错误重试机制增强了系统的稳健性。日志记录和状态管理确保了应用的可维护性和性能优化。软件工程上，采用模块化设计、异常处理和配置分离提升了代码质量和开发效率
2024-12-07 23:38:51
1190
原创 PySpark3.4.4_基于StreamingContext实现网络字节流中英文分词词频累加统计结果保存到文本中
利用pyspark3.4.4开发streamingContext程序，统计实时socket网络字节流数据，实现中英文分词统计，并将统计结果持久化保存到文本文件中
2024-12-07 22:02:00
511
原创 PySpark3.4.4_基于StreamingContext实现网络字节流统计分析
基于StreamingContext实现网络字节流统计分析，使用PySpark3.4.4,支持中文，英文分词，停用词的使用。实现中英文分词混用场景的词频统计
2024-12-06 14:19:49
1379
原创 spark 3.4.4 利用Spark ML中的交叉验证、管道流实现鸢尾花分类预测案例选取最优模型
本案例详细介绍了在Spark中使用交叉验证、逻辑回归以及管道流（Pipeline）实现鸢尾花数据集最优模型选择的过程，并提供了Scala语言的示例代码。通过管道流机制，将数据预处理、特征选择和模型训练等阶段整合在一起，提高了机器学习流程的清晰度和可复用性。同时，结合交叉验证方法，提高了模型性能评估的可靠性和准确性。此外，还介绍了网格搜索技术，用于在指定的参数范围内寻找最优的模型参数设置，进一步提升了模型选择和调优的效率。
2024-11-25 17:07:17
1627
原创 spark 3.4.4 机器学习基于逻辑回归算法及管道流实现鸢尾花分类预测案例
Pipeline将标签索引化、文本特征提取（词向量转换）以及逻辑回归模型训练这几个步骤有序地组合起来，实现了一个简单的文本分类任务流程，体现了Pipeline在整合机器学习流程方面的便利性和实用性。Spark 3.4.4
2024-11-24 09:52:26
1397
原创 基于Spark3.4.4开发StructuredStreaming读取文件数据
基于Spark3.4.4开发StructuredStreaming读取文件数据
2024-11-20 00:29:20
480
原创 基于Spark3.4.4开发StructuredStreaming读取socket数据
spark3.4.4,基于Structured Streaming利用微批次驱动读取socket数据，惊醒wordcount统计任务
2024-11-19 21:58:32
493
原创 2023_Spark_实验十五：SparkSQL进阶操作
本实验通过实践掌握Spark SQL中的复杂查询，如子查询、窗口函数和联接操作，同时学习性能优化策略，包括数据分区、缓存机制和查询优化。学员实现了一个ETL数据处理流程，从日志和交易数据中提取信息，清洗数据并进行复杂查询，最终将处理结果加载到目标存储中。这些技能为后续的大数据分析和处理奠定了基础。
2024-11-14 23:46:33
1493
原创 2023_Spark_实验十一：RDD基础算子操作
Spark3.4.1, Scala 2.13 RDD基础练习，使用Spark-shell练习，使用IDEA练习
2024-09-26 23:15:30
1841
原创 2023_Spark_实验十：Centos_Spark Local模式部署
参考这篇博客：【Centos8_配置单节点伪分布式Spark环境】_centos8伪分布式环境搭建-CSDN博客
2024-09-26 20:58:53
1332
原创 昇思25天学习打卡营第25天|函数式自动微分
函数式自动微分在PyTorch、TensorFlow和MindSpore这三个深度学习框架对比，基于MindSpore实现函数自动求导，自动微分
2024-07-18 11:39:03
905
原创 昇思25天学习打卡营第24天|基于MindSpore的Diffusion扩散模型
基于MindSpore实现Diffusion扩散模型，基于denoising diffusion probabilistic model （DDPM）。Diffusion与其他生成模型（如Normalizing Flows、GAN或VAE）进行比较，它并没有那么复杂，它们都将噪声从一些简单分布转换为数据样本，Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪，最终得到一个实际图像。
2024-07-16 14:50:36
755
原创 昇思25天学习打卡营第23天|基于MindSpore的Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型。基于MindSpore实现Pix2Pix。实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。包括两个模型：生成器和判别器。
2024-07-16 13:13:06
1078
vmware workstatiions pro 17.6.1个人使用免费，不用证书直接安装使用
2024-11-18
Hadoop集群部署相关资源
2022-09-11
zotero+zotero-better-bibtex插件分享
2024-03-27
可视化大屏项目动态数据样例
2023-07-02
17. 可视化大屏配置之代码整理
2023-07-02
MySQL练习数据-Sakilia-spatial DB
2022-09-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人