qq_43759478的博客

原创 没查到数据但对象的属性也有返回值？慎用@Autowired！！！

Kafka监听消息收到的value中有一个sn内容，我需要通过SN去MySQL数据库中查询该SN对应的记录。我的下一条消息为8610002，这个SN在MySQL表中查不到数据，按照需求设定，这条数据在if判断getClue.getRepairShopId()是否为空时应该为空，但是出现的问题是，不为空，且把8610002推送给了接口。TestClue是一个普通实体类，但把它注入成了 Spring Bean，所以它是 单例的（Singleton） —— 所有线程和所有 Kafka消息都复用同一个对象。

原创 python|turtle 绘制彩虹

只需要更换for循环中的颜色就好了。

原创 【SQL|大数据|数据清洗|过滤】where条件中 “ != “ 和 “ NOT IN() ” 对NULL的处理

对数据进行清洗过滤的时候，NULL往往是一个很特殊的存在，对NULL值的存在通常有以下三种方式1、保留NULL2、过滤掉NULL3、将NULL替换为其他符合业务需求的默认常量下面是一些常用处理NULL的方式：如下图所示数据源：car_vin：汽车车架号，汽车的唯一标识id：汽车检测里程的id，每次检测的唯一标识mileage：汽车的行驶里程。

原创 有temp表包含A，B两列，使用SQL，对B列进行处理，形成C列，按A列顺序，B列值不变，则C列累计技术，B列值变化，则C列重新开始计数

有temp表，使用SQL，对B列进行处理，形成C列，按A列顺序，B列值不变，则C列累计技术，B列值变化，则C列重新开始计数。

原创 【maxcompute|ODPS|SQL|HSQL】日期数据非标准日期格式（yyyy/M/d），如何转为yyyy-MM-dd HH:mm:ss标准格式

补齐字符串，日期数据格式化

原创 昇思25天学习打卡营第08天|保存与加载

上一章节主要介绍了如何调整超参数，并进行网络模型训练。在训练网络模型的过程中，实际上我们希望保存中间和最后的结果，用于微调（fine-tune）和后续的模型推理与部署，本章节我们将介绍如何保存与加载模型。

原创 昇思25天学习打卡营第07天|模型训练

从网络构建中加载代码，构建一个神经网络模型。nn.ReLU(),nn.ReLU(),超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。wt1wt−η1n∑x∈B∇lxwtwt1​wt​−ηn1​x∈B∑​∇lxwt​公式中，nnn是批量大小（batch size），ηηη是学习率（learning rate）。另外，wtw_{t}w。

原创 昇思25天学习打卡营第06天|函数式自动微分

神经网络的训练主要使用反向传播算法，模型预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss，然后进行反向传播计算，求得梯度（gradients），最终更新至模型参数（parameters）。自动微分能够计算可导函数在某点处的导数值，是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算，该功能对用户屏蔽了大量的求导细节和过程，大大降低了框架的使用门槛。

原创 昇思25天学习打卡营第05天|网络构建

当我们定义神经网络时，可以继承nn.Cell类，在__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。construct意为神经网络（计算图）构建，相关内容详见使用静态图加速。# 定义一个名为Network的类，该类继承自nn.Cell类# 定义一个展平层（Flatten Layer），它将输入的多维数据（如图像）展平成一维数组，以便可以输入到全连接层（Dense Layer）中nn.ReLU(),nn.ReLU(),# 定义了模型的前向传播逻辑。

原创 昇思25天学习打卡营第04天|数据变换 Transforms

通常情况下，直接加载的原始数据并不能直接送入神经网络进行训练，此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换（Transforms），配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入，实现对指定数据列的处理。提供了面向图像、文本、音频等不同数据类型的Transforms，同时也支持使用Lambda函数。下面分别对其进行介绍。

原创 昇思25天学习打卡营第03天|数据集 Dataset

模块提供了一些常用的公开数据集和标准格式数据集的加载API。对于MindSpore暂不支持直接加载的数据集，可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集，然后通过接口实现自定义方式的数据集加载。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集，下面分别对其进行介绍。

原创 昇思25天学习打卡营第02天|张量 Tensor

张量是一种特殊的数据结构，与数组和矩阵非常相似。张量（Tensor）是MindSpore网络运算中的基本数据结构。张量可以被看作是一个多维数组，但它比普通的数组更加灵活和强大，因为它支持在GPU等加速硬件上执行高效的计算张量（Tensor）是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在  𝑛 维空间内，有  𝑛的𝑟次方个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。

原创 昇思25天学习打卡营第01天|基本介绍&快速入门

调用上面的自定义函数datapipe(dataset, batch_size)，并传入参数此处我们设置一个对照组，只处理train_dataset分支下的数据，比较处理前后数据集的shape和datatype有何不同使用或对数据集进行迭代访问，查看数据和标签的shape和datatype可以清晰的看到，经过变换处理后图片和标签数据的shape和datatype都发生了变化数据已经准备好了，明天继续网络构建！

原创 SQL-- 在一个分组内随机抽取几条数据

一个结果集包含 order_type，user_id，pay_time ，现在有多条user_id和order相同，但pay_time不同的数据。现在有个需求，需要从一个分组中随机抽取三条不同pay_time的数据，应该怎么实现呢？这样是不是乍一看有点懵？话不多说，直接上代码。

原创 窗口函数之 first_value() 和 last_value()

这次，我要从**last_value()**开始写！

原创 Spark整合hive的时候出错

Spark整合hive的时候连接Hdfs不从我hive所在的机器上找，而是去连接我的集群里的另外两台机器但是我的集群没有开所以下面就一直在retry出现这个错误的原因可能与core-site.xml和hdfs-site.xml有关，因为这里面配置了集群的namenode信息我新建了一个项目，里面没有core-site.xml和hdfs-site.xml只放进去一个hive-site.xml我的hive-site.xml中没有图片中的三个配置，加上这三个配置就好了

原创 启动metastore服务报错

这个时候其他服务使用Metastore服务连接hive的时候就正常了。可以看到这个时候MySQL状态正常。

原创 spark的standalone 分布式搭建

集群环境hadoop11，hadoop12 ，hadoop13安装 zookeeper 和 HDFS。

原创 java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration

加上这个(如果有就修改，没有就添加）修改hive-site.xml。再次启动hiveserver2。

原创 hive数据的导入导出

1. TextFile：使用TextFile格式存储的表将数据以文本文件的形式进行存储。这是最常用的默认存储格式。2. SequenceFile：使用SequenceFile格式存储的表将数据以键-值对的形式存储，适用于数据压缩和高效读取。3. ORC（Optimized Row Columnar）：ORC是Hive的一种高性能列式存储格式，它以列的方式组织数据，提供了更高的压缩率和查询性能。4. Parquet：Parquet是一种列式存储格式，也是Hive的一个常用选项。

原创 hive设置本地执行方式

假如hive中的SQL语句执行时间太长，可以设置本地执行方式，设置本地执行模式可以优化执行速度，数据量小的时候，使用本地模式：。以上这些配置，都可以写在 hive 的conf 下的 .hiverc 文件中，当hive启动的时候，就会加载。在hive的配置文件 hive-env.sh中将一些配置注释解开。

原创 linux使用grep命令查询nginx的进程情况时总是出现 grep --color=auto nginx

ChatGPT解答：因为 ps aux 命令会列出当前系统中所有的进程信息，而 grep nginx 是用于筛选出包含 “nginx” 关键字的行。这是因为grep 也是一条命令，它在输出时，会把grep 服务名也当做一个进程输出，假如使用grep命令查询某个服务的进程号，结果只显示一条grep --color=auto 服务名。则说明虚拟机中没有改服务的进程。每次使用ps aux | grep 服务名 命令查询某个服务的进程时，总会出现一条grep --color=auto 服务名。

原创 使用JAVA写词频统计时报错。Input path does not exist:

错误原因：没有把conf信息注入连接。

原创 数据结构知识背诵

1、数据结构是一门研究非数值计算的程序设计问题中计算机的操作对象以及他们之间的关系和操作等的学科。2、数据是对客观事物的符号表示，在计算机科学中是指所有能输入到计算机中并被计算机程序处理的符号的总称。如整数，实数，字符串。3、数据元素是数据的基本单位，在计算机程序中通常作为一个整体进行考虑和处理。一个数据元素由若干个数据项组成。数据元素又称结点或记录。4、数据项是数据不可分割的最小单位。5、数据对象是性质相同的数据元素的集合，是数据的一个子集。如整数数据对象，字母字符数据对象。6、数据元素相互之间

原创 Linux系统 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) E: 无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它？

解决方法：解决方法：用vim打开

原创 关于数据库的那些错误（合集）

此篇博客仅记录我这一两周来与mysql数据库和SQL server数据库“搏斗”的经历，纪念这血和泪的教训。首先，我要对我过去写的博客内容做出肯定，当我忘记哪里的知识想不起来的时候，看看之前的博客就知道了。其次，我想说，CSDN实在是太棒了，真不愧是程序员的集结地。但是很多文章重复率过高，而且大部分或许是像我这样入门的小菜鸟，专业度不高，当我想搜索一些比较更深层次的知识时，就有些浪费时间。最后，让我们从mysql说起。其实从一开始我就是有点排斥mysql数据库的。在学习java 和SQL serve

原创 mysql数据库的卸载和mysql8.0.20的安装

mysql数据库的卸载，在网上查了很多方法，这种方法是最好最全面的。链接如下：https://blog.csdn.net/TD520314/article/details/80461545接下来就详细的说一下怎么安装的吧这种安装方式和平常的图形化操作界面不一样，不需要一直点next，好像是因为在官网下载的是zip吧，直接解压缩就能用在官网上下载community版本的mysql，下载后就...

原创 session站点计数器

ASP.net实验四第二题：如图所示，使用Session对象设计一个站点计数器，要求将来访人数存放在站点内的counter.txt文件内，该数字不会因服务器或网站重新启动而丢失，刷新页面也不会引起数字变化，程序运行时要求将当前会话的ID值显示到页面中。做题思路：因为这道题中没有说要用Application，所以一开始也不太敢用全局应用程序类。大家首先要弄明白session和applicati...

原创 ASP.net实验五第二题，使用sitemap时出错：配置错误

运行时出现的错误如图所示~配置错误说明: 在处理向该请求提供服务所需的配置文件时出错。请检查下面的特定错误详细信息并适当地修改配置文件。分析器错误消息: 未能加载文件或程序集“MySql.ConnectorInstaller, Version=6.10.5.0, Culture=neutral, PublicKeyToken=c5687fc88969c44d”或它的某一个依赖项。系统找不到...

原创 java web复习第二章HTML简介

get和post的区别：https://blog.csdn.net/qq_44721831/article/details/98471707<body> <form action="" method="get"> <table border="1" width="80%"> <tr> 行开始标记 ...

原创 java web复习第一章重点内容

java web第一章开发简介静态web与动态web最本质的区别：静态web无法进行数据库操作，动态web可以进行数据库操作。动态web最大的特点就是具备交互性，所谓交互性就是服务器会自动根据用户请求的不同而显示不同的结果。要想实现一个动态web，可以采用如下5种方式：（1）CGI：效率低（2）PHP：需要运行在Apache下，只有使用MySQL数据库时才可以达到性能的最大发挥...

原创 数据库复习第一章

概念及英文缩写：数据管理的三个发展阶段：一、人工管理阶段二、文件系统阶段三、数据库系统阶段

原创 java复习第十一章，java常用类库

1、掌握StringBuffer类与String类的区别1、StringBuffer类中字符串的内容可以改变，而String类中字符串的内容不能改变，如果要改变，则改变的肯定就是String的引用地址。2、在String中运用+进行字符串的连接，但是在StringBuffer类中却只能用append（）方法进行字符串的连接。3、在String中如果要替换，则使用的是replaceAll（）方...

原创 SQL Server 2016安装步骤

下载后直接双击选择setup.exe选择安装，再点击图中圈住的部分产品密钥会自动填写，如果没有就输入MDCJV-3YX8N-WG89M-KV443-G8249然后，点击下一步接受许可条款，点击下一步点击下一步点击下一步点击全选。建议把SQLSever软件安装到别的盘。修改一下实例根目录。默认是在C盘。这里将它装在E盘现在出错了，让我们看一下怎么解决polybase要求安装JRE...

原创 java web数据库的配置与连接

困扰我许久的java web数据库的连接终于有眉目了，终于被我弄明白了。嘿嘿第一步：先把SQL server数据库整明白了。SQL server数据库首先要保证用SQL server 身份验证能够登陆上去才可以。第二步：开始写jsp页面的，包括载入驱动什么的代码。第三步：建立连接，其实也算是一个测试。下面来详细的说一下怎么连接以及过程中遇到的问题吧。在进行SQL server数据库的登陆...

原创 ACM题库（计蒜客A1001整除问题）

题目：``参考代码：#include<stdio.h>int main(void){ int m,n;scanf("%d %d",&m,&n); if(m>=1&&n<=500) { if(m%n==0) printf("YES"); ...

原创 java复习第九章

1、进程和线程的区别1、进程：进程是程序的一次动态执行过程，它需要经历从代码加载，代码执行到执行完毕的一个完整过程，这个过程也是进程本身从产生，发展到最后消亡的过程，一个进程可能由多个线程组成多线程是实现并发机制的一种有效手段。进程和线程一样，都是实现并发的一个基本单位2、线程：线程是比进程更小的执行单位，线程是在进程的基础上进行进一步的划分。所谓多进程是指一个进程在执性过程中可以产生多个更...

原创 Java复习第八章，包及访问控制权限

1、掌握包的定义及使用包的定义：package 包名称.子包名称；在其他类中引用某类是需要用到import语句import 包名称.子包名称.类名称；import 包名称.子包名称；public class与class的区别（重点）分别导入与使用*导入的性能是一样的。如果在一个程序中同时导入了两个包的同名类，在使用时必须明确的写出完整的包.类名称.3、java中常用系统包...

原创 Java复习第六章Object类

重点内容：主要方法6.11.1在Java中所有的类都有一个公共的父类object，一个只要没有明显的继承一个类，则肯定是Object类的子类。

原创 Java复习第六章本章要点