chenge_j的博客

简介Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数，一般使用梯度上升算法。对于有n个属性的train数据集(X1,X2,...Xn),我们寻找一组回归系数(W0,W1,W2,...,Wn)使得函数：sigmoid(W0+W1*X1+W2*X2+...+Wn*Xn)最佳拟合train数据集的labels。算法描述初始化回归系数（一般初始化为1）Repeat(N):

knn算法描述对需要分类的点依次执行以下操作：1.计算已知类别数据集中每个点与该点之间的距离2.按照距离递增顺序排序3.选取与该点距离最近的k个点4.确定前k个点所在类别出现的频率5.返回前k个点出现频率最高的类别作为该点的预测分类knn算法实现数据处理#从文件中读取数据，返回的数据和分类均为二维数组def loadDataSet(filename): dataSet = []

基础概念 ε-邻域：对于样本集中的xj, 它的ε-邻域为样本集中与它距离小于ε的样本所构成的集合。 核心对象：若xj的ε-邻域中至少包含MinPts个样本，则xj为一个核心对象。 密度直达：若xj位于xi的ε-邻域中，且xi为核心对象，则xj由xi密度直达。 密度可达：若样本序列p1, p2, ……, pn。pi+1由pi密度直达，则p1由pn密度可达。算法过程输入：样本集D={x1,

算法基础SOM网络结构输入层：假设一个输入样本为X=[x1,x2,x3,…,xn]，是一个n维向量，则输入层神经元个数为n个。输出层（竞争层）：通常输出层的神经元以矩阵方式排列在二维空间中，每个神经元都有一个权值向量。假设输出层有m个神经元，则有m个权值向量，Wi = [wi1,wi2,....,win], 1<=i<=m。算法流程1. 初始化:权值使用较小的随机值进行初始化，并对输入向量和权

k-means聚类算法k-means是发现给定数据集的k个簇的算法，也就是将数据集聚合为k类的算法。算法过程如下：1）从N个文档随机选取K个文档作为质心2）对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类，我们一般取欧几里得距离3）重新计算已经得到的各个类的质心4）迭代步骤（2）、（3）直至新的质心与原质心相等或迭代次数大于指定阈值，算法结束算法实现随机初始化k个质心，用d

基础公式贝叶斯定理：P(A|B) = P(B|A)*P(A)/P(B) 假设B1,B2…Bn彼此独立，则有：P(B1xB2x…xBn|A) = P(B1|A)xP(B2|A)x…xP(Bn|A)数据（虚构）A1 A2 A3 A4 A5 B1 1 1 1 3 no1 1 1 2 2 soft1 1 2 1 3 no1 1 2 2 1