tangweirensheng的博客

LSTM缓解梯度消失总结

剪枝原理性文章

PCA

一般用于多分类问题中主要介绍多分类问题的交叉熵函数N代表样本数M代表label的数目，分类的数目： 样本i 等于分类的label c 时=1，其他为0：样本 i 属于类别 c 的概率

Adaboost 算法的原理与推导_结构之法 算法之道-CSDN博客_adaboost算法原理（十三）通俗易懂理解——Adaboost算法原理 - 知乎Adaboost算法原理分析和实例+代码（简明易懂）_pan_jinquan的博客-CSDN博客_adaboost算法实例Boosting学习笔记（Adboost、GBDT、Xgboost） - Will的笔记 - 博客园算法篇：SGD+logistic+Adaboost构建快速迭代增强式LR模型_yycc-CSDN博客AdaBoost的.

feature map尺寸是指W,H上共享权值的 sliding window, feature map的数量是 channels卷积层：滤波器filter个数，卷积层中的权值称为滤波器 filter或 卷积核，使用一个 filter对输入进行卷积得到一个特征图 feature map,使用多个滤波器同时对输入进行卷积得到多个特征图。 感受野 (receptive field) F,滤波器空间局部连接的大小， 3*3， 5*5 零填补 (zero padding) P,卷积过程...

Sequence to sequence (Seq2seq)input a sequence, ouput a sequence. The ouput length is determined by model.application: speech recognition/ machine translaion/ speech translationQuestion Answering (QA)QA can be done by seq2seqResidu...

对L影响很小。假设 input很小，对L影响很小Feature normalization，对所有输入进行 normalization可以在 activication之前或者之后做 normalization, sigmoid函数最好是在activiation之前做gama初始为1， beta初始为0加BN时候 error surface就会比较平滑，比较不崎岖， learning rate可以设置比较大...

https://www.youtube.com/watch?v=dOwKbwQ97tI&list=RDLVWeHM2xpYQpw&index=4

考虑整个 sequence长度的内容可以多层 self attention叠加 attention is all you need1, dafadaalpha : attention score代表两个输入的关联性b1~b4并行产生Muti-head self attentionPositional EncodingNo position information in self attentioneach...

总结：可以使用CNN网络的场景（要类似图像处理才可以）some patterns are much smaller that the whole image The same patterns appers in different regions Alpha Go does not use Pooling可以取小的 patterns并且相同的 patterns可以出现在不同的地区pooling可以视情况而定receptive fieldall channels ...