qq_37746927的博客

论文阅读：Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels（2017ICML）

噪声标签表征学习

摘要本节讲解了合适适合使用端到端的DL。课堂笔记要了解什么时候适合使用端到端学习，就要了解端到端的Pros & Cons关于Pros：具体点说就是可以挖掘数据的潜在特征，比图cat语音识别，可以从C-A-T三个音位来学习，这样就限制了他提取的特征的种类，那么端到端就可以让宣发自己去探索（我认为这是优点也是缺点，因为确实不知道它探索的是什么）很明显，不需要手工特征了，省时省力。Cons：端到端需要更大的数据量来提取特征也可能会漏掉手工提取的一些重要特征（ML工作..

课堂笔记端到端(end-to-end)学习:传统处理方法的输入和输出中间有很多步骤，而端到端DL是忽略这中间的所有阶段，用单个神经网络去代替它。例子：语音识别成文字比如人脸识别的门禁系统：传统人脸识别有两个步骤：1.标识出照片中的人脸的位置2.将照片中的人脸和库中的人脸进行对比，判断是否是一个人。而端到端学习直接把拍到的照片和库中的人脸照片相比较，得出结果。但是这里存在一个问题：当分为两步时，每一步都更容易有更多的训练数据，而端到端的话不容易有这么多数据（拍到的照片和照片中人脸的数据）.

课堂笔记迁移学习是串行的学习，完成任务A，再迁移到任务B，而多任务学习是好几个任务同时进行，希望每个人物都能够帮到其他所有任务。pedestrian：，行人，步行者如何理解这个多任务学习呢？举个例子：比如要开发自动驾驶汽车，需要识别图像，四个标签：图中有无：行人，车辆，停止标识，交通灯。输入是一幅图片，输出是一个(4,1)的向量。和softmax不同的是，这个任务的输出可以将标签分配给很多类，而softmax只能分给一个类，输入单任务学习，而在这里很多物体可能同时出现在一张图片中，这就叫多任.

课堂笔记比如说将识别猫的分类器运用到放射科诊断（阅读X射线图）， 你有了一个猫分类器和一些X射线图，经验是：如果的X射线图不是很多，那么你可以只训练猫分类器网络的最后一两层；如果你有很多数据，可以接着训练猫分类器的全部层。在图像处理中，猫分类器的训练叫做预训练（pre-training），在X射线图片上的训练叫微调(fine tuning)。这样做为什么有效呢？因为有很多低层次特征， 比如说边缘检测、 曲线检测、 阳性对象检测 （positive objects） ， 从非常大的..

课堂笔记本节课解决训练和验证/测试不同分布的问题（数据不匹配）这个问题实际上没有非常准确的解决办法，给出了两种办法：进行手工误差分析，查看到底训练和验证数据到底有什么不同；让训练数据和验证数据更相似，比如收集更多和验证/测试集相似的数据。个人感觉上面是一种方法，只是第一种先排查，第二种去解决。另外一种解决方法：人工合成数据。车内语音助手的激活问题，可以人工合成激活语音和车内的噪音，得到带有噪音的激活语音，但是可能你只录了1h的噪音，却有10000h的语音，就可能对那1h的噪音过拟合，.

课堂笔记当训练数据和测试数据不同分布的时候，怎么处理呢？例1：猫分类器，人接近0%误差，训练集1%，验证集10%,可能有两个方面原因：算法只见过训练集数据，没见过开发集数据；开发集数据来自不同的分布。从训练集中抽出一部分作为训练-验证(train-dev)集,保证训练集和训练-验证集数据来自相同分布，如果是1%|9%|10%的情况，那就是方差问题，因为算法过拟合，泛化能力差，如果是1%|1.5%|10%的情况，应该是数据不匹配的问题，即训练和验证/测试不属于同分布。例2左，Bias..

1.本节问题 ：现在很多ML团队想尽一切办法收集更多数据让模型效果更好，导致了训练数据可能和验证/测试数据稍微不同分布，怎样处理这样的问题呢？2. 课堂笔记例1：开发一个app识别用户上传的图片是不是猫，但是用户上传的图片都很模糊，有10,000张，你从网上爬取的图片都很高清有200,000张，这两个数据集不是同一分布的，但是只用10,000张图片进行训练数据量太少，有两种方法：可以将数据洗牌，然后重新划分三个集合使用200,000张爬虫照片+5,000张用户上传图片组成训练集，验证集2,500和

课堂笔记当研究一个新的ML项目时，应该尽快建立系统原型，然后快速迭代。如语音识别领域有一下几个方面可以做：比如对噪声的处理，口音的处理，里麦克风远近的处理等等，都能改进你的语音识别系统，那么究竟该怎样确定一个或者几个方面来改进你的识别系统呢？前面说快速搭建系统，然后快速迭代的意思是你有了一个系统之后，就有了确定的target，然后设立训练/验证/测试集，评估指标，然后进行误差/方差分析，比如说可能就发现跟声源距离麦克风的距离有很大关系，接下来可能就往远近场分析方面研究。有两种情况不太适合这样做：..

(一)、tf.train.Saver()(1). tf.train.Saver() 是用来保存tensorflow训练模型的,默认保存全部参数(2). 用来加载参数,注:只加载存储在data中的权重和偏置项等需要训练的参数,其他一律不加载,包括meta文件中的图也不加载tf.train.Saver()_1tf.train.Saver()_2(二)、tf.train.import_met...

1. 前言之前记的笔记都是在印象笔记中的，感觉一直都是单机游戏，今天开始，写到博客上吧，说不定有人能够一起讨论下什么的。2. 课堂笔记2.1 在训练集上的错误标记DL算法对于随机错误是很健壮的，可能标记员手抖，将某个狗的照片被错误地标记为猫，这样的随机错误输入到网络中去训练，最后的结果也没啥问题。但是如果是系统性错误就不行了，比如说标记员一直把白色的狗标记为猫，那么你的分类器就会把白色的狗识别为猫。 可以做一个这种表格来统计你的错分类中的错误情况占比，可以帮助决定接下来的工作重点和预估收益。2.2

为什么L1正则化导致稀疏解转自:https://blog.csdn.net/qq_26598445/article/details/82844393一、从数据先验的角度首先你要知道L1范式和L2范式是怎么来的,然后是为什么要把L1或者L2正则项加到代价函数中去.L1,L2范式来自于对数据的先验知识.如果你认为,你现有的数据来自于高斯分布,那么就应该在代价函数中加入数据先验P(x),一般由于推导和计算方便会加入对数似然,也就是log(P(x)),然后再去优化,这样最终的结果是,由于你的模型参数考虑了数据

(一)、tf.train.Saver()(1). tf.train.Saver() 是用来保存tensorflow训练模型的,默认保存全部参数(2). 用来加载参数,注:只加载存储在data中的权重和偏置项等需要训练的参数,其他一律不加载,包括meta文件中的图也不加载(二)、tf.train.import_meta_graph(1). 用来加载meta文件中的图,以及图上定义的结点...

看到了一篇帖子说明了神经网络训练过程中数据需要归一化的原因，记录一下：先自己输出一下：3层BP为例，输入-隐层权值的梯度有2ew(1-a^2)*x的形式（e是誤差，w是隐层到输出层的权重，a是隐层神经元的值，x是输入），神经网络神经元的输出与误差e，权值w和输入x有关，如果不进行归一化的话，假设输入输出量的值比较大，那么x和e会比较大，同时，隐层为了将隐层映射到输出层，那么w（数量级为0~1）会...