超级会员免费看
本文详细介绍了计算机视觉面试中常见的深度学习算法问题，包括BN、LN、IN与GN的对比，熵、交叉熵、KL散度、JS散度等概念，以及过拟合解决方案、模型优化技巧。此外，还讨论了目标检测中的IOU、NMS及其改进，以及知识蒸馏、模型剪枝和DQN强化学习等技术。
【2021 计算机视觉】面试问题及其答案总结（一）
- BN、LN、IN与GN对比：
- BN 和 LN 使用场景：
- 熵、交叉熵、KL散度、JS散度：
- JS散度解决了什么问题：
- 求操作的 FLOPs？
- 过拟合要怎么解决？
- 随机梯度下降相比全局梯度下降好处是什么？
- L1、L2正则化在什么任务上分别会优先考虑？
- dropout为什么能解决过拟合 ？
- 卷积有哪些变种？
- 简单介绍一下Deformable convolution：
- 介绍一下GCN中的拉普拉斯矩阵：
- 介绍一下GCN的发展过程？
- 目标检测中IOU是如何计算的，以及介绍一下IOU Loss：
- 介绍一下 NMS 及其改进：
- 介绍一下 CenterNet：
- 多卡分布式训练的并行方法：
- 分布式里面的更新算法？
- 讲一下Sort和Deepsort追踪算法？
- 介绍一下Yolov5？
- 混合精度训练的原理？
- 低比特量化的原理？
- 模型剪枝的基本原理？
- 讲一下DQN强化学习算法？
- 讲一下知识蒸馏的基本方法？
- 讲一下one-stage和two-stage目标检测的区别？
- 讲一下目标检测中 Anchor 的概念？
- ResNet到底在解决一个什么问题呢？
- 讲一下文字检测的 DB 算法？
- 零样本知识蒸馏的方法？
- 零样本知识蒸馏的损失有哪些？
- GMM 背景建模算法介绍一下？
- Tensorrt加速原理？
- BN层和卷积层融合是如何实现的？
- 讲一下RPN是做了一件什么事情？
- 简单介绍一下目标检测蒸馏？
- IOU Loss的优点有哪些？
- GIOU Loss介绍一下？
BN、LN、IN与GN对比：
深度学习中数据的维度一般是【N, H, W, C】格式，其中 N 是batch size，H、W是特征图的高和宽，C是特征图的通道数。如下图所示，是 BN、LN、IN 与 GN 作用方式的对比图：
- 批归一化BN：对批次方向（N）做归一化
- 层归一化LN：在通道方向（C）上做归一化，主要对RNN作用明显
- 实例归一化IN：在一个图像像素内做归一化，主要用于风格化迁移
- 组归一化GN：在通道方向上分组，然后再每个组内做归一化
BN 和 LN 使用场景：
BN 在每个 mini-batch 比较大，数据分布比较接近的场景比较适用。在进行训练之前，要做好充分的shuffle，否则效果会差很多。
由于BN需要在运行过程中统计每个mini-batch的一阶统计量和二阶统计量，因此不适用于动态的网络结构和RNN网络，这时候就可以用LN了。
订阅专栏 解锁全文
扫一扫
1943
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
