- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 通俗易懂学nerf——神经网络核心
具体来说，NeRF模型中的输入不仅仅是原始的空间坐标 xyz，而是将空间坐标经过一系列频率的正弦和余弦函数变换后得到的一组特征向量。全连接层的输出结果可以看作是对输入特征的一种非线性变换，这种变换可以将输入特征空间映射到输出结果空间，从而实现模型的复杂性和非线性拟合能力。在实践中，这意味着在神经网络的某些中间层，原始的空间坐标 xyz 或者是经过编码的位置信息会被再次加入到网络的特征中。通过将坐标映射到更高维度的空间，可以为网络提供丰富的频率成分，使模型能够更好地学习和区分不同的几何形状和细节。
2024-09-17 17:15:01
193
原创 规划内功1–决策规划到底在解决什么问题
当然，像人并不是为了和人一毛一样。1. **自动特征提取**：大模型，尤其是深度学习模型，能够自动从数据中学习和提取特征，不需要人工干预。4. **计算高效**：对于一些问题，数学方法可以提供快速的计算速度，尤其适用于模型较为简单的情况。2. **数据依赖性**：大模型的性能高度依赖训练数据的质量和数量，数据不足可能导致模型性能下降。3. **适应性广**：对于简单的或者特定场景的问题，数学模型可以提供精确的解决方案。1. **黑箱问题**：大模型的决策过程通常是黑箱的，难以提供详细的解释和理论支持。
2024-08-17 14:45:04
148
原创 控制内功2–反馈控制和前馈控制
比如，在跟车时，我们实时测量自车与前车的距离，如果距离远了，我们就加大油门，如果距离近了，我们就踩刹车，距离接近100m了，我们就松松油门。缺点:需要调参，泛化性差（一个系统的参数无法直接给其他系统用），还有很重要的一点，反馈控制是滞后的，有误差才能起作用，无法防患于未然。上一讲我们提到了控制中遇到的三个问题，稳定性，鲁棒性，和动态期望问题。缺点:动态期望处理不好，稳定性和鲁棒性差，有先验模型才能起作用。优点:模型准确，参数准确时，控制效果好，无需调参。与之对应的是开环控制（前馈控制）
2024-08-14 00:07:37
633
原创 控制内功1-控制到底在解决什么问题
1.这种控制方法完全无法接受外界的干扰，比如质点在运行的过程中，可能有一股风，或者有了坡度，这种干扰导致实际的控制结果租期望就不相同。我们期望自车和目标车之间保持100m的距离，那么自车的位置期望值是根据前车动态变化的，写不出来具体的公式。，x是距离对时间的函数，x是人的期望，在固定的时间达到固定的位置，那么我们应当如何去控制力F呢？以上两点导致m在现实生活中是变化的，那么上面的控制方法是是无法在参数变化时仍能保证好的控制效果。，但现实中我们是给不出具体的期望公式的，比如自动驾驶领域中的跟车场景。
2024-08-13 23:33:58
146
原创 编程外功-4-设计一个游戏人物看出一个程序员的功底(3)
我们还是从实战开始，现在我们想设计一个军人，军人是拥有武器的人，武器和人是没有关系的，武器可以独立存在，人拥有武器，这时，武器和人就是组合关系，我们先设计一个武器的类。随着我们的设计的扩展，我们会给重新给基类赋予新的属性，现在我们要设计一个人，他不仅需要名字和年龄，还需要一个生命值和攻击力，当收到攻击时，生命值降低。军人这个类继承了普通人类的基本属性和方法，比如生命和伤害，但是重写了attack的方法，受到军人攻击的角色，会被军人拥有的武器造成的叠加伤害。...............重复省略。
2024-08-11 21:03:19
84
原创 编程外功-3-设计一个游戏人物看出一个程序员的功底(2)
大家都玩过游戏，不同的npc的台词是不一样的。目前peroson这个类就完不成这个任务了，可能有的朋友会说，我们再设计一个歌手的类，通过歌手的类再实例化一个歌手出来就可以了。c++为了程序员的方便，也为了代码方便扩展和管理，提出了了继承，基类，子类，和多态的概念。而子类会继承基类最基本的属性，但会改写或新增一部分的实现，比如说的话不一样，或者增加唱歌的技能，从而构成子类独有的特性。由上可知，我们歌手的类继承了人的类，拥有了姓名和年龄，同时还重写了说话的内容，还增加了一个唱歌的方法。//多态，重写这个函数。
2024-08-11 21:01:35
93
1
原创 编程外功-2-设计一个游戏人物看出一个程序员的功底(1)
就比如少林寺让弟子每天按照标准姿势打水，站桩，虽然很多弟子不知道原因，只是机械的重复，但是他们的基本功已经在逐渐扎实，等到有一天拿到内功心法，发现原来自己形的修炼是必须且有助于内功的。抽象的是类，具体的实例。先有抽象的类，才有具体的类，这就是C++最基本的规则，面向对象的封装。其中几点要格外注意。拷贝构造函数，是带参数的构造，初始化参数时不要用{name_=name}这样的写法，而要用上面圆括号的写法，这样效率更高。person.h //负责声明类的内容，包括类名，构造函数，析构函数成员变量，成员函数。
2024-08-11 08:01:39
100
1
原创 编程外功-1-从实战开始
由此可见，程序就和英语一样，甚至比英语还简单，因为程序有固定的规则，不会像英语一样有俚语等不规则的用法。但不用害怕，我们不需要成为C++语言的专家，正如我们之前所讲，他只是一个我们控制电脑的翻译，我们只要掌握基础的规则，达到我们目的即可。我们会从号称最难的编程语言C++开始学习，有一个段子是这么说的，一年精通，三年熟悉，五年了解，十年用过!自动驾驶领域90%的代码是C++写的，其中一个原因是C++代码的运行速度非常快，当然C++还有很多优秀的特性，我们会逐渐熟悉它。读万卷书，不如行万里路，让我们现在开始！
2024-08-11 07:59:52
70
原创 仿真内外功修炼
之所以把仿真比作太极拳，是因为仿真也是一个下限很低，上限很高的技术，而且仿真的修炼比较漫长。太极拳是一个下限很低上限很高的内功，张三丰能一套太极拳，公园里晨练的老大爷也能打一套太极拳，但功力真是天差地别。太极拳的修炼讲究的的是以柔克刚，以慢打快，以静制动。可以看到仿真技术会设计非常多的内容，会利用游戏技术，车辆动力学，计算机视觉，人工智能，以及感知，定位，规划，控制的基本知识。说到仿真，必须要说仿真的终极目的是要形成高效经济真实的闭环验证，是用来将感知，定位，规划，控制的算法集成到仿真系统中进行快速验证。
2024-08-11 07:58:27
63
原创 定位内外功修炼
定位的内功(这里主要指slam)是葵花宝典，这是一种戏称。因为修炼这门心法最需要的是勇气。比如说当你看到以下名词，李群，李代数，光流法，特征点法，Ba优化，图优化，卡尔曼滤波，请不要怀疑，这些就是你想的那么难。同时这门心法也是最容易走火入魔的内功，心态容易崩，一种是导致厌学心理，一种是导致建成后目空一切的心理。像令狐冲这样的小白在高人的传授下，也是比较容易练成的。和感知和规控相比，定位的内外功是最难练的，我不建议新手上来直接研究定位。同时定位也是用到数学知识最多的地方，如果数学这部分不过关，会非常难啃。
2024-08-11 07:57:03
87
原创 感知内外功修炼
北冥神功是逍遥派的武学，最大的特点是能吸他人内力为己用，可以说海纳百川。而且比较容易容易传授给别人。感知的基础是神经网络和计算机视觉，虽然也有比较难的理论，但总体涉及到的数学知识不多，而且感知有非常多非常完善的开源框架和现成的论文，可以直接使用。感知的外功就是去训练网络，直到什么网路好，什么参数好，怎么提高准确率和召回率。感知外功修炼有一个难点就是需要比较好的电脑硬件，最好带GPU，才能训练得快。学习感知需要很大的兴趣，想想看自己能训练出识别人脸的网络是多么有成就感，或者说训练出能够自己写诗的网络？
2024-08-11 00:34:28
81
原创 规划内外功修炼
九阴真经是集天下武学的大成，有非常多的武功。九阴真经很少有人能练成，首先很难获得全本资料，第二，就算获得，未必能看得懂。但九阴真经的好处不需要什么外物辅助，独自修炼即可。正因为性价比非常高，所以很多人争抢。自动驾驶的规划也是有非常多的理论，而且涉及到非常多的数学知识，对编程的要求比较高。比如frenet和直角坐标系转换，凸优化问题，轨迹平滑问题，轨迹拼接，动态规划等。所以规划不建议新手直接学习，很容易陷在某个技术细节而不能看到全貌。我们将从全局的角度先讲规划的整体框架，然后再一个一个去攻破每一个细节。
2024-08-11 00:32:04
82
原创 控制内外功修炼
龙象般若功是至刚至猛的内功，特点是上手容易，大成非常难。金轮法王很快就能简单7，8层，在但威力一般。自动驾驶的控制也是如此。入手还是非常容易的，掌握基本的pid就能开始控制了，但是想要控制的足够精确，就必须学车辆动力学和控制理论，这两个都是博大精深的学问，涉及到很深的理论知识。控制的外功比较简单，分为横向控制和纵向控制。但会涉及到非常多标定的知识和汽车理论的应用，需要和仿真和实车一起来做。大力金刚指，虽然不算顶级武学，但是是门非常实用，稳定的功夫。传统做电控，机械的朋友多少都会有接触，但没有系统的知识。
2024-08-10 19:33:01
131
原创 编程内外功修炼
因为少林寺的武功以多以修炼基本功为主，非常讲究外功的修炼。少林虽然有易筋经，但却艰深难懂，很少有人练成。编程和少林功夫非常相似，非常讲究基本功的修炼，也非常讲究实战实践，懂再多的理论，不实践等于0。如果在一定实践的基础上，再加上一些内存机制，设计思想，设计模式等理论方法，才能发挥内功的威力。正所谓天下武功出少林。练成少林功夫后，再去练其他门派的外功，可以说易如反掌。就算不练别的门派功夫，只将少林功夫练至大成，那也绝对在武林有崇高地位。所以编程这门功夫我们一上来就要从实战开始，它的技巧很多，构成72绝技。
2024-08-10 19:23:56
87
原创 自动驾驶修炼之路
自动驾驶是一个综合多个学科多种方法的工程实践，需要在掌握非常多学科的基础原理的基础上，选择适合的方法，写出合适的代码，最后调试出合格的产品。当今正是自动驾驶的风口，更是中外激烈竞争之时，吾辈自当静修内功，勤练外功，展露头角，为了更高的薪水，为了更好的伴侣，为了更好的生活，甚至为国家奋斗过，你都应该学习它。内功就是理论，是学术，外功是实践，是工程。自动驾驶的代码你每个字都看得懂，但是你不理解控制理论，规划原理，神经网络等基础原理，就没办法去调试，集成和解决问题。内功修的深，是可以辅助修炼外功，甚至自创招式。
2024-08-10 19:09:33
611
原创 自动驾驶修炼序言
在自动驾驶的武林世界里，门派林立，高手众多。小顽童原本桃花岛上一顽童，习得一两门岛上的外家功夫，遍只身闯入中原。在经历社会的毒打之后，方知中原之大，武学之深。本想入少林武当，以求精进，奈何武学低微，不入真人法眼。转求华山昆仑，却又资历太浅，不得自动驾驶真正修炼之法。却无意发现无名洞府，内有秘籍无数，修得一二，遍重出江湖，挑战天下豪杰。修习感悟刻于石壁，赠与有缘人，诸位若能从中学习一点有用的东西，或者用来面试到高薪岗位，吾将倍感欣慰！编程外功～少林72绝技。控制内功～龙象般若功。控制外功～大力金刚指。
2024-08-10 19:07:06
143
原创 Carla中如何渲染opendrive车道线和车道标识(全网独家，附代码)
carla是可以单独加载opendrive并渲染路面的，但是无法把车道线渲染出来，这是一个大坑，因为没有车道线就无法给感知输入。楼主已经实现，直接渲染车道线或者带PBR贴图的车道标识。实现起来非常简单，但必须对carla源码以及ue的开发足够了解。在carla源码中有一个很重要的类opendrivegenerator，它是关于opendrive渲染的全部方法，但是你是找不到它实例化的地方的，因为它被定义在蓝图关卡中。网上包括carla官方关于carla源码的分析少之又少，楼主将自己的经验写出来供大家参考。
2024-08-08 07:46:41
732
2
原创 通俗易懂学nerf——前处理
之前已经讲述了nerf的概念和基本流程，本章开始要介绍nerf的具体过程。首先是前处理过程，就是将2D图片转化为5D向量，这个5D向量代表粒子位姿。首先我们要搞清楚空间中一个发光粒子是如何投影到图片上的，即渲染的正向过程。反之，一直图片上的像素（u，v）和观察点（相机），如何找到粒子。2、需要多少个粒子可以完成后续的训练过程。粒子发光->光线进入摄像机->生成图片像素。1、如何将2D图片转化为5D向量？
2024-05-05 23:48:21
135
原创 通俗易懂学nerf——体渲染
2、同时体渲染技术能够生成高质量的渲染图像，具有逼真的光照、阴影和材质效果。通过模拟光线在体积中的传播和与物质的交互，体渲染能够捕捉到复杂场景中的细节和变化，从而生成令人信服的渲染结果。前面讲解了粒子的概念，我们知道nerf核心的步骤是计算出空间中粒子的密度和颜色，那么通过粒子的密度和颜色是如何生成最终的2D图像呢？1、体渲染能够直接处理三维数据场中的离散数据点，并计算它们对最终渲染图像的贡献。也就是说只要知道光线的方向，和粒子在这个方向的分布，就可以在2D图像上渲染出对应的像素。
2024-05-05 23:24:55
578
原创 通俗易懂学nerf——nerf流程
在nerf的框架下，三维空间被看作是由无数微小的体积单元组成，这些微小的体积单元组成，这些微小的体积单元被称为体素。具体来说，粒子得密度越高，物体在该位置的不透明度就越高，光线穿过该位置时被吸收或散射的概率就越大。但是nerf的神经网络的模型的输入是5D向量（粒子的x,y,z,theta,phi），输出是4D向量（粒子的密度和颜色）。整个nerf的输入时2D图片，和相机的位姿（位置和方向），输出是合成的2D图片。2.什么是空间中任意一点沿着视线的颜色和密度，这个和最终重建的图片是什么关系？
2024-05-05 19:01:06
381
原创 通俗易懂学nerf——为什么要用神经网络
而神经网络就是代替过去手动提取特征的过程，用多层次的网络结构，来捕获图片中复杂的特征，通过对比真实图片和生成图片的差距，不断优化网络的参数，形成复杂的非线性方程。传统渲染流程中，图片上像素的位置，是将世界坐标系下物体每个点的位置，经过相机坐标系，归一化相机坐标系，最终得到像素坐标系。同时，对3D世界中的光源和物体建模，模拟光照位置和强度，模拟物体的材质、纹理、反射率等属性。————这就叫做显式表示。相机是连接3D世界和2D图片的桥梁，当相机在拍照时，经过物体折射或者反射的光线进入到相机中，最终成像。
2024-05-05 10:04:09
121
原创 通俗易懂学nerf——nerf的基本概念
nerf中借鉴了物理学中场的概念，用辐射场来描述场景中光线在空间中的分布和传输。具体讲，nerf用一个神经网络模型来描述空间中任意一点沿着任意视线的颜色（亮度）和密度（不透明度）。这个预测过程可以被看作是对场景中光线辐射的模拟，因为颜色和密度实际上就代表了光线的能量分布和传输。具体来说，场是用空间位置函数来表征的，经常要研究某种物理量在空间的分布和变化规律。在物理学中，场是一个以时空为变量的物理量，并且场含有能量。2.什么是空间中任意一点沿着视线的颜色和密度，这个，他和最终的图片是什么关系？
2024-05-02 15:16:45
580
原创 通俗易懂学nerf——初识nerf
同时，由于NERF的渲染过程是基于神经网络的，因此它还具有更强的泛化能力，可以适应不同风格、不同精度的渲染需求。nerf也是如此，它通过分析照片中的每一个像素点，提取出深度、颜色、纹理等信息，然后像拼图一样把这些信息拼接起来，形成一个完整的三维模型。它就像是个超级魔术师，轻轻一挥，那张平面的照片就变成了立体的三维模型，仿佛你可以走进去，感受那里的空气、触摸那里的物体。提起nerf往往会设计到一些艰涩难懂的概念，神经辐射场、体渲染、神经网络等等，请不不要害怕，这些都是纸老虎，它的原理远远没有你想象的那么难。
2024-04-27 23:12:37
247
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人