yukai08008的博客

今天拿起一本矩阵的书又翻了翻，毕竟AI搞到最后还得是数学。我是感觉自己高数始终有点学的迷迷糊糊的，就打算这一年慢慢把矩阵部分扫一遍，毕竟这快肯定是实打实有用的。其他高级部分就等我发财之后再说了，哈哈。

这大概是最简单，又最快的处理方式了。Mongo可以很好的借助内存，也可以利用硬盘，但总体上，Mongo更适合进行大容量或者高密度的数据吞吐。因为Mongo的功能多，所以就显得“重”。所以在服务和用户之间，还需要有个高速缓存。Kafka当然是很好的选择，但是Redis简单多了。对我的设计来说，Redis更像是L2 Cache，所以在我的生态里使用Redis作为队列是完全可行的。

说明博文写的面比较杂，这里做一个汇总梳理1 Python实现决策树更确切的说是「Python实现树族算法系列」。使用Python实现CART决策树，并基于此实现GBDT,Random Forest , XGBoost等模型开始页面：Python实现决策树（系列文章1）–从最简单的算法开始2 Python 函数字典系列这里指的是一种自定义的函数方法。将函数都作为某个字典可以引用的键值，然后可以使用参数化的方法调用链条比较长的函数。未来这部分会打包，以包装其他普通函数的方式来充实里面的函数。

1 说明深度学习的模型训练是听话时间的，但是只是应用的话cpu服务器应该有也可以。2 服务内容拆解(yolov3)3 内容3.1 使用docker制作镜像3.2 将项目文件准备

说明使用Docker来构建所需要的环境。1内容方法1：最简单的方法（推荐）安装好Docker后使用Docker-Compose部署。sudo apt-get install docker.iosudo apt-get install docker-compose方法2：无法连接阿里云时比较奇怪的问题，估计是公司的ip地址出问题(估计是nginx配置的问题，ip地址后面多了’ 80’)。(或者是阿里云自己的安全策略比较变态，因为清华的源就好使了)步骤1：修改apt的镜像源# 切换到目录

说明一种最简单的标注是用文件名给某张图片标注。这里主要讨论的是给图像进行区域的划分和标注后，把这部分的图像和标注拉下来保存成单独的图片。想象在图片上拉一个小矩形，给这个矩阵打了类别的文本，最后我们根据这个矩形和文本把图扣下来单独的保存。介绍的内容：1 VOC标注格式和工具2 Pytorch的Dataset格式3 对应的转换脚本进行目标识别通常需要coco和voc两种数据集格式，本文主要讨论voc格式的使用。coco 数据集。COCO 的全称是Common Objects in COnte

说明使用Siamese网络进行目标的相似度比较，其好处在于避免了许多复杂的数学处理（仿射变换）。本文参考了PyTorch练手项目四：孪生网络（Siamese Network）,并结合github上的源码进行了实现,和修改（源码只能使用CUDA)。涉及到的内容有：1 模型流程及其对应部分的内容准备2 主要代码的拆解分析3 新数据集的实验4 原理分析（因为神经网络以应用为主，理论反而在后）本文的实验环境是Mac(CPU模式) + Pytorch。1 模型流程及其对应部分的内容准备从模型的本

说明python的时间模块实在有点让人晕。主要的有两个，一个是time模块，一个是datetime模块。这两个模块的有部分功能还是重叠的，实在不想忍了- - ！我打算重新造一个轮子，只要效率还可以，然后直观好用就行了。实现的功能有以下几块：字符串和时间戳的互转实现月偏移：月偏移从计算上是不精确的，尽量保证号相同。（例如4.1到5.1,偏移一个月是30天；但5.1到6.1偏移一个月是31天）。不过通常来说，如果要按做偏移尽量还是选1号吧，毕竟每个月都有（月末可就不一定哪天了）。实现秒偏移（周、天

说明探讨从SQL语句从抽取表和变量间关系的方法，先进行一个简单的测试内容import pandas as pdimport redef del_consective_blanks(txt): return ' '.join(txt.split())some_test0 = 'asd asddd ggg asgg'del_consective_blanks(some_test0)def split_context(txt, key_word_list=None,

说明一些暂未归类但可能有用的函数，FYI.1 使用层次聚类，给定指定聚类数，返回变量名下载数据In [106]: X.head() Out[106]: AMT_ANNUITY_dis_woe ... ...