阿丹的博客

在项目场景中涉及到数据二次加工。需要将单个对象数据转为按照规定的数据字典的转换。以及需要转换数据结构。从对象转换为按照规定的值和规则的数组。因为要写入csv文件，涉及到文件的输出流。之前讨论针对的解决方案：1、分页2、流式数据读取加工。

在项目中可能要使用到几个数据源，所以本文章解决一个项目中多个数据源的方式。使用简单的配置和注解来实现。适用于在确定的数据源的场景下。

之前写百万以及千万的导出数据的时候，对于将数据写道csv文件并压缩这里没有什么大问题了，但是出现了其他问题为：1、我们需要将数据从数据库中拿出来，并且在进行装配的时候出现了一些问题。2、对于整体内存安全来说，如果直接将数据从数据库中拿出来百万级别以上的数据对于内存是非常不友好的。当问题出现比较大的时候会直接触发GC，造成瘫痪。目前开发以及项目测试的是更多的使用ｍｙｂａｔｉｓ来进行开发的，所以本文章讨论以及解决的的就是如何使用ｍｙｂａｉｔｓ来解决流式查询并单条处理的问题。