[Java]_[初级]_[使用fastjson以流的方式读取json大文件]

场景

  1. 开发JSON应用时,有时候需要从JSON文件里读取配置数据到内存。当JSON文件足够大时,如果先把文件读入内存再进行parse会浪费不必要的大文件连续内存。甚至可能会导致OOM, 这时候如果能像XML文件那样可以以流的方式读取结构化JSON数据,那么会节省很多内存。那么怎么做?

说明

  1. 开发jfinal框架的网站时,标配是fastjson-1.2.83版本,也就是fastjson 1的最高版本。如果不是特殊的用法,这个版本是够用且稳定的。

  2. JSON文件是UTF-8格式,一般可以用它来做多语言文字存储格式。 常用的可以通过以下方式解析指定的JSON格式。这种方式得先有内存的JSON格式, 这种方式需要预先读取.json文件所有内容到内存。

JSONObject object = JSONObject.parseObject(pageDataStr);
Object object = JSON.parse(pageDataStr);
  1. 还有就是fastjson提供了Stream API JSONReader,来按流的方式读取指定部分json对象,比如对象,数组,字符串,整数等。
JSONReader jr = new JSONReader(Reader)){
jr.startObject();
while(jr.hasNext()){
    String key = jr.readString();
    JSONObject value = (JSONObject) jr.readObject();
   ...
}
jr.endObject();

例子

  1. 以下例子读取文件的json格式并存储在一个大JSONObject里
try(InputStream is = new FileInputStream(file);
    InputStreamReader isr = new InputStreamReader(is, StandardCharsets.UTF_8);
    BufferedReader br = new BufferedReader(isr);
    JSONReader jr = new JSONReader(br)){
    JSONObject object = new JSONObject();
    
    // 明确知道`json`文件是以对象开始存储的。 {"name":"Peter"}
    jr.startObject();
    while(jr.hasNext()){
        String key = jr.readString();
        JSONObject value = (JSONObject) jr.readObject();
        object.put(key,value);
    }
    jr.endObject();
    data.put(localName,object);

    return true;
} catch (FileNotFoundException e) {
    log.error(e.getMessage());
} catch (IOException e) {
    log.error(e.getMessage());
}

json file

{
  "article": {
    "home":"首页",
    "support_center":"支持中心",
    "sales_faqs":"销售常见问题",
    "refund_faqs":"退款常见问题",
    "product_faqs":"产品常见问题",
    "online_tutorials":"在线教程",
    "product_center":"产品中心"
  }
}

参考

  1. FastJson 读取超大json文件引起OOM问题排查与解决

  2. fastjson 1

  3. Quick Start CN · alibaba/fastjson Wiki

  4. 常见问题 · alibaba/fastjson Wiki

  5. Stream api · alibaba/fastjson Wiki

  6. JSON最佳实践

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Peter(阿斯拉达)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值