Apache Avro简介与操作_avro-1.8.1.jar下载-CSDN博客

本文链接：https://blog.csdn.net/xu__cg/article/details/60873331

Apache Avro是一个数据序列化系统，提供丰富的数据结构、紧凑快速的二进制格式、文件存储和RPC系统。它依赖于JSON格式的schemas，允许跨语言交互和数据持久化。在使用Avro时，需要下载相关JAR包，创建schema文件，然后可以进行代码生成或不生成代码的序列化/反序列化操作。与其他序列化系统相比，Avro的特点包括动态类型和无标签数据，简化了处理数据的流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文根据Apache Avro官方文档所写，http://avro.apache.org/docs/current/index.html.

一、Avro简介

avro是一个数据序列化系统
提供了：

丰富的数据结构
紧凑的，快速的，二进制的数据格式
一种文件格式，用于存储持久化数据
远程过程调用系统（RPC）
和动态语言的简单交互。并不需要为数据文件读写产生代码，也不需要使用或实现RPC协议。代码生成是一种优化方式，但是只对于静态语言有意义。

二、Schemas

所谓shemas，就是一种描述文件，能够说清楚你的对象的描述文件。可能有你对象里面有什么，他们之间的逻辑关系，数据的统计信息。比如说对人的描述包括身高、体重、三维、性别等，只要他的格式确定，就可以叫做shemas。

Avro也是依赖于schemas的（为了夸语言，也为了持久化，总要有二进制数据解析的指导）。当读取Avro数据的时候需要使用到schemas，当写数据的时候也需要有schema的指导。这样就允许了每个数据都没有前缀开销（因为可以用schema来理解数据），这就会使得序列化很快而且数据会比较小。

当把Avro数据存储到文件的时候，会把他的schema数据一起存储，这样数据就可以被接下来的任意程序使用了。如果程序希望用其他的schema来读取数据，是很简单的，因为你可以同个比较两个schema来看能不能读取数据

当Avro用于RPC的时候，客户端和服务端可以在连接握手的阶段进行schema交换。（这种方式是可以被优化的，因为对于很多schema来说，是没有schema的交换的）由于两边都有对方完整的schema存在了，所有可以比较出同名域、缺少的域、多余的域。

avro的schema是用json定义的。这样有json包的语言就会比较容易实现了。

三、Avro的使用

1.下载相关JAR包

avro-1.8.1.jar （下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/avro/avro-1.8.1/java/）
avro-tools-1.8.1.jar
jackson-core-asl-1.9.13.jar（下载链接：）
jackson-mapper-asl-1.9.13.jar
下载后将avro-1.8.1.jar and 和 Jackson jars 放到项目的类路径下 (avro-tools.jar 将被用于代码生成).

2.创建schema文件user.avsc
文件为Json格式：

{"namespace": "example.avro",
 "type": "record",
 "name": "User",
 "fields": [
     {"