#data-serialization
序列化在任何分布式应用程序的性能中起着重要作用。将对象序列化或消耗大量字节的速度慢的格式将大大减慢计算速度。通常，这将是您应该优化Spark应用程序的第一件事。Spark旨在在便利性（允许您使用操作中的任何Java类型）和性能之间取得平衡。它提供了两个序列化库：
Java序列化：默认情况下，Spark使用Java ObjectOutputStream框架序列化对象，并且可以与您创建的任何类一起使用java.io.Serializable。您还可以通过扩展来更紧密地控制序列化的性能 java.io.Externalizable。Java序列化是灵活的，但通常很慢，并导致许多类的大型序列化格式。
Kryo序列化：Spark还可以使用Kryo库（版本2）更快地序列化对象。Kryo比Java序列化（通常高达10倍）显着更快，更紧凑，但不支持所有Serializable类型，并且需要您提前注册您将在程序中使用的类以获得最佳性能。
1.2、Serializable方案Serializable方案：你的对象必须继承Serializable接口，类中的属性如果有实例那也必须是继承Serializable 可序列化的。
无法序列化：用transient修饰的。java是在修饰属性的最前面使用transient关键字，scala是在修饰属性的最前面使用@transient
transient的作用是在Serializable序列化的时候，声明某个属性不参与序列化，带来的问题就是如果声明了不参与序列化，那这个属性存储的数据也带不过去了。
1.3、kryo方案能用于广播变量和shuffle数据传输时候的序列化，外部变量和算子中的代码必须用Serializable
设置spark的全序列化：conf.set("spark.serializer", classOf[KryoSerializer].getName)
这时spark的全局序列化工具就变成了KryoSerializer而不是默认的Serializable方案了
当不设置conf.set("spark.kryo.registrationRequired","true")时，spark的所有对象都默认使用KryoSerializer序列化
当设置了conf.set("spark.kryo.registrationRequired","true")时，spark中自定义的类想被KryoSerializer序列化的对象必须得进行注册。
val classes: Array[Class[_]] = Array[Class[_]](classOf[ORCUtil],classOf[StructObjectInspector],classOf[OrcStruct]) //classOf[OrcStruct] OrcStruct:注册的类 conf.set("spark.serializer", classOf[KryoSerializer].getName) conf.set("spark.kryo.registrationRequired","true") conf.registerKryoClasses(classes)