目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:465.2k

收藏
全部开发者教程

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(261)
赞(0)

4.4 如何使用Hadoop的序列化和反序列化

hadoop为基本的数据类型提供的对应的序列化和反序列化功能的类。如下图所示:

Java类型Hadoop Writable类型
ByteByteWritable
IntIntWritable
LongLongWritable
FloatFloatWritable
DoubleDoubleWritable
BooleanBooleanWritable
StringText
MapMapWritable
ArrayArrayWritable
NullNullWritable

有些时候这些基本的类不能满足我们的开发需求,需要自定义类,那么这些自定义的类如何实现序列化和反序列化呢?

具体实现的步骤如下:

  1. 实现Writable接口

  2. 预置一个空的构造函数,这是因为在发序列化时会被调用的

  3. 重写序列化的方法

  4. 重写反序列化的方法

    顺序一定要保持一致,先序列化的谁,一定要先反序列化谁。

  5. 重写类的toString()方法

  6. 如果该类需要作为Mapper的key中使用,还需要实现Comparable接口,这是因为Shuffle过程中需要对Mapper的key做排序。

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2