Hadoop中如何正确编写继承自Writable接口的子类

Hadoop中可以编写自己的类,用作hadoop job的key或者value类型,自己编写的类要实现接口Writable。

我编写了一个HttpContent类,主要用于保存爬取网页的源码,返回状态和编码格式信息,他在mapper中别实例化保存网页内容,然后传输到reducer中被使用,在编写中遇到了一些问题:

(1)首先是没有编写默认的构造函数类,因为java中的反馈机制需要一个参数为空的默认构造函数,如果没有这个类就不能利用反馈机制实例化这个类。

(2)然后是类型在序列化的时候写入后读取值不正确,一定要统一类型中write(DataOutput out)和readFields(DataInput in)中写入和读取参数的方法,例如一个int类型如果你在write()中使用writeInt写出,在readFields()中就应该使用readInt()读入,否则读取的值是不正确的。多个值写出读入的时候,写出读入的顺序要保持一致的,否则读取也是不正确的。

(3)Writable中用于写出的DataOutput类型没有针对String类型的序列化方法,需要先将String类型转换成为Byte数组类型,然后在进行序列化。

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

下面是HttpContent的类型的源码,重点是write(DataOutput out)和readFields(DataInput in)方法:

package bbs.http;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.io.UnsupportedEncodingException;

import org.apache.hadoop.io.Writable;

/**
 *
 */
public class HttpContent implements Writable{


 private byte[] content;
 
 private int status;
 
 private String encoding;

public HttpContent(){
 }
 
 public HttpContent(byte[] content, int status, String encoding) {
  this.content = content;
  this.status = status;
  if (encoding == null)
   this.encoding = "GBK";
  else
   this.encoding = encoding;

}

public byte[] getByte() {
  return this.content;
 }

public String getData() {
  String data =null;
  try {
   if(content==null){
    //System.out.println("content涓簄ull:"+getStatus());
   
    return null;
   }
   data = new String(content, encoding);
   
  } catch (UnsupportedEncodingException e) {
   e.printStackTrace();
  }
  return data;
 }

public int getStatus() {
  return this.status;
 }

public String getEncoding() {
  return encoding;
 }

@Override
 public String toString() {
  return "Content: " + getData() + "\n" + "status: " + status + "\n"
    + "encoding: " + encoding + "\n";
 }

@Override
 public void readFields(DataInput in) throws IOException {
  int size=in.readInt();
//  System.out.println("HttpContent readFields: size="+size);
  if(size>0){
   content=new byte[size];
   in.readFully(this.content);
  }else{
   content=null;
  }
 
  this.status=in.readInt();
//  System.out.println("status="+status);
  int encodeSize=in.readInt();
  byte[] encodeBytes=new byte[encodeSize];
  in.readFully(encodeBytes);
  this.encoding=new String(encodeBytes,"GBK");
//  System.out.println("encoding="+this.encoding);
 
 }

@Override
 public void write(DataOutput out) throws IOException {
  if(content==null){
   out.writeInt(0);
  }else{
//   System.out.println("HttpContent write(): content.length="+content.length);
   out.writeInt(content.length);
   out.write(content);
  }
//  System.out.println("Status="+status);
  out.writeInt(status);
//  System.out.println("encoding="+encoding);
  byte[] temp=encoding.getBytes("GBK");
  out.writeInt(temp.length);
  out.write(temp);
//  out.writeBytes(encoding);
 
 }
}

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/8b58d1ef18198c57ca164fad13644e4e.html