//5
for (int i = 0; i < 30; i++) {
key.set(100-i);
value.set(data[i%data.length]);
writer.append(key, value);
}
//6、关闭流
IOUtils.closeStream(writer);
}
public static void read(FileSystem fs,Configuration configuration,Path path) throws IOException {
//4
@SuppressWarnings("deprecation")
SequenceFile.Reader reader = new SequenceFile.Reader(fs, path,configuration);
//5
Writable key = (Writable) ReflectionUtils.newInstance
(reader.getKeyClass(), configuration);
Writable value = (Writable) ReflectionUtils.newInstance
(reader.getValueClass(), configuration);
while(reader.next(key,value)){
System.out.println("key = " + key);
System.out.println("value = " + value);
System.out.println("position = "+ reader.getPosition());
}
IOUtils.closeStream(reader);
}
}
运行结果：
key = 100
value = apache,software
position = 164
key = 99
value = chinese,good
position = 197
key = 98
value = james,NBA
position = 227
key = 97
value = index,pass
position = 258
key = 96
value = apache,software
position = 294
key = 95
value = chinese,good
position = 327
......
key = 72
value = apache,software
position = 1074
key = 71
value = chinese,good
position = 11071
MapFile
public class MapFile {
/** The name of the index file. */
public static final String INDEX_FILE_NAME = "index";
/** The name of the data file. */
public static final String DATA_FILE_NAME = "data";
}
MapFile是经过排序的索引的SequenceFile，可以根据key进行查找。
与SequenceFile不同的是， MapFile的Key一定要实现WritableComparable接口 ,即Key值是可比较的，而value是Writable类型的。
可以使用MapFile.fix()方法来重建索引，把SequenceFile转换成MapFile。
它有两个静态成员变量：
static final String INDEX_FILE_NAME
static final String DATA_FILE_NAME
通过观察其目录结构可以看到MapFile由两部分组成，分别是data和index。
index作为文件的数据索引，主要记录了每个Record的key值，以及该Record在文件中的偏移位置。
在MapFile被访问的时候，索引文件会被加载到内存，通过索引映射关系可迅速定位到指定Record所在文件位置。
因此，相对SequenceFile而言， MapFile的检索效率是高效的，缺点是会消耗一部分内存来存储index数据。
需注意的是， MapFile并不会把所有Record都记录到index中去，默认情况下每隔128条记录存储一个索引映射。当然，记录间隔可人为修改，通过MapFIle.Writer的setIndexInterval()方法，或修改io.map.index.interval属性；
读写MapFile
写过程：
1）创建Configuration
2）获取FileSystem
3）创建文件输出路径Path
4）new一个MapFile.Writer对象
5）调用MapFile.Writer.append追加写入文件
6）关闭流
读过程：
1）创建Configuration
2）获取FileSystem
3）创建文件输出路径Path
4）new一个MapFile.Reader进行读取
5）得到keyClass和valueClass
6）关闭流
具体操作与SequenceFile相似。
命令行查看二进制文件
hdfs dfs -text /liguodong/tmp.seq