Hadoop Herriot测试框架之旅

Herriot测试框架是Hadoop-0.21.0及以后版本中新加入的测试框架,它的出现主要是为了尽可能地模拟真实的大规模分布式系统,并且对该系统实现自动化测试。和Hadoop以前的测试框架MiniDFSCluster类似,Herriot也采用了JUnit框架,此外,Herriot还引入了面向切面编程(AOP)技术-AspectJ,实现了代码注入和错误注入,丰富了测试的内容。

Hadoop Herriot测试框架之旅

上图是采用Herriot框架对Hadoop集群进行测试的典型场景,可以看到:与早期的MiniDFSCluster测试框架不同,Herriot框架中每个节点(NameNode、JobTracker、DataNode和TaskTracker)都在一个单独的JVM进程中,这与真实的Hadoop集群是一致的;测试机通过本地的Herriot包来远程调用注入在目标节点内的Herriot代码。

为了测试Java系统,我们需要将一些与测试有关的代码注入到被测试的Java系统中,通常有三种方式:一、直接在代码中加入测试的代码,然后编译成class字节码,这种方式比较简单,但是测试代码污染了原有代码,并且会埋下安全隐患;二、代码编译为class字节码以后,通过修改class字节码的方式来添加测试方法,即生成新的class文件(通常叫做instrumented class),这种实现比第一种方式复杂一些,但是不污染原有代码,但用于测试的字节码和原有代码生成的class字节码不是同一份;三、通过修改JVM来添加测试功能,这种方式最复杂,但是不会影响代码和字节码。Herriot用到的AOP技术属于第二种,即通过修改字节码的方式实现测试功能的注入。

linux

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/pppdd.html