Java agent简单介绍

近期计划做一个自动化回归测试的工具，大体实现的功能如下：

  1. 从测试环境抓取相关的日志、输入输出报文；
  2. 根据日志或报文来构造这个测试场景需要的数据，可以采用从数据库中抓取数据或从日志中解析数据；
  3. 根据输入输出报文来配置调用外部服务的挡板，挡板会负责校验输入项，并返回相应的输出；
  4. 将上述信息装配后，生成对应的测试案例。这个测试案例相当于我们应用自身的组件组装测试，可以用于回归我们自身的代码功能。

可以看出上面的测试主要为了还原测试环境的测试场景，通过使数据库、输入输出报文和测试环境完全一致来达到回归的目的。当然具体实现上还是有很多细节可以考虑的。目前考虑到的一个重要的问题就是时间的可重复性，很多测试案例都是依赖于特定的时间的，节假日、营业时间、夏令时等等，而每个测试案例自身对时间的需求又各异。这个问题是必须要解决的，其中一个方案是修改现有的代码，改为使用可测试性的时间类，例如springside的org.springside.modules.utils.time.ClockUtil类；另一个方案是本文要介绍的，使用java agent的方式对应用的字节码进行修改，使其中的时间具有可测试性，这种方案的好处是无需修改应用代码，做到应用透明。

具体java agent的详细使用可以参考1 2，这种技术在很多优秀工具中都有使用，比如Jmockit、JaCoCo、JRebel等场景下都有使用。

具体实现代码包括如下几部分： ## 1.代理类的main类

//file-name:FtmAgent.java
package com.zyh.ftmagent;

import java.lang.instrument.Instrumentation;
import java.lang.instrument.UnmodifiableClassException;

public class FtmAgent {
    public static void premain(String agentArgs, Instrumentation inst)
            throws ClassNotFoundException, UnmodifiableClassException{
            inst.addTransformer(new TimeTransformer());
        }
}

2.字节码转换类

这里的处理分为两部分，一个是找到需要加工的类的方法；另一个是对这些方法进行修改，将其中的调用一般方法和new形式的字节码进行修改。字节码修改部分采用Javassist3来编写，它相对于其他工具如ASM更加易用，相关教程可以参考Javassist Tutorial。

//file-name:TimeTransformer.java
package com.zyh.ftmagent;

import java.lang.instrument.ClassFileTransformer;
import java.lang.instrument.IllegalClassFormatException;
import java.security.ProtectionDomain;

import javassist.CannotCompileException;
import javassist.ClassPool;
import javassist.CtBehavior;
import javassist.CtClass;
import javassist.NotFoundException;
import javassist.expr.ExprEditor;
import javassist.expr.MethodCall;
import javassist.expr.NewExpr;

public class TimeTransformer implements ClassFileTransformer {

    public byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined,
            ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException {
        // 仅对于com.zyh.test包下的类进行替换
        if (className.startsWith("com/zyh/test")) {
            byte[] transformed = null;
            System.out.println("Transforming " + className);
            ClassPool pool = ClassPool.getDefault();
            CtClass cl = null;
            try {
                cl = pool.makeClass(new java.io.ByteArrayInputStream(classfileBuffer));
                if (cl.isInterface() == false) {
                    CtBehavior[] methods = cl.getDeclaredBehaviors();
                    for (int i = 0; i < methods.length; i++) {
                        if (methods[i].isEmpty() == false) {
                            doMethod(methods[i]);
                        }
                    }
                    transformed = cl.toBytecode();
                }
            } catch (Exception e) {
                System.err.println("Could not instrument    " + className + ",    exception : " + e.getMessage());
            } finally {
                if (cl != null) {
                    cl.detach();
                }
            }
            return transformed;
        }
        return null;
    }

    private void doMethod(CtBehavior method) throws NotFoundException, CannotCompileException {
        // 修改方法体的定义
        method.instrument(new ExprEditor() {

            // 修改一般的方法调用语句
            public void edit(MethodCall m) throws CannotCompileException {
                try {
                    if (m.getClassName().equals("java.lang.System")) {
                        if (m.getMethodName().equals("nanoTime")) {
                            m.replace("{long rslt = com.zyh.ftmagent.MySystemTime#nanoTime(); $_ = ($r)rslt; }");
                        } else if (m.getMethodName().equals("currentTimeMillis")) {
                            m.replace(
                                    "{long rslt = com.zyh.ftmagent.MySystemTime#currentTimeMillis(); $_ = ($r)rslt; }");
                        }
                    }
                } catch (Exception ex) {
                    ex.printStackTrace();
                    throw new RuntimeException(ex);
                }
            }

            // 修改new Date()这种格式的代码，替换其中的class类
            public void edit(NewExpr e) throws CannotCompileException {
                try {
                    if (e.getClassName().equals("java.util.Date")) {
                        e.replace("{$_ = new com.zyh.ftmagent.MyDate();}");
                    }
                } catch (Exception ex) {
                    ex.printStackTrace();
                    throw new RuntimeException(ex);
                }
            }
        });
    }
}

3.自定义的日期类

包括两个类，具体如下：

  • MyDate：对默认Date类进行了扩展，实现根据MysystemTime获取的当前时间进行构造Date类。
  • MySystemTime： 实现了currentTimeMillis、nanoTime方法，会根据最初设置的当前时间间隔进行设置。为了保证线程安全，这里使用了ThreadLocal类，可以在程序中的公共部分调用setTimeDiff方法对时间进行重新定义。
//file-name: MyDate.java
package com.zyh.ftmagent;

import java.util.Date;

public class MyDate extends Date {
    private static final long serialVersionUID = 1L;

    public MyDate(){
        super(MySystemTime.currentTimeMillis());
    }
}

//file-name:MySystemTime.java
package com.zyh.ftmagent;

public class MySystemTime {
    //默认为当前时间
    private static final Long INIT_VALUE = 0l;

    private static ThreadLocal<Long> timeDiff = new ThreadLocal<Long>() {
        @Override
        protected Long initialValue() {
            return INIT_VALUE;
        }
    };

    public static long currentTimeMillis() {
        return System.currentTimeMillis() - timeDiff.get();
    }

    public static long nanoTime() {
        return System.nanoTime() - timeDiff.get() * 1000;
    }

    /**
     * 设置距离当前的时间，为正表示后退多少ms
     * 
     * @param diff
     */
    public static void setTimeDiff(long diff) {
        timeDiff.set(diff);
    }
}

4.MANIFEST.MF文件

其中的Premain-Class为FtmAgent的主类，在代码编译好后需要把上述的所有代码打成jar包（例如包名为ftm-agent.jar），以备使用。

Manifest-Version: 1.0
Premain-Class: com.zyh.ftmagent.FtmAgent
Boot-Class-Path: javassist-3.22.0-CR1.jar

测试及其他

测试类需要在com.zyh.test包下，测试前需要执行MySystemTime.setTimeDiff来将时钟进行回拨。如在eclipse中测试需要在vm的参数中增加 -javaagent=ftm-agent.jar，然后执行测试的main函数即可。完整的代码见FtmAgent-Gist。

参考资料：

  1. java.lang.instrument API ↩

  2. How-to guide to writing a javaagent ↩

  3. Javassist Tutorial ↩

文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《ITechLib》

Java测试那点事

最近公司在整顿大家的单元测试，会定期出coverage报告。我个人还是挺支持这事的，一方面能培养大家的开发习惯，也能提升代码质量（如果不考核就更好了，哈哈）。现在公司使用的是Spring框架，大家现在所说的单元测试其实更应该算是集成测试，因为很多人会测试交易报文的正确性、整个交易的执行正确性、数据库操作的正确性。

在测试过程中发现很多我以前没在意的问题，也让我对代码测试有了更深的理解。下面简要介绍一下：

1. Spring Bean中使用static变量：

使用Spring的初衷是使用它的IOC特性，能够装配出想要的bean，这些类只需要是普通的POJO对象就可以了，但是有些人却使用static类型来保存数据，更可气的是不支持多次加载（会判断如果static变量中有值时就报错），这样就把Spring的优点消失殆尽了。其实这样只是为了可以直接使用静态函数访问这个类。

这样做的缺点是显而易见的，在连续执行多个测试案例（suite）时，如果Spring需要重新加载（见我上一篇文章），则会报错，因为不支持多次加载。解决方法目前想到的只能使用ant通过fork出一个新的jvm的方式来进行测试。或者使用Powermock工具通过单独的classloader加载，但这样会导致Spring context不能复用、找不到某些类如log4j等、代码覆盖度报告无显示等很多其他问题。

2. 使用final、static等不可测试的方法：

普通的Mock方式一般是针对接口，或是通过继承来修改一个类的方法，如果遇到这些方法，想要进行单元测试，一般的Mock工具都不好使。但如果为了测试而修改代码风险又很大，好在现在发现一个好用的工具Jmockit，它可以解决上述不可测代码的问题。它是通过java.lang.instrument包结合ASM字节码工具来实现的，具体可以参考此博文。我原来是使用Powermock来做的，它是通过自己的Classloader在类加载时进行修改来实现的，相比之下Jmockit要更直接一些，功能也更加强大。

[注]: Jmockit官网的教程是最新的，如果要看历史版本的文档可以在这里下载,里面包括源码和文档。

3.测试覆盖度报告工具使用

目前有很多测试覆盖度工具，包括cobertura、jacoco、Jmockit code coverage。其中eclispe的代码覆盖度工具EclEmma使用的就是jacoco。每个代码覆盖度工具提供的覆盖度报告是不同的，包括行覆盖度、分支覆盖度等等，具体大家可以参考它们的文档。下面说下使用不同工具应该关注的点：

  1. 是否支持maven、ant工具，是否可以支持多个工程报告合并
  2. 你使用的mock方法和这些代码覆盖度工具是否兼容
  3. 能提供的报告内容是否满足你的需要，你是否认可它的指标
  4. 生成覆盖度报告的样式你是否满意

测试覆盖度工具、Mock工具建议大家了解一下它们的原理，可以在网上搜以下。这样大家在使用时可以更得心应手。

文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《ITechLib》

Spring Test的一些小技巧

目前项目在使用Spring Test进行单元测试（其实算是集成测试了），有两个小知识想和大家分享下。

1.对于同时存在注解、xml配置的bean会以xml中的配置为准

例如spring配置文件如下：

    <!-- application.xml -->
    <context:component-scan base-package="com.itechlib.com.service" />
    
    <!-- 在测试目录下定义stub类 -->
    <bean id="userDao" class="com.itechlib.com.test.stub.UserDaoStubServiceImpl" />

Java代码如下：

@component("userService")
class UserServiceImpl implements IUserService {

@Resource(name="userDao")
private IUserDao userDao;

  public void doUpdate(){
    //...
    userDao.update();
    //...
  }
}

这样在测试时UserServiceImpl调用的就是stub包下定义的userDao的模拟类了。

2.同时运行多个测试类的时候，可以有不同的ContextConfiguration配置

例如使用Junit TestSuite来一次执行多个测试类，这时如果不同测试类的ContextConfiguration配置不一样会怎么样呢？其实这些测试类都能够正确运行，因为spring会针对不同的configuration创建不同的ApplicationContext，而且这些ApplicationContext都会进行缓存，只会加载一次。

下面这些key不同就会生成不同的ApplicationContext，具体见spring reference 文档 Context caching。

  • locations (from @ContextConfiguration)
  • classes (from @ContextConfiguration)
  • contextInitializerClasses (from @ContextConfiguration)
  • contextLoader (from @ContextConfiguration)
  • activeProfiles (from @ActiveProfiles)
  • resourceBasePath (from @WebAppConfiguration)

如果测试中破坏了ApplicationContext，可以对这个测试类声明@DirtiesContext。

例如下面的写法会生成两个独立的ApplicationContext。

@ContextConfiguration(loader = SpringBeanTestContextLoader.class, locations = {
    "classpath:test-resources/application/application.xml"})
class UserServiceTests extends AbstractJunit4SpringContextTests{
    @Test
    public void testUpdate(){
    //...    
    }
}

@ContextConfiguration(loader = SpringBeanTestContextLoader.class, locations = {
    "classpath:test-resources/application/application-custom.xml"})
class OrderServiceTests extends AbstractJunit4SpringContextTests{
    @Test
    public void testAdd(){
    //...    
    }
}

了解这些你可以更好的规划你的测试配置，更好地测试各种场景和分支。

文章未经特殊标明皆为本人原创，未经许可不得用于任何商业用途，转载请保持完整性并注明来源链接 《ITechLib》

不积跬步，无以至千里；不积小流，无以成江海。

荀子《劝学篇》

页面

分类

友情链接

  1. GitHub
  2. Ruby On Rails
  3. Bootstrap