Java之XMemcached使用及源码详解
前言
本文主要讲述如何使用XMemcached客户端与Memcached服务端进行交互。通过XMemcached的API调用与Memcached的set/get命令对比及跟踪XMemcached源码,使大家对XMemcached的API有更深层次的理解,能够从底层上去了解其工作原理,从而能在项目中进行一些针对性的接口封闭及优化工作。
是叫Memcache还是Memcached?
网上有种说法是:Memcache是这个项目的名称,而memcached是它服务器端的主程序文件名。我又查了Memcache的官网http://memcached.org/,home页一直引用的是Memcached。姑且不论该叫什么名称合适,在这里统一称呼为Memcached,仅代表我的个人习惯。
Memcached简介
言归正题,Memcached是分布式高性能内存级别的对象缓存系统,并且是开源免费项目。它的所有key-value数据全部放在内存中,这是其高效的一个原因,同时也意味着系统关闭时,全部数据就会丢失。利用Memcached作用缓存系统,可以减少动态网站数据库查询次数,提升网站性能,常作为web2.0网站缓存解决方案。Memcached客户端提供多种语言API支持,像C/C++、Perl、PHP、Java、C#、Ruby等。
Memcached的Java客户端目前有3个
- Memcached Client for Java 比 SpyMemcached更稳定、更早、更广泛;
- SpyMemcached 比 Memcached Client for Java更高效;
- XMemcached 比 SpyMemcache并发效果更好;
前两个客户端的使用,这里不做详述。
分三部分讲解XMemcached客户端
- XMemcached客户端使用演示
- set/get方法源码追踪
- 对比Memcached的set/get命令
一、XMemcached客户端使用演示
本人是用Maven构建的项目,为了使用XMemcached,需要在pom.xml中加入
<dependency> <groupId>com.googlecode.xmemcached</groupId> <artifactId>xmemcached</artifactId> <version>1.4.3</version> </dependency>
XMemcached使用示例Demo如下
public static void main(String[] args) throws IOException { MemcachedClientBuilder builder = new XMemcachedClientBuilder(AddrUtil.getAddresses("127.0.0.1:11211")); MemcachedClient memcachedClient = builder.build(); try { memcachedClient.set("key", 0, "Hello World!"); String value = memcachedClient.get("key"); System.out.println("key值:" + value); } catch (Exception e) { e.printStackTrace(); } try { memcachedClient.shutdown(); } catch (IOException e) { e.printStackTrace(); } }
接下来详细追踪下这两个方法的源码
二、set/get方法源码追踪
1.set
大家可以用过debug模式,一步步追踪set及get过程,具体过程不演示了,先直接列出set方法大概的源码调用过程如下(中间可能省略了某些方法调用)
XMemcachedClient.set() XMemcachedClient.sendCommand() MemcachedConnector.send() AbstractSession.write() MemcachedTCPSession.wrapMessage() TextStoreCommand.encode() TextStoreCommand.encodeValue() SerializingTranscoder.encode() BaseSerializingTranscoder.serialize()
先是调用XMemcacheClient.set(final String key, final int exp, final Object value)方法,key形参对应字符串“key”,exp形参对应整数0(表达缓存永不过期),value形参对应字符串“Hello World!”。经过上述一系列方法调用,最终调用到SerializingTranscoder.encode(Object o)方法,此时形参o接收到的实参值就是set的字符串“Hello World!”,该方法体代码如下:
public final CachedData encode(Object o) { byte[] b = null; int flags = 0; if (o instanceof String) { b = encodeString((String) o); } else if (o instanceof Long) { if (this.primitiveAsString) { b = encodeString(o.toString()); } else { b = this.transcoderUtils.encodeLong((Long) o); } flags |= SPECIAL_LONG; } else if (o instanceof Integer) { if (this.primitiveAsString) { b = encodeString(o.toString()); } else { b = this.transcoderUtils.encodeInt((Integer) o); } flags |= SPECIAL_INT; } else if (o instanceof Boolean) { if (this.primitiveAsString) { b = encodeString(o.toString()); } else { b = this.transcoderUtils.encodeBoolean((Boolean) o); } flags |= SPECIAL_BOOLEAN; } else if (o instanceof Date) { b = this.transcoderUtils.encodeLong(((Date) o).getTime()); flags |= SPECIAL_DATE; } else if (o instanceof Byte) { if (this.primitiveAsString) { b = encodeString(o.toString()); } else { b = this.transcoderUtils.encodeByte((Byte) o); } flags |= SPECIAL_BYTE; } else if (o instanceof Float) { if (this.primitiveAsString) { b = encodeString(o.toString()); } else { b = this.transcoderUtils.encodeInt(Float .floatToRawIntBits((Float) o)); } flags |= SPECIAL_FLOAT; } else if (o instanceof Double) { if (this.primitiveAsString) { b = encodeString(o.toString()); } else { b = this.transcoderUtils.encodeLong(Double .doubleToRawLongBits((Double) o)); } flags |= SPECIAL_DOUBLE; } else if (o instanceof byte[]) { b = (byte[]) o; flags |= SPECIAL_BYTEARRAY; } else { b = serialize(o); flags |= SERIALIZED; } assert b != null; if (this.primitiveAsString) { // It is not be SERIALIZED,so change it to string type if ((flags & SERIALIZED) == 0) { flags = 0; } } if (b.length > this.compressionThreshold) { byte[] compressed = compress(b); if (compressed.length < b.length) { if (log.isDebugEnabled()) { log.debug("Compressed " + o.getClass().getName() + " from " + b.length + " to " + compressed.length); } b = compressed; flags |= COMPRESSED; } else { if (log.isDebugEnabled()) { log.debug("Compression increased the size of " + o.getClass().getName() + " from " + b.length + " to " + compressed.length); } } } return new CachedData(flags, b, this.maxSize, -1); }
先是申明了局部变量b(用来存储需要放入memcached服务器的字节数组)及flags(用来存储标志信息)。然后依次判断对象o是否字符串类型、长整型类型等,并将对象o编码成相应的字节数组存放在局部变量b中。
特别注意第57行,当o的类型不是字符串、基本类型的包装类型及byte[]数组时,会调用BaseSerializingTranscoder.serialize()方法,该方法源代码如下:
protected byte[] serialize(Object o) { if (o == null) { throw new NullPointerException("Can't serialize null"); } byte[] rv = null; try { ByteArrayOutputStream bos = new ByteArrayOutputStream(); ObjectOutputStream os = new ObjectOutputStream(bos); os.writeObject(o); os.close(); bos.close(); rv = bos.toByteArray(); } catch (IOException e) { throw new IllegalArgumentException("Non-serializable object", e); } return rv; }
很明显,该方法就是进行对象序列化,将Java对象转化成byte数组并返回。相信大家看到这里,应该明白了为什么自定义对象需要实现Serializable接口才能保存进Memcached中。如果数据对象没有实现Serializable接口,那么在进行对象序列化时,将会抛出IOException,最终抛出IllegalArgumentException,并提示Non-serializable object。
另着重说明下CachedData类的作用,该类封装了cas值(该值用来实现原子更新,即客户端每次发出更新请求时,请求信息中都会附带该cas值,memcached服务端在收到请求后,会将该cas值与服务器中存储数据的cas值对比,如果相等,则用新的数据覆盖老的数据;否则,更新失败。在并发环境下特别有用)、data数据(即要缓存的数据值或者获取到的缓存数据,以byte[]数组形式存储),flag信息(标识byte[]数组额外数据类型信息及byte[]数组是否进行过压缩等信息,用一个int类型存储)及其它信息。
set源码分析到这里,下面说下get源码。
2.get
同样的,先列出get方法大概的源码调用过程如下:
XMemcachedClient.get() XMemcachedClient.fetch0() XMemcachedClient.sendCommand() MemcachedConnector.send() AbstractSession.write() MemcachedTCPSession.wrapMessage() TextGetCommand.encode() SerializingTranscoder.decode() SerializingTranscoder.decode0() BaseSerializingTranscoder.deserialize()
先是调用XMemcacheClient.get(final String key)方法,key形参对应字符串“key"。从该方法一直到TextGetCommand.encode()调用,可以看作是组装get命令并发送到服务器过程,在收到服务器响应消息后,将响应消息组装成CachedData,并调用SerializingTranscoder.decode(CachedData d)方法,即进行字节流解码工作。该方法代码如下:
public final Object decode(CachedData d) { byte[] data = d.getData(); int flags = d.getFlag(); if ((flags & COMPRESSED) != 0) { data = decompress(d.getData()); } flags = flags & SPECIAL_MASK; return decode0(d,data, flags); }
先是获取字节数组及标志信息,根据标志位决定是否要解压缩字节数组。最后调用decode0(CachedData cachedData,byte[] data, int flags)方法,代码如下:
protected final Object decode0(CachedData cachedData,byte[] data, int flags) { Object rv = null; if ((cachedData.getFlag() & SERIALIZED) != 0 && data != null) { rv = deserialize(data); } else { if (this.primitiveAsString) { if (flags == 0) { return decodeString(data); } } if (flags != 0 && data != null) { switch (flags) { case SPECIAL_BOOLEAN: rv = Boolean.valueOf(this.transcoderUtils .decodeBoolean(data)); break; case SPECIAL_INT: rv = Integer.valueOf(this.transcoderUtils.decodeInt(data)); break; case SPECIAL_LONG: rv = Long.valueOf(this.transcoderUtils.decodeLong(data)); break; case SPECIAL_BYTE: rv = Byte.valueOf(this.transcoderUtils.decodeByte(data)); break; case SPECIAL_FLOAT: rv = new Float(Float.intBitsToFloat(this.transcoderUtils .decodeInt(data))); break; case SPECIAL_DOUBLE: rv = new Double(Double .longBitsToDouble(this.transcoderUtils .decodeLong(data))); break; case SPECIAL_DATE: rv = new Date(this.transcoderUtils.decodeLong(data)); break; case SPECIAL_BYTEARRAY: rv = data; break; default: log .warn(String.format("Undecodeable with flags %x", flags)); } } else { rv = decodeString(data); } } return rv; }
上面方法实际上就是encode(Object o)方法的逆向实现,即将字节数组转化成Object对象。注意第4行调用了deserialize(byte[] in)方法,该方法代码如下(省略了catch、finally部分):
protected Object deserialize(byte[] in) { Object rv = null; ByteArrayInputStream bis = null; ObjectInputStream is = null; try { if (in != null) { bis = new ByteArrayInputStream(in); is = new ObjectInputStream(bis) { @Override protected Class<?> resolveClass(ObjectStreamClass desc) throws IOException, ClassNotFoundException { try { //When class is not found,try to load it from context class loader. return super.resolveClass(desc); } catch (ClassNotFoundException e) { return Thread.currentThread().getContextClassLoader().loadClass(desc.getName()); } } }; rv = is.readObject(); } } ... return rv; }
上述代码就是反序列化对象并返回。每次反序列化操作,得到的都是一个全新对象,对该新对象进行的任何操作并不会影响memcached中存储的值。