阿里妹导读：GC一直是Java应用中讨论的一个热门话题，尤其在像HBase这样的大型在线存储系统中，大堆下(百GB)的GC停顿延迟产生的在线实时影响，成为内核和应用开发者的一大痛点。
过去的一年里，我们准备在Ali-HBase上突破这个被普遍认知的痛点，为此进行了深度分析及全面创新的工作，获得了一些比较好的效果。以蚂蚁风控场景为例，HBase的线上youngGC时间从ms减少到15ms，结合阿里巴巴JDK团队提供的利器——AliGC，进一步在实验室压测环境做到了5ms。本文主要介绍我们过去在这方面的一些工作和技术思想。
背景
JVM的GC机制对开发者屏蔽了内存管理的细节，提高了开发效率。说起GC，很多人的第一反应可能是JVM长时间停顿或者FGC导致进程卡死不可服务的情况。但就HBase这样的大数据存储服务而言，JVM带来的GC挑战相当复杂和艰难。原因有三:
1、内存规模巨大。线上HBase进程多数为96G大堆，今年新机型已经上线部分G以上的堆配置
2、对象状态复杂。HBase服务器内部会维护大量的读写cache，达到数十GB的规模。HBase以表格的形式提供有序的服务数据，数据以一定的结构组织起来，这些数据结构产生了过亿级别的对象和引用
3、youngGC频率高。访问压力越大，young区的内存消耗越快，部分繁忙的集群可以达到每秒1~2次youngGC，大的young区可以减少GC频率，但是会带来更大的youngGC停顿，损害业务的实时性需求。
思路
1.HBase作为一个存储系统，使用了大量的内存作为写buffer和读cache，比如96G的大堆（4Gyoung+92Gold）下，写buffer+读cache会占用70%以上的内存(约70G），本身堆内的内存水位会控制在85%，而剩余的占用内存就只有在10G以内了。所以，如果我们能在应用层面自管理好这70G+的内存，那么对于JVM而言，百G大堆的GC压力就会等价于10G小堆的GC压力，并且未来面对更大的堆也不会恶化膨胀。在这个解决思路下，我们线上的youngGC时间获得了从ms到15ms的优化效果。
2.在一个高吞吐的数据密集型服务系统中，大量的临时对象被频繁创建与回收，如何能够针对性管理这些临时对象的分配与回收，AliJDK团队研发了一种新的基于租户的GC算法—AliGC。集团HBase基于这个新的AliGC算法进行改造，我们在实验室中压测的youngGC时间从15ms减少到5ms，这是一个未曾期望的极致效果。
下面将逐一介绍Ali-HBase版本GC优化所使用的关键技术。
消灭一亿个对象：更快更省的CCSMap
目前HBase使用的存储模型是LSMTree模型，写入的数据会在内存中暂存到一定规模后再dump到磁盘上形成文件。
下面我们将其简称为写缓存。写缓存是可查询的，这就要求数据在内存中有序。为了提高并发读写效率，并达成数据有序且支持seekscan的基本要求，SkipList是使用得比较广泛的数据结构。
我们以JDK自带的ConcurrentSkipListMap为例子进行分析，它有下面三个问题:
1.内部对象繁多。每存储一个元素，平均需要4个对象(index+node+key+value，平均层高为1)
2.新插入的对象在young区，老对象在old区。当不断插入元素时，内部的引用关系会频繁发生变化，无论是ParNew算法的CardTable标记，还是G1算法的RSet标记，都有可能触发old区扫描。
3.业务写入的KeyValue元素并不是规整长度的，当它晋升到old区时，可能产生大量的内存碎片。
问题1使得young区GC的对象扫描成本很高，youngGC时晋升对象更多。问题2使得youngGC时需要扫描的old区域会扩大。问题3使得内存碎片化导致的FGC概率升高。当写入的元素较小时，问题会变得更加严重。我们曾对线上的RegionServer进程进行统计，活跃Objects有1亿2千万之多！
分析完当前youngGC的最大敌人后，一个大胆的想法就产生了，既然写缓存的分配，访问，销毁，回收都是由我们来管理的，如果让JVM“看不到”写缓存，我们自己来管理写缓存的生命周期，GC问题自然也就迎刃而解了。
说起让JVM“看不到”，可能很多人想到的是off-heap的解决方案，但是这对写缓存来说没那么简单，因为即使把KeyValue放到offheap，也无法避免问题1和问题2。而1和2也是youngGC的最大困扰。
问题现在被转化成了：如何不使用JVM对象来构建一个有序的支持并发访问的Map。当然我们也不能接受性能损失，因为写入Map的速度和HBase的写吞吐息息相关。需求再次强化：如何不使用对象来构建一个有序的支持并发访问的Map，且不能有性能损失。
为了达成这个目标，我们设计了这样一个数据结构：
·它使用连续的内存(堆内or堆外)，我们通过代码控制内部结构而不是依赖于JVM的对象机制
·在逻辑上也是一个SkipList，支持无锁的并发写入和查询
·控制指针和数据都存放在连续内存中
上图所展示的即是CCSMap(CompactedConcurrentSkipListMap)的内存结构。我们以大块的内存段(Chunk)的方式申请写缓存内存。每个Chunk包含多个Node，每个Node对应一个元素。新插入的元素永远放在已使用内存的末尾。Node内部复杂的结构，存放了Index/Next/Key/Value等维护信息和数据。新插入的元素需要拷贝到Node结构中。当HBase发生写缓存dump时，整个CCSMap的所有Chunk都会被回收。当元素被删除时，我们只是逻辑上把元素从链表里"踢走"，不会把元素实际从内存中收回(当然做实际回收也是有方法，就HBase而言没有那个必要)。
插入KeyValue数据时虽然多了一遍拷贝，但是就绝大多数情况而言，拷贝反而会更快。因为从CCSMap的结构来看，一个Map中的元素的控制节点和KeyValue在内存上是邻近的，利用CPU缓存的效率更高，seek会更快。对于SkipList来说，写速度其实是bound在seek速度上的，实际拷贝产生的overhead远不如seek的开销。根据我们的测试，CCSMap和JDK自带的ConcurrentSkipListMap相比，50Byte长度KV的测试中，读写吞吐提升了20~30%。
由于没有了JVM对象，每个JVM对象至少占用16Byte空间也可以被节省掉(8byte为标记预留，8byte为类型指针)。还是以50Byte长度KeyValue为例，CCSMap和JDK自带的ConcurrentSkipListMap相比，内存占用减少了40%。
CCSMap在生产中上线后，实际优化效果：youngGC从ms+减少到了30ms
优化前
优化后
使用了CCSMap后，原来的1亿2千万个存活对象被缩减到了千万级别以内，大大减轻了GC压力。由于紧致的内存排布，写入吞吐能力也得到了30%的提升。
永不晋升的Cache：BucketCache
HBase以Block的方式组织磁盘上的数据。一个典型的HBaseBlock大小在16K~64K之间。HBase内部会维护BlockCache来减少磁盘的I/O。BlockCache和写缓存一样，不符合GC算法理论里的分代假说，天生就是对GC算法不友好的——既不稍纵即逝，也不永久存活。
一段Block数据从磁盘被load到JVM内存中，生命周期从分钟到月不等，绝大部分Block都会进入old区，只有MajorGC时才会让它被JVM回收。它的麻烦主要体现在:
1.HBaseBlock的大小不是固定的，且相对较大，内存容易碎片化
2.在ParNew算法上，晋升麻烦。麻烦不是体现在拷贝代价上，而是因为尺寸较大，寻找合适的空间存放HBaseBlock的代价较高。
读缓存优化的思路则是，向JVM申请一块永不归还的内存作为BlockCache，我们自己对内存进行固定大小的分段，当Block加载到内存中时，我们将Block拷贝到分好段的区间内，并标记为已使用。当这个Block不被需要时，我们会标记该区间为可用，可以重新存放新的Block，这就是BucketCache。关于BucketCache中的内存空间分配与回收(这一块的设计与研发在多年前已完成)，详细可以参考: