Java 熱更新 Groovy 實(shí)踐及踩坑指南
Groovy 是什么？
Apache的Groovy是Java平臺(tái)上設(shè)計(jì)的面向?qū)ο缶幊陶Z言。這門動(dòng)態(tài)語言擁有類似Python、Ruby和Smalltalk中的一些特性，可以作為Java平臺(tái)的腳本語言使用，Groovy代碼動(dòng)態(tài)地編譯成運(yùn)行于Java虛擬機(jī)（JVM）上的Java字節(jié)碼，并與其他Java代碼和庫(kù)進(jìn)行互操作。
由于其運(yùn)行在JVM上的特性，Groovy可以使用其他Java語言編寫的庫(kù)。Groovy的語法與Java非常相似，大多數(shù)Java代碼也符合Groovy的語法規(guī)則，盡管可能語義不同。 Groovy 1.0于2007年1月2日發(fā)布，并于2012年7月發(fā)布了Groovy 2.0。從版本2開始，Groovy也可以靜態(tài)編譯，提供類型推論和Java相近的性能。Groovy 2.4是Pivotal軟件贊助的最后一個(gè)主要版本，截止于2015年3月。Groovy已經(jīng)將其治理結(jié)構(gòu)更改為Apache軟件基金會(huì)的項(xiàng)目管理委員會(huì)（PMC）[1]。
Java 為何需要 Groovy ?
Groovy 特性如下：
語法上支持動(dòng)態(tài)類型，閉包等新一代語言特性
無縫集成所有已經(jīng)存在的Java類庫(kù)
既支持面向?qū)ο缶幊桃仓С置嫦蜻^程編程
執(zhí)行方式可以將groovy編寫的源文件編譯成class字節(jié)碼文件，然后交給JVM去執(zhí)行，也可以直接將groovy源文件解釋執(zhí)行。
Groovy可以與Java完美結(jié)合，而且可以使用java所有的庫(kù)
Groovy 優(yōu)勢(shì)如下：
敏捷
groovy 在語法上加入了很多語法糖，很多 Java 嚴(yán)格的書寫語法，在 Groovy 中只需要少量的語法糖即可實(shí)現(xiàn)
Groovy 的靈活性是的它既可以作為變成語言，亦可作為腳本語言
0成本學(xué)習(xí) Groovy，完美適配 Java 語法
熱部署技術(shù)設(shè)計(jì)及實(shí)現(xiàn)
使用場(chǎng)景
我將介紹如下幾種常用的適合 Groovy 腳本熱更新的場(chǎng)景，供您學(xué)習(xí)
風(fēng)控安全——規(guī)則引擎
風(fēng)控的規(guī)則引擎非常適合用 groovy 來實(shí)現(xiàn)，對(duì)抗黑產(chǎn)，策略人員每天都都會(huì)產(chǎn)出攔截規(guī)則，如果每次都需要發(fā)版，可能發(fā)完觀測(cè)完后，該薅的羊毛都被黑產(chǎn)薅沒了。
所以利用 groovy 腳本引擎的動(dòng)態(tài)解析執(zhí)行，使用規(guī)則腳本將查攔截規(guī)則抽象出來，快速部署，提升效率。
監(jiān)控中心
大型互聯(lián)網(wǎng)系統(tǒng)，伴隨著海量數(shù)據(jù)進(jìn)入，各個(gè)層級(jí)的人員需要時(shí)時(shí)刻刻關(guān)注業(yè)務(wù)的各個(gè)維度指標(biāo)，此時(shí)某個(gè)指標(biāo)異常光靠人肉是沒辦法實(shí)現(xiàn)的。此時(shí)需要監(jiān)控中心介入，提前部署好異動(dòng)規(guī)則，當(dāng)異常發(fā)生時(shí)，監(jiān)控中心發(fā)出告警通知到對(duì)應(yīng)的規(guī)則創(chuàng)建人員，從而盡快查明原因，挽回資損。
此時(shí)要保證監(jiān)控中心異常靈活，可以隨時(shí)隨地滿足業(yè)務(wù)人員或者研發(fā)人員配置監(jiān)控指標(biāo)，測(cè)試我們可以使用 Groovy 條件表達(dá)式，滿足靈活監(jiān)控規(guī)則配置需求。
活動(dòng)營(yíng)銷
營(yíng)銷活動(dòng)配置是我個(gè)人覺得最復(fù)雜的業(yè)務(wù)之一?；顒?dòng)模板多樣，千人千面，不同人群看到的活動(dòng)樣式或者“獎(jiǎng)品”不一。且活動(dòng)上線要快，效果回收，投入產(chǎn)出比等要能立即觀測(cè)。
此時(shí)需要工程側(cè)抽象出整個(gè)活動(dòng)模板，在需要變化的地方嵌入 Groovy 腳本，這樣就減少了測(cè)試和發(fā)版的時(shí)間，做到活動(dòng)可線上配置化。
技術(shù)實(shí)現(xiàn)
腳本加載/更新
代碼實(shí)現(xiàn)展示：
/**
* 加載腳本
* @param script
* @return
*/
public static GroovyObject buildScript(String script) {
? ?if (StringUtils.isEmpty(script)) {
? ? ? ?throw new RuntimeException("script is empty");
? ?}
? ?String cacheKey = DigestUtils.md5DigestAsHex(script.getBytes());
? ?if (groovyObjectCache.containsKey(cacheKey)) {
? ? ? ?log.debug("groovyObjectCache hit");
? ? ? ?return groovyObjectCache.get(cacheKey);
? ?}
? ?GroovyClassLoader classLoader = new GroovyClassLoader();
? ?try {
? ? ? ?Class<?> groovyClass = classLoader.parseClass(script);
? ? ? ?GroovyObject groovyObject = (GroovyObject) groovyClass.newInstance();
? ? ? ?classLoader.clearCache();
? ? ? ?groovyObjectCache.put(cacheKey, groovyObject);
? ? ? ?log.info("groovy buildScript success: {}", groovyObject);
? ? ? ?return groovyObject;
? ?} catch (Exception e) {
? ? ? ?throw new RuntimeException("buildScript error", e);
? ?} finally {
? ? ? ?try {
? ? ? ? ? ?classLoader.close();
? ? ? ?} catch (IOException e) {
? ? ? ? ? ?log.error("close GroovyClassLoader error", e);
? ? ? ?}
? ?}
}
重點(diǎn)關(guān)注：
腳本開啟緩存處理：否則多次會(huì)更新可能會(huì)導(dǎo)致 Metaspace OutOfMemery
腳本執(zhí)行
// 程序內(nèi)部需要關(guān)聯(lián)出待執(zhí)行的腳本即可
try {
? ?Map<String, Object> singleMap = GroovyUtils.invokeMethod2Map(s.getScriptObject(), s.getInvokeMethod(), params);
? ?data.putAll(singleMap);
} catch (Throwable e) {
? ?log.error(String.format("RcpEventMsgCleanScriptGroovyHandle groovy error, guid: %d eventCode: %s",
? ? ? ? ? ?s.getGuid(), s.getEventCode()), e);
}
// 三種執(zhí)行方式，看 腳本內(nèi)部返回的結(jié)果是什么
public static Map<String, Object> invokeMethod2Map(GroovyObject scriptObject, String invokeMethod, Object[] params) {
? ?return (Map<String, Object>) scriptObject.invokeMethod(invokeMethod, params);
}
public static boolean invokeMethod2Boolean(GroovyObject scriptObject, String invokeMethod, Object[] params) {
? ?return (Boolean) scriptObject.invokeMethod(invokeMethod, params);
}
public static String invokeMethod2String(GroovyObject scriptObject, String invokeMethod, Object[] params) {
? ?log.debug("GroovyObject class: {}", scriptObject.getClass().getSimpleName());
? ?return (String) scriptObject.invokeMethod(invokeMethod, params);
}
生產(chǎn)踩坑指南
Java8 lambda 與 Groovy 語法問題
都說 Groovy 能完美兼容 Java 語法，即直接復(fù)制 Java 代碼到 Groovy 文件內(nèi)，亦能編譯成功。
事實(shí)真的如此么，我們看如下執(zhí)行的代碼：
Set<String> demo = new HashSet<>();
demo.add("111");
demo.add("222");
for (String s : demo) {
? ?executor.submit({ ->
? ? ? ?println "submit: " + s; ? ? ? ? ? ? ? ?
? ?});
}
for (String s in demo) {
? ?executor.submit({ ->
? ? ? ?println "sp submit: " + s; ? ? ? ? ? ? ? ?
? ?});
}
// 輸出結(jié)果
// submit: 222
// sp submit: 222
// submit: 222
// sp submit: 222
此時(shí)代碼并沒有按照預(yù)期的結(jié)果輸出 111， 222，這是為什么呢？
答：lambda 語法在 Groovy 中語義和在Java 中不一致，雖然編譯不出錯(cuò)，但表達(dá)的語義不一致
在 Groovy 中表示閉包概念，此處不熟悉的可以 Google 詳細(xì)了解 Groovy 語法。
GroovyClassLoader 加載機(jī)制導(dǎo)致頻繁gc問題
通常加載 Groovy 類代碼如下：
GroovyClassLoader groovyLoader = new GroovyClassLoader();
Class<Script> groovyClass = (Class<Script>) groovyLoader.parseClass(groovyScript);
Script groovyScript = groovyClass.newInstance();
每次執(zhí)行 groovyLoader.parseClass(groovyScript)，Groovy 為了保證每次執(zhí)行的都是新的腳本內(nèi)容，會(huì)每次生成一個(gè)新名字的Class文件，這個(gè)點(diǎn)已經(jīng)在前文中說明過。當(dāng)對(duì)同一段腳本每次都執(zhí)行這個(gè)方法時(shí)，會(huì)導(dǎo)致的現(xiàn)象就是裝載的Class會(huì)越來越多，從而導(dǎo)致PermGen被用滿。
同時(shí)這里也存在性能瓶頸問題，如果去分析這段代碼會(huì)發(fā)現(xiàn)90%的耗時(shí)占用在Class。
如上實(shí)戰(zhàn)過程中，已經(jīng)給出了解決辦法：
對(duì)于 parseClass 后生成的 Class 對(duì)象進(jìn)行cache，key 為 groovyScript 腳本的md5值
腳本首次執(zhí)行耗時(shí)高
在初期方案上線時(shí)，壓測(cè)后顯示，首次加載腳本性能較慢，后續(xù)腳本執(zhí)行速度非常快，猜測(cè)可能是 Groovy 內(nèi)部在首次腳在腳本時(shí)還做了其他的校驗(yàn)（本人還沒跟進(jìn)這塊，如果有讀者感興趣，可以斷點(diǎn)詳細(xì)看下鏈路耗時(shí)在哪里）
正對(duì)首次加載緩慢問題，解決方法如下：
// 1.加載腳本，并緩存
GroovyObject object = loadClass(classSeq);
cacheMap.put(md5(classSeq), object);
// 2.預(yù)熱
// 模擬方法調(diào)用
cacheMap.get(md5(classSeq)).invoke();
// 3.開放給線上流量使用
往期精彩
個(gè)人技術(shù)博客：https://jifuwei.github.io/
公眾號(hào)：是咕咕雞
性能調(diào)優(yōu)——小小的log大大的坑
性能優(yōu)化必備——火焰圖
Flink 在風(fēng)控場(chǎng)景實(shí)時(shí)特征落地實(shí)戰(zhàn)
參考：
鏈接：https://www.dianjilingqu.com/530695.html
