「这是我参与2022首次更文挑战的第9天,活动详情查看:2022首次更文挑战」
一、异步调用方式分析
今天在写代码的时候,想要调用异步的操作,这里我是用的java8的流式异步调用,但是使用过程中呢,发现这个异步方式有两个方法,如下所示:
区别是一个需要指定线程池,一个不需要。
- 那么指定线程池有哪些好处呢?直观的说有以下两点好处:可以根据我们的服务器性能,通过池的管理更好的规划我们的线程数。可以对我们使用的线程自定义名称,这里也是阿里java开发规范所提到的。
1.1 java8异步调用默认线程池方式
当然常规使用默认的也没什么问题。我们通过源码分析下使用默认线程池的过程。
publicstaticCompletableFuturerunAsync(Runnable runnable) {returnasyncRunStage(asyncPool, runnable);
}
复制代码
看下这个asyncPool是什么?
如下所示,useCommonPool如果为真,就使用ForkJoinPool.commonPool(),否则创建一个new ThreadPerTaskExecutor():
privatestaticfinalExecutor asyncPool = useCommonPool ?
ForkJoinPool.commonPool() :newThreadPerTaskExecutor();
复制代码
看看useCommonPool 是什么?
privatestaticfinalbooleanuseCommonPool =
(ForkJoinPool.getCommonPoolParallelism() >1);
复制代码
/**
* 公共池的目标并行度级别
*/publicstaticintgetCommonPoolParallelism(){returncommonParallelism;
}
复制代码
最终这个并行级别并没有给出默认值
staticfinalintcommonParallelism;
复制代码
通过找到这个常量的调用,我们看看是如何进行初始化的,在ForkJoinPool中有一个静态代码块,启动时会对commonParallelism进行初始化,我们只关注最后一句话就好了,:
// Unsafe mechanicsprivatestaticfinalsun.misc.Unsafe U;privatestaticfinalintABASE;privatestaticfinalintASHIFT;privatestaticfinallongCTL;privatestaticfinallongRUNSTATE;privatestaticfinallongSTEALCOUNTER;privatestaticfinallongPARKBLOCKER;privatestaticfinallongQTOP;privatestaticfinallongQLOCK;privatestaticfinallongQSCANSTATE;privatestaticfinallongQPARKER;privatestaticfinallongQCURRENTSTEAL;privatestaticfinallongQCURRENTJOIN;static{// initialize field offsets for CAS etctry{
U = sun.misc.Unsafe.getUnsafe();
Class k = ForkJoinPool.class;
CTL = U.objectFieldOffset
(k.getDeclaredField("ctl"));
RUNSTATE = U.objectFieldOffset
(k.getDeclaredField("runState"));
STEALCOUNTER = U.objectFieldOffset
(k.getDeclaredField("stealCounter"));
Class tk = Thread.class;
PARKBLOCKER = U.objectFieldOffset
(tk.getDeclaredField("parkBlocker"));
Class wk = WorkQueue.class;
QTOP = U.objectFieldOffset
(wk.getDeclaredField("top"));
QLOCK = U.objectFieldOffset
(wk.getDeclaredField("qlock"));
QSCANSTATE = U.objectFieldOffset
(wk.getDeclaredField("scanState"));
QPARKER = U.objectFieldOffset
(wk.getDeclaredField("parker"));
QCURRENTSTEAL = U.objectFieldOffset
(wk.getDeclaredField("currentSteal"));
QCURRENTJOIN = U.objectFieldOffset
(wk.getDeclaredField("currentJoin"));
Class ak = ForkJoinTask[].class;
ABASE = U.arrayBaseOffset(ak);intscale = U.arrayIndexScale(ak);if((scale & (scale -1)) !=0)thrownewError("data type scale not a power of two");
ASHIFT =31- Integer.numberOfLeadingZeros(scale);
}catch(Exception e) {thrownewError(e);
}
commonMaxSpares = DEFAULT_COMMON_MAX_SPARES;
defaultForkJoinWorkerThreadFactory =newDefaultForkJoinWorkerThreadFactory();
modifyThreadPermission =newRuntimePermission("modifyThread");
common = java.security.AccessController.doPrivileged
(newjava.security.PrivilegedAction() {publicForkJoinPoolrun(){returnmakeCommonPool(); }});// 即使线程被禁用也是1,至少是个1intpar = common.config & SMASK;
commonParallelism = par >0? par :1;
}
复制代码
如下所示,默认是7:
所以接着下面的代码看:
privatestaticfinalbooleanuseCommonPool =
(ForkJoinPool.getCommonPoolParallelism() >1);
复制代码
这里一定是返回true,证明当前是并行的。
privatestaticfinalExecutor asyncPool = useCommonPool ?
ForkJoinPool.commonPool() :newThreadPerTaskExecutor();
复制代码
上面会返回一个大小是七的的默认线程池
其实这个默认值是当前cpu的核心数,我的电脑是八核,在代码中默认会将核心数减一,所以显示是七个线程。
if(parallelism < 0 && //默认是1,小于核心数(parallelism=Runtime.getRuntime().availableProcessors() - 1) <= 0)parallelism=1;if(parallelism > MAX_CAP)parallelism=MAX_CAP;复制代码
下面我们写个main方法测试一下,10个线程,每个阻塞10秒,看结果:
publicstaticvoidmain(String[] args){// 创建10个任务,每个任务阻塞10秒for(inti =0; i <10; i++) {
CompletableFuture.runAsync(() -> {try{
Thread.sleep(10000);
System.out.println(newDate() +":"+ Thread.currentThread().getName());
}catch(InterruptedException e) {
e.printStackTrace();
}
});
}try{
Thread.sleep(30000);
}catch(InterruptedException e) {
e.printStackTrace();
}
}
复制代码
结果如下所示,前面七个任务先完成,另外三个任务被阻塞10秒后,才完成:
MonSep13 11:20:57CST2021:ForkJoinPool.commonPool-worker-5MonSep13 11:20:57CST2021:ForkJoinPool.commonPool-worker-4MonSep13 11:20:57CST2021:ForkJoinPool.commonPool-worker-2MonSep13 11:20:57CST2021:ForkJoinPool.commonPool-worker-7MonSep13 11:20:57CST2021:ForkJoinPool.commonPool-worker-3MonSep13 11:20:57CST2021:ForkJoinPool.commonPool-worker-6MonSep13 11:20:57CST2021:ForkJoinPool.commonPool-worker-1-----------------------------------------------------------MonSep13 11:21:07CST2021:ForkJoinPool.commonPool-worker-2MonSep13 11:21:07CST2021:ForkJoinPool.commonPool-worker-5MonSep13 11:21:07CST2021:ForkJoinPool.commonPool-worker-4复制代码
结论:当我们使用默认的线程池进行异步调用时,如果异步任务是一个IO密集型,简单说处理时间占用长,将导致其他使用共享线程池的任务阻塞,造成系统性能下降甚至异常。甚至当一部分调用接口时,如果接口超时,那么也会阻塞与超时时长相同的时间;实际在计算密集的场景下使用是能提高性能的。
二、使用自定义的线程池
上面说到如果是IO密集型的场景,在异步调用时还是使用自定义线程池比较好。
- 针对开篇提到的两个显而易见的好处,此处新增一条:可以根据我们的服务器性能,通过池的管理更好的规划我们的线程数。可以对我们使用的线程自定义名称,这里也是阿里java开发规范所提到的。不会因为阻塞导致使用共享线程池的其他线程阻塞甚至异常。
我们自定义下面的线程池:
/**
*@description: 全局通用线程池
*@author:weirx
*@date:2021/9/9 18:09
*@version:3.0
*/@Slf4jpublicclassGlobalThreadPool{/**
* 核心线程数
*/publicfinalstaticintCORE_POOL_SIZE =10;/**
* 最大线程数
*/publicfinalstaticintMAX_NUM_POOL_SIZE =20;/**
* 任务队列大小
*/publicfinalstaticintBLOCKING_QUEUE_SIZE =30;/**
* 线程池实例
*/privatefinalstaticThreadPoolExecutor instance = getInstance();/**
* description: 初始化线程池
*
*@return: java.util.concurrent.ThreadPoolExecutor
*@author: weirx
*@time: 2021/9/10 9:49
*/privatesynchronizedstaticThreadPoolExecutorgetInstance(){// 生成线程池ThreadPoolExecutor executor =newThreadPoolExecutor(
CORE_POOL_SIZE,
MAX_NUM_POOL_SIZE,60,
TimeUnit.SECONDS,newLinkedBlockingQueue<>(BLOCKING_QUEUE_SIZE),newNamedThreadFactory("Thread-wjbgn-",false));returnexecutor;
}privateGlobalThreadPool(){
}publicstaticThreadPoolExecutorgetExecutor(){returninstance;
}
}
复制代码
调用:
publicstaticvoidmain(String[] args){// 创建10个任务,每个任务阻塞10秒for(inti =0; i <10; i++) {
CompletableFuture.runAsync(() -> {try{
Thread.sleep(10000);
System.out.println(newDate() +":"+ Thread.currentThread().getName());
}catch(InterruptedException e) {
e.printStackTrace();
}
},GlobalThreadPool.getExecutor());
}try{
Thread.sleep(30000);
}catch(InterruptedException e) {
e.printStackTrace();
}
}
复制代码
输出我们指定线程名称的线程:
Mon Sep1311:32:35CST2021:Thread-Inbox-Model-1Mon Sep1311:32:35CST2021:Thread-Inbox-Model-10Mon Sep1311:32:35CST2021:Thread-Inbox-Model-2Mon Sep1311:32:35CST2021:Thread-Inbox-Model-9Mon Sep1311:32:35CST2021:Thread-Inbox-Model-5Mon Sep1311:32:35CST2021:Thread-Inbox-Model-6Mon Sep1311:32:35CST2021:Thread-Inbox-Model-3Mon Sep1311:32:35CST2021:Thread-Inbox-Model-7Mon Sep1311:32:35CST2021:Thread-Inbox-Model-8Mon Sep1311:32:35CST2021:Thread-Inbox-Model-4复制代码
三、题外话,动态线程池
3.1 什么是动态线程池?
在我们使用线程池的时候,是否有的时候很纠结,到底设置多大的线程池参数是最合适的呢?如果不够用了怎么办,要改代码重新部署吗?
其实是不需要的,记得当初看过美团的一篇文章,真的让人茅塞顿开啊,动态线程池。
ThreadPoolExecutor这个类其实是提供对于线程池的属性进行修改的,支持我们动态修改以下的属性:
从上至下分别是:
- 线程工厂(用于指定线程名称)
- 核心线程数
- 最大线程数
- 活跃时间
- 拒绝策略。
在美团的文章当中呢,是监控服务器线程的使用率,当达到阈值就进行告警,然后通过配置中心去动态修改这些数值。
我们也可以这么做,使用@RefreshScope加nacos就可以实现了。
3.2 实践
我写了一个定时任务,监控当前服务的线程使用率,小了就扩容,一段时间后占用率下降,就恢复初始值。
其实还有很多地方需要改进的,请大家多提意见,监控的是文章前面的线程池GlobalThreadPool,下面调度任务的代码:
/**
* @description: 全局线程池守护进程
* @author:weirx
* @date:2021/9/10 16:32
* @version:3.0
*/@Slf4j
@ComponentpublicclassDaemonThreadTask{/**
* 服务支持最大线程数
*/publicfinalstaticintSERVER_MAX_SIZE =50;/**
* 最大阈值Maximum threshold,百分比
*/privatefinalstaticintMAXIMUM_THRESHOLD =8;/**
* 每次递增最大线程数
*/privatefinalstaticintINCREMENTAL_MAX_NUM =10;/**
* 每次递增核心线程数
*/privatefinalstaticintINCREMENTAL_CORE_NUM =5;/**
* 当前线程数
*/privatestaticintcurrentSize = GlobalThreadPool.MAX_NUM_POOL_SIZE;/**
* 当前核心线程数
*/privatestaticintcurrentCoreSize = GlobalThreadPool.CORE_POOL_SIZE;
@Scheduled(cron ="0 */5 * * * ?")publicstaticvoidexecute(){
threadMonitor();
}/**
* description: 动态监控并设置线程参数
*
* @return: void
* @author: weirx
* @time: 2021/9/10 13:20
*/privatestaticvoidthreadMonitor(){
ThreadPoolExecutor instance = GlobalThreadPool.getExecutor();intactiveCount = instance.getActiveCount();intsize = instance.getQueue().size();log.info("GlobalThreadPool: the active thread count is {}", activeCount);// 线程数不足,增加线程if(activeCount > GlobalThreadPool.MAX_NUM_POOL_SIZE % MAXIMUM_THRESHOLD
&& size >= GlobalThreadPool.BLOCKING_QUEUE_SIZE) {
currentSize = currentSize + INCREMENTAL_MAX_NUM;
currentCoreSize = currentCoreSize + INCREMENTAL_CORE_NUM;//当前设置最大线程数小于服务最大支持线程数才可以继续增加线程if(currentSize <= SERVER_MAX_SIZE) {
instance.setMaximumPoolSize(currentSize);
instance.setCorePoolSize(currentCoreSize);log.info("this max thread size is {}", currentSize);
}else{log.info("current size is more than server max size, can not add");
}
}// 线程数足够,降低线程数,当前活跃数小于默认核心线程数if(activeCount < GlobalThreadPool.MAX_NUM_POOL_SIZE
&& size ==0&& currentSize > GlobalThreadPool.MAX_NUM_POOL_SIZE) {
currentSize = GlobalThreadPool.MAX_NUM_POOL_SIZE;
currentCoreSize = GlobalThreadPool.CORE_POOL_SIZE;
instance.setMaximumPoolSize(currentSize);
instance.setCorePoolSize(currentCoreSize);
}
}
}
复制代码
3.3 动态线程池有什么意义?
有的朋友其实问过我,我直接把线程池设置大一点不就好了,这种动态线程池有什么意义呢?
其实这是一个好问题。在以前的传统软件当中,单机部署,硬件部署,确实,我们能使用的线程数取决于服务器的核心线程数,而且基本没有其他服务来争抢这些线程。
声明:本文部分素材转载自互联网,如有侵权立即删除 。
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,请使用WINRAR解压,如遇到无法解压的请联系管理员!
8. 精力有限,不少源码未能详细测试(解密),不能分辨部分源码是病毒还是误报,所以没有进行任何修改,大家使用前请进行甄别
丞旭猿论坛
暂无评论内容