分享

Springboot 同一次调用日志怎么用ID串起来,方便最终查找




问题导读:

1、Springboot怎样自定义日志拦截器,添加TRACE_ID?
2、WebConfigurerAdapter怎样添加拦截器?
3、Springboot怎样定义线程池?





前言
从文章标题就知道,这篇文章是介绍些什么。

这是我一位朋友的问题反馈:

3dabbdd8a9254668a1358140db6891bf.png


好像是的,确实这种现象是普遍存在的。

有时候一个业务调用链场景,很长,调了各种各样的方法,看日志的时候,各个接口的日志穿插,确实让人头大 。

模糊匹配搜索日志能解决吗? 能解决一点点。 但是不能完全呈现出整个链路相关的日志。

那要做到方便,很显然,我们需要的是把同一次的业务调用链上的日志串起来。

什么效果? 先看一个实现后的效果图:

dd07a86cff424f5bb3dea84ffefc0d10.png

这样下来,我们再配合模糊匹配查找日志,效果不就刚刚的了。

  1. cat -n info.log |grep "a415ad50dbf84e99b1b56a31aacd209c"
  2. 或者
  3. grep -10 'a415ad50dbf84e99b1b56a31aacd209c' info.log   (10是指上下10行)
复制代码

不多说,开整。

正文

惯例,先看一眼这次实战最终工程的结构:

2955b20a784349bba294ae2397245b89.png

①pom.xml 依赖

  1.     <dependencies>
  2.         <dependency>
  3.             <groupId>org.springframework.boot</groupId>
  4.             <artifactId>spring-boot-starter-web</artifactId>
  5.         </dependency>
  6.         <dependency>
  7.             <groupId>org.springframework.boot</groupId>
  8.             <artifactId>spring-boot-starter-test</artifactId>
  9.             <scope>test</scope>
  10.         </dependency>
  11.         <dependency>
  12.             <groupId>org.springframework.boot</groupId>
  13.             <artifactId>spring-boot-starter-logging</artifactId>
  14.         </dependency>
  15.         <!--lombok配置-->
  16.         <dependency>
  17.             <groupId>org.projectlombok</groupId>
  18.             <artifactId>lombok</artifactId>
  19.             <version>1.16.10</version>
  20.         </dependency>
  21.     </dependencies>
复制代码

②整合logback,打印日志,logback-spring.xml (简单配置下)

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <configuration debug="false">
  3.     <!--日志存储路径-->
  4.     <property name="log" value="D:/test/log" />
  5.     <!-- 控制台输出 -->
  6.     <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
  7.         <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
  8.             <!--输出格式化-->
  9.             <pattern>[%X{TRACE_ID}]  %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
  10.         </encoder>
  11.     </appender>
  12.     <!-- 按天生成日志文件 -->
  13.     <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
  14.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
  15.             <!--日志文件名-->
  16.             <FileNamePattern>${log}/%d{yyyy-MM-dd}.log</FileNamePattern>
  17.             <!--保留天数-->
  18.             <MaxHistory>30</MaxHistory>
  19.         </rollingPolicy>
  20.         <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
  21.             <pattern>[%X{TRACE_ID}]  %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
  22.         </encoder>
  23.         <!--日志文件最大的大小-->
  24.         <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
  25.             <MaxFileSize>10MB</MaxFileSize>
  26.         </triggeringPolicy>
  27.     </appender>
  28.     <!-- 日志输出级别 -->
  29.     <root level="INFO">
  30.         <appender-ref ref="console" />
  31.         <appender-ref ref="file" />
  32.     </root>
  33. </configuration>
复制代码

application.yml
  
  1. server:
  2.   port: 8826
  3. logging:
  4.   config: classpath:logback-spring.xml
复制代码

③自定义日志拦截器 LogInterceptor.java

用途:每一次链路,线程维度,添加最终的链路ID   TRACE_ID。

  1. import org.slf4j.MDC;
  2. import org.springframework.lang.Nullable;
  3. import org.springframework.util.StringUtils;
  4. import org.springframework.web.servlet.HandlerInterceptor;
  5. import javax.servlet.http.HttpServletRequest;
  6. import javax.servlet.http.HttpServletResponse;
  7. import java.util.UUID;
  8. /**
  9. * @Author: JCccc
  10. * @Date: 2022-5-30 10:45
  11. * @Description:
  12. */
  13. public class LogInterceptor implements HandlerInterceptor {
  14.     private static final String TRACE_ID = "TRACE_ID";
  15.     @Override
  16.     public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) {
  17.         String tid = UUID.randomUUID().toString().replace("-", "");
  18.         //可以考虑让客户端传入链路ID,但需保证一定的复杂度唯一性;如果没使用默认UUID自动生成
  19.         if (!StringUtils.isEmpty(request.getHeader("TRACE_ID"))){
  20.             tid=request.getHeader("TRACE_ID");
  21.         }
  22.         MDC.put(TRACE_ID, tid);
  23.         return true;
  24.     }
  25.     @Override
  26.     public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler,
  27.                                 @Nullable Exception ex) {
  28.         MDC.remove(TRACE_ID);
  29.     }
  30. }
复制代码

MDC(Mapped Diagnostic Context)诊断上下文映射,是@Slf4j提供的一个支持动态打印日志信息的工具。

WebConfigurerAdapter.java 添加拦截器

  1. import org.springframework.context.annotation.Bean;
  2. import org.springframework.context.annotation.Configuration;
  3. import org.springframework.web.servlet.config.annotation.InterceptorRegistry;
  4. import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;
  5. /**
  6. * @Author: JCccc
  7. * @Date: 2022-5-30 10:47
  8. * @Description:
  9. */
  10. @Configuration
  11. public class WebConfigurerAdapter implements WebMvcConfigurer {
  12.     @Bean
  13.     public LogInterceptor logInterceptor() {
  14.         return new LogInterceptor();
  15.     }
  16.     @Override
  17.     public void addInterceptors(InterceptorRegistry registry) {
  18.         registry.addInterceptor(logInterceptor());
  19.         //可以具体制定哪些需要拦截,哪些不拦截,其实也可以使用自定义注解更灵活完成
  20. //                .addPathPatterns("/**")
  21. //                .excludePathPatterns("/testxx.html");
  22.     }
  23. }
复制代码

ps: 其实这个拦截的部分改为使用自定义注解+aop也是很灵活的。

到这时候,其实已经完成,就是这么简单。

我们写个测试接口,看下效果:

  1.     @PostMapping("doTest")
  2.     public String doTest(@RequestParam("name") String name) throws InterruptedException {
  3.         log.info("入参 name={}",name);
  4.         testTrace();
  5.         log.info("调用结束 name={}",name);
  6.         return "Hello,"+name;
  7.     }
  8.     private void testTrace(){
  9.         log.info("这是一行info日志");
  10.         log.error("这是一行error日志");
  11.         testTrace2();
  12.     }
  13.     private void testTrace2(){
  14.         log.info("这也是一行info日志");
  15.     }
复制代码

效果(OK的):

cb01c23bd2c24bc4ab84d4afe831ecbd.png

还没完。

接下来看一个场景, 使用子线程的场景:

故意写一个异步线程,加入这个调用里面:

1d108366d6094d6284d2a1f96c27d8a3.png

再次执行看开效果,显然子线程丢失了trackId:

5e3ec1f7220243de8ee337b41f614e37.png

所以我们需要针对子线程使用情形,做调整,思路: 将父线程的trackId传递下去给子线程即可。

①ThreadPoolConfig.java 定义线程池,交给spring管理

  1. import org.springframework.context.annotation.Bean;
  2. import org.springframework.context.annotation.Configuration;
  3. import org.springframework.scheduling.annotation.EnableAsync;
  4. import java.util.concurrent.Executor;
  5. /**
  6. * @Author: JCccc
  7. * @Date: 2022-5-30 11:07
  8. * @Description:
  9. */
  10. @Configuration
  11. @EnableAsync
  12. public class ThreadPoolConfig {
  13.     /**
  14.      * 声明一个线程池
  15.      *
  16.      * @return 执行器
  17.      */
  18.     @Bean("MyExecutor")
  19.     public Executor asyncExecutor() {
  20.         MyThreadPoolTaskExecutor executor = new MyThreadPoolTaskExecutor();
  21.         //核心线程数5:线程池创建时候初始化的线程数
  22.         executor.setCorePoolSize(5);
  23.         //最大线程数5:线程池最大的线程数,只有在缓冲队列满了之后才会申请超过核心线程数的线程
  24.         executor.setMaxPoolSize(5);
  25.         //缓冲队列500:用来缓冲执行任务的队列
  26.         executor.setQueueCapacity(500);
  27.         //允许线程的空闲时间60秒:当超过了核心线程出之外的线程在空闲时间到达之后会被销毁
  28.         executor.setKeepAliveSeconds(60);
  29.         //线程池名的前缀:设置好了之后可以方便我们定位处理任务所在的线程池
  30.         executor.setThreadNamePrefix("asyncJCccc");
  31.         executor.initialize();
  32.         return executor;
  33.     }
  34. }
复制代码

② MyThreadPoolTaskExecutor.java 是我们自己写的,重写了一些方法:

  1. import org.slf4j.MDC;
  2. import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
  3. import java.util.concurrent.Callable;
  4. import java.util.concurrent.Future;
  5. /**
  6. * @Author: JCccc
  7. * @Date: 2022-5-30 11:13
  8. * @Description:
  9. */
  10. public final class MyThreadPoolTaskExecutor  extends ThreadPoolTaskExecutor  {
  11.     public MyThreadPoolTaskExecutor() {
  12.         super();
  13.     }
  14.    
  15.     @Override
  16.     public void execute(Runnable task) {
  17.         super.execute(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
  18.     }
  19.     @Override
  20.     public <T> Future<T> submit(Callable<T> task) {
  21.         return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
  22.     }
  23.     @Override
  24.     public Future<?> submit(Runnable task) {
  25.         return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
  26.     }
  27. }
复制代码

③ThreadMdcUtil.java

  1. import org.slf4j.MDC;
  2. import java.util.Map;
  3. import java.util.UUID;
  4. import java.util.concurrent.Callable;
  5. /**
  6. * @Author: JCccc
  7. * @Date: 2022-5-30 11:14
  8. * @Description:
  9. */
  10. public final class ThreadMdcUtil {
  11.     private static final String TRACE_ID = "TRACE_ID";
  12.     // 获取唯一性标识
  13.     public static String generateTraceId() {
  14.         return UUID.randomUUID().toString();
  15.     }
  16.     public static void setTraceIdIfAbsent() {
  17.         if (MDC.get(TRACE_ID) == null) {
  18.             MDC.put(TRACE_ID, generateTraceId());
  19.         }
  20.     }
  21.     /**
  22.      * 用于父线程向线程池中提交任务时,将自身MDC中的数据复制给子线程
  23.      *
  24.      * @param callable
  25.      * @param context
  26.      * @param <T>
  27.      * @return
  28.      */
  29.     public static <T> Callable<T> wrap(final Callable<T> callable, final Map<String, String> context) {
  30.         return () -> {
  31.             if (context == null) {
  32.                 MDC.clear();
  33.             } else {
  34.                 MDC.setContextMap(context);
  35.             }
  36.             setTraceIdIfAbsent();
  37.             try {
  38.                 return callable.call();
  39.             } finally {
  40.                 MDC.clear();
  41.             }
  42.         };
  43.     }
  44.     /**
  45.      * 用于父线程向线程池中提交任务时,将自身MDC中的数据复制给子线程
  46.      *
  47.      * @param runnable
  48.      * @param context
  49.      * @return
  50.      */
  51.     public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
  52.         return () -> {
  53.             if (context == null) {
  54.                 MDC.clear();
  55.             } else {
  56.                 MDC.setContextMap(context);
  57.             }
  58.             setTraceIdIfAbsent();
  59.             try {
  60.                 runnable.run();
  61.             } finally {
  62.                 MDC.clear();
  63.             }
  64.         };
  65.     }
  66. }
复制代码

OK,重启服务,再看看效果:

b625c786a1604dcfaefce720ef432bb1.png

可以看的,子线程的日志也被串起来了。

OK,该篇就到这。









最新经典文章,欢迎关注公众号



---------------------



已有(1)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条