Rancher安装fluentd,收集日志发送到splunk延迟很大

Rancher Server 设置

  • Rancher 版本:2.5.8
  • 安装选项 (Docker install/Helm Chart): helm
    • 如果是 Helm Chart 安装,需要提供 Local 集群的类型(RKE1, RKE2, k3s, EKS, 等)和版本:rke1
  • 在线或离线部署:离线

下游集群信息

  • Kubernetes 版本: 1.20
  • Cluster Type (Local/Downstream): Local
    • 如果 Downstream,是什么类型的集群?(自定义/导入或为托管 等):

用户信息

  • 登录用户的角色是什么? (管理员/集群所有者/集群成员/项目所有者/项目成员/自定义):
    • 如果自定义,自定义权限集:管理员

主机操作系统:
Centos 7

问题描述:
通过Rancher安装fluentd,有个worker节点发送到splunk时,延迟大概有8个小时

重现步骤:

结果:

预期结果:
可以实时发送到splunk中

截图:

其他上下文信息:
- flush_thread_count:该参数定义了并行刷新/写入缓冲区块的线程数。增加该值可以提高并发性能,特别是在多核系统中。根据你的系统资源和需求,可以适当调整该值。默认值为1,Rancher的默认配置是16,可以尝试调整为64;
- queued_chunks_limit_size:限制排队块的数量。默认值为1,Rancher的默认配置是300,可以尝试调整为1000;
- chunk_limit_size:该参数定义了每个缓冲区块的最大大小。如果发现向Splunk发送日志变慢,可以考虑增大该值,以减少写入和发送操作的次数。可以根据可用内存和日志量进行适当调整。默认256MB(file),可以调整为512m;
- chunk_limit_records:该参数定义了每个缓冲区块可以存储的最大事件数量。如果每个事件的大小较小,你可以增加该值,以提高缓冲区块的利用率。无默认值,可以尝试设置为100000;
- total_limit_size:该参数定义了缓冲区插件实例的总大小限制。当存储的缓冲区总大小达到该阈值时,所有的追加操作都将失败并丢失数据。如果发现数据丢失的问题,可以考虑增大该值。默认值64GB(file),可以尝试调整为102400m。

修改了这些配置还是没有效果

日志