ES 缓存记录(CachedRecord)超限

ES 缓存记录(CachedRecord)超限

“ES 缓存记录(CachedRecord)超限” 常发生在以下两个场景:

1. 因资源(内存/RAM、CPU)不足导致日志处理延迟时。 2. 日志流量突然激增或出现波动时。 请监控系统,确认缓存记录最终是否会被处理,或是其数量仍在持续增加。若数量持续上升,建议您计算“每秒事件数(Events Per Second, EPS)”,以帮助分析系统负载与容量情况。 在EventLog Analyzer中计算EPS的步骤: 1. 进入【搜索】(Search)标签页。 2. 选择您想要分析的日志类型,并将日期范围设置为“过去7天(Last 7 Days)”。 3. 此时会显示过去一周的日志数据,找到所选日志类型中“日志数量最多的那一天”。 4. 图表会展示每天的日志总数。 5. 深入查看该天的日志,获取“按小时细分的数据”。 6. 从小时细分数据中,找到“日志流量最高的那一小时”。 7. 进一步深入查看该小时的日志,获取“按分钟细分的数据”并找到“日志数量最多的那一分钟”。 8. 最后,深入查看该分钟的日志,获取“按秒细分的数据”并找到“接收日志数量最多的那一秒”

如下图:

基于每种日志类型(Windows、Unix、Syslog、数据库(DB)等)的每秒事件数(EPS),您的服务器规格(server sizing)和存储需求可能会有所不同。

优化指南: https://www.manageengine.com/products/eventlog/tuning-guide.html


虚拟机配置指南(如适用):
若您在虚拟机上运行 EventLog Analyzer,请确保满足以下条件:
  • 为运行 EventLog Analyzer 的虚拟机完全分配(100%)内存(RAM)和 CPU 资源。
  • 使用厚置备(Thick provisioning)方式(薄置备(Thin provisioning)会增加 I/O 延迟)。
  • 禁用快照(Snapshots)功能,因为快照会增加读写 I/O,影响系统性能。
    • Related Articles

    • ManageEngine\EventLog Analyzer\ES\CachedRecord文件夹太大了?

      ManageEngine\EventLog Analyzer\ES\CachedRecord文件夹中是缓存的日志数据,即收到了日志,但是在排队等待处理。 引起该文件夹过大的原因有多种: 1.运行ELA的服务器上或者公司内其他专用服务器上的杀毒软件(Antivirus scanner)在扫描ManageEngine文件夹,误把产品运行时产生的如Java文件当成恶意病毒程序,由此影响产品正常运行,日志都在排队处理,却处理不了。 ...
    • ELA-在哪里可以设置CachedRecord触发告警的阈值?

      如下图,在产品设置的通知下面,可以定义当未处理的日志文件到达多少时,需要触发告警发送通知。 对应到产品的安装路径中,是下图ES中的CachedRecord文件夹中的live log数。 -正常状态:没有或几乎没有待处理的日志: -不正常状态:很多传过来的live logs,在排队处理,一直在增加: 注意:对于该告警发送时间间隔(5分钟)不可更改,请管理员收到通知后及时处理,以防未处理的日志堆积太多导致产品停掉。
    • ELA-出现“Cached record limit exceeded. Kindly do the needful.”文件夹超出阈值告警,应如何排查?

      如下图,如果EventLog Analyzer产品出现了这样的告警或者管理员收到了这样的告警通知,如何处理? Cached record limit exceeded. Kindly do the needful. 超出缓存记录限制。请缓存必要的数据。 这样的告警什么意思? 答:如下图,产品安装目录中CachedRecord中待处理的live logs过多,产品无法处理不断传过来的日志,当达到一定数量后就会触发告警。 如何排查原因和处理? 答:考虑以下几种情况: ...
    • ManageEngine\EventLog Analyzer\ES\data\ELA-C1\nodes\0\indices文件夹太大了?

      ES中的indices文件夹中存储的是日志数据的索引,当用户在产品UI执行日志搜索时,产品会参考索引文件以检索所需的数据。 当DB retention设置的天数太长,且日志量大的时候,Online live logs太多,索引也会过多,导致indices文件夹很大。 检查DB保留天数: 如果这里的天数不是很长,比如只有30天,那请在浏览器中访问ELA产品URL后面加上rawConfig.do。 ...
    • EventLog Analyzer\ES\archive和EventLog Analyzer\archive分别是什么文件夹?

      EventLog Analyzer中的日志处理经历两个阶段: 第一阶段:收到原始日志数据时,日志保留方式是Online retention(联机保留); 即产品在运行的时候,产品界面UI中显示的那些日志数据是来自EventLog Analyzer\ES\archive。 即下图设置的该天数内的日志数据: 第二阶段:但是日志不能永久通过Online索引,这会影响产品运行性能,这就涉及到第二阶段“Offline retention”(脱机保留); ...