logstash 常见问题

logstash 常见问题

一系列logstash 问题和解决方法。持续更新…

logstash elasticsearch output plugin 阻塞问题

问题描述:

在使用logstash向elasticsearch写入数据时,如果写入的索引已经被es关闭,logstash会阻塞住,es输出插件会无限重试这些有问题的数据。

问题版本信息:

  • logstash 版本:5.6.8
  • logstash-output-elasticsearch:7.4.2
  • elasticsearch版本: 5.6.8

这个问题发生的原因是什么?

先来看下异常的输出:

1
[logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"index_closed_exception", "reason"=>"closed", "index_uuid"=>"xxxx", "index"=>"xxxx"})

注意response code 403,这是关键。仔细读下logstash-output-elasticsearch 5.6 文档,在重试策略中有关于这个问题的描述:

对批量API的HTTP请求,返回200响应代码表示成功。所有其他响应代码将无限期重试,但是其中 400,404和409是特殊的:

  • 如果启用死信队列(DLQ),则将400和404错误发送到DLQ。否则,打印日志消息,并且将删除该事件。
  • 409错误(冲突)被记录为警告并被删除。

到这就找到了原因,elasticsearch 针对 index_closed_exception返回的是403。从而导致了无限重试。

在后续的测试中,如果将elasticsearch升级到6.8.0,index_closed_exception返回的错误码将是400,避免了这一问题。

参考资料:

  1. Make 403 response configurable for going into DLQ
  2. User expectation when trying to write to closed indexes
  3. Logs being sent to a closed index cause logstash to lock up

logstash Could not find gem XXX

问题描述:

logstash无法启动,详细报错信息:

1
Bundler::GemNotFound: Could not find gem 'ci_reporter_rspec (= 1.0.0) java' in any of the gem sources listed in your Gemfile or installed on this machine.

这个问题是Gemfile.jruby-1.9.lock文件内容缺失或文件丢失导致的,gem未能成功通过jruby加载。重新恢复Gemfile.jruby-1.9.lock文件,即可解决问题。

-------------本文结束感谢您的阅读-------------
坚持分享,您的支持将鼓励我继续创作!
0%