logstash 常见问题
一系列logstash 问题和解决方法。持续更新…
logstash elasticsearch output plugin 阻塞问题
问题描述:
在使用logstash向elasticsearch写入数据时,如果写入的索引已经被es关闭,logstash会阻塞住,es输出插件会无限重试这些有问题的数据。
问题版本信息:
- logstash 版本:5.6.8
- logstash-output-elasticsearch:7.4.2
- elasticsearch版本: 5.6.8
这个问题发生的原因是什么?
先来看下异常的输出:
1 | [logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"index_closed_exception", "reason"=>"closed", "index_uuid"=>"xxxx", "index"=>"xxxx"}) |
注意response code 403,这是关键。仔细读下logstash-output-elasticsearch 5.6 文档,在重试策略中有关于这个问题的描述:
对批量API的HTTP请求,返回200响应代码表示成功。所有其他响应代码将无限期重试,但是其中 400,404和409是特殊的:
- 如果启用死信队列(DLQ),则将400和404错误发送到DLQ。否则,打印日志消息,并且将删除该事件。
- 409错误(冲突)被记录为警告并被删除。
到这就找到了原因,elasticsearch 针对 index_closed_exception返回的是403。从而导致了无限重试。
在后续的测试中,如果将elasticsearch升级到6.8.0,index_closed_exception返回的错误码将是400,避免了这一问题。
参考资料:
- Make 403 response configurable for going into DLQ
- User expectation when trying to write to closed indexes
- Logs being sent to a closed index cause logstash to lock up
logstash Could not find gem XXX
问题描述:
logstash无法启动,详细报错信息:
1 | Bundler::GemNotFound: Could not find gem 'ci_reporter_rspec (= 1.0.0) java' in any of the gem sources listed in your Gemfile or installed on this machine. |
这个问题是Gemfile.jruby-1.9.lock
文件内容缺失或文件丢失导致的,gem未能成功通过jruby加载。重新恢复Gemfile.jruby-1.9.lock
文件,即可解决问题。