logstash 常见问题
一系列logstash 问题和解决方法。持续更新…
logstash elasticsearch output plugin 阻塞问题
问题描述：
在使用logstash向elasticsearch写入数据时,如果写入的索引已经被es关闭，logstash会阻塞住，es输出插件会无限重试这些有问题的数据。
问题版本信息：
- logstash 版本：5.6.8
- logstash-output-elasticsearch：7.4.2
- elasticsearch版本: 5.6.8
这个问题发生的原因是什么？
先来看下异常的输出：
1 | [logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"index_closed_exception", "reason"=>"closed", "index_uuid"=>"xxxx", "index"=>"xxxx"}) |
注意response code 403,这是关键。仔细读下logstash-output-elasticsearch 5.6 文档，在重试策略中有关于这个问题的描述:
对批量API的HTTP请求,返回200响应代码表示成功。所有其他响应代码将无限期重试,但是其中 400,404和409是特殊的:
- 如果启用死信队列（DLQ），则将400和404错误发送到DLQ。否则，打印日志消息，并且将删除该事件。
- 409错误（冲突）被记录为警告并被删除。
到这就找到了原因，elasticsearch 针对 index_closed_exception返回的是403。从而导致了无限重试。
在后续的测试中，如果将elasticsearch升级到6.8.0，index_closed_exception返回的错误码将是400，避免了这一问题。
参考资料：
- Make 403 response configurable for going into DLQ
- User expectation when trying to write to closed indexes
- Logs being sent to a closed index cause logstash to lock up
logstash Could not find gem XXX
问题描述：
logstash无法启动，详细报错信息：
1 | Bundler::GemNotFound: Could not find gem 'ci_reporter_rspec (= 1.0.0) java' in any of the gem sources listed in your Gemfile or installed on this machine. |
这个问题是Gemfile.jruby-1.9.lock文件内容缺失或文件丢失导致的,gem未能成功通过jruby加载。重新恢复Gemfile.jruby-1.9.lock文件，即可解决问题。
