logstash 报错_想要变瘦的胖子的博客-程序员秘密

elk运行一段时间后发现 logstash 日志文件一直有警告输出，警告内容

[2020-04-14T05:12:39,097][WARN ][org.apache.kafka.clients.NetworkClient][main] [Consumer clientId=xxx-2, groupId=xx] 3 partitions have leader brokers without a matching listener, including [xxx-0]

重点看

org.apache.kafka.clients.NetworkClient

3 partitions have leader brokers without a matching listener, including

NetworkClient 客户端重点排查，首先检查是否在正常运行，其次检查配置文件是否正确。

经过排查发现 kafka 挂了，启动kafka，发现警告消失。

其中kafka中需要重点关注的几个参数（文件位置：/config/server.properties）：

重点参数：
broker.id=0  #每台服务器的broker.id都不能相同
listeners=PLAINTEXT:// ip:9092  #可以设置成localhost，或者本级ip
num.network.threads=3 #这个是borker进行网络处理的线程数，一般与核数相等，默认是3
num.io.threads=8  #这个是borker进行I/O处理的线程数
zookeeper.connect=ip:2181, ip:2181, ip:2181 #设置zookeeper的连接端口


其他参数：
socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘 
socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
log.dirs=../logs/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个 
num.partitions=8 #默认的分区数，一个topic默认1个分区数

num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
message.max.byte=5242880  #消息保存的最大值5M
default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务 
replica.fetch.max.bytes=5242880  #取消息的最大直接数
log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能

本文链接：https://blog.csdn.net/yuandeyirenxins/article/details/105557402

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

STM32定时器的TRGO信号_【ql君】qlexcel的博客-程序员秘密

定时器的框图中有一个TRGO信号输出，此信号可以用来触发ADC、DAC、其他定时器等。此信号怎么产生呢？要使用TIM_SelectOutputTrigger(TIM1, TIM_TRGOSource_Update); 函数来选择TRGO信号的事件源，这个函数给TIMx_CR2寄存器的位6到位4赋值，位6到位4是MMS[2:0]，描述如下： ...

软件注册的实现--dll篇（delphi 源码）_delphi的dll源码_疯流人物的博客-程序员秘密

把刚才的那个方法封装到一个dll中，更方便：RegDll.dpr：library RegDLL;{ Important note about DLL memory management: ShareMem must be the first unit in your library's USES clause AND your project's (select

python选择题题库百度文库_(完整版)Python题库_weixin_39611037的博客-程序员秘密

2017-03-23董付国Python小屋1、Python安装扩展库常用的是_______工具。（pip）2、Python标准库math中用来计算平方根的函数是__________。（sqrt）3、Python程序文件扩展名主要有__________和________两种，其中后者常用于GUI程序。（py、pyw）4、Python源代码程序编译后的文件扩展名为_________。（pyc）5、使用...

图形图像处理1_雨雨天呀的博客-程序员秘密

一. 概述以图形图像为载体的视觉信息具有四大特点：①信息量大②速度快（很快就能了解到想要表达的内容）③作用距离远（人类通常听不到百步外的声音，但能看到4公里外的景象）④有生理和心理的作用二，图形图像处理的基本概念1.图形与图像图形：由事物的几何模型和物理属性共同描述图像：由阵列像素的数字化颜色或亮度等属性来描述二者的联系：广义的定义一脉相承：都是能在人的视觉系统中形成视觉印象的客观对象呈现的方式殊途同归：最终显示在屏幕上都是由单个像素构成的若干区域二者的区别：数据来源通常不同：

springboot+mybatis数据库中字段带下划线自动转换成实体_mybatis的sql大写下划线字段用实体接收时自动封装_TByoung的博客-程序员秘密

当数据库字段使用xxx_bbb的时候java中的实体类遵照命名规则来说不应该出现下划线所以使用springboot集成mybatis的时候很简单的就可以吧数据库的下划线字段映射成不带下划线的xxx_bbb--->xxxBbb只需要在配置yml配置文件中加上mybatis: configuration: mapUnderscoreToCamelCase: true...

使STL容器线程安全的类（转载）_flyaflya的博客-程序员秘密

C++ code colored by C++2HTML.comment { color: #999999; font-style: italic; }.pre { color: #000099; }.string { color: #009900; }.char { color: #009900; }.float { color: #996600;