117笔记问答在Debian上配置Kafka的高可用性需要考虑以下几个步骤：
-
安装和配置Zookeeper： Kafka使用Zookeeper进行集群管理和Leader选举。首先需要在Debian上安装Zookeeper。
sudo apt-get update sudo apt-get install zookeeper
-
安装Kafka： 下载Kafka安装包并解压。
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz tar -xzf kafka_2.12-3.5.2.tgz cd kafka_2.12-3.5.2
-
配置Kafka Broker： 编辑Kafka的配置文件
server.properties，设置以下关键配置：broker.id=1 listeners=PLAINTEXT://:9092 log.dirs=/tmp/kafka-logs num.network.threads=3 num.io.threads=8 batch.size=16384 log.flush.interval.messages=10000 log.flush.interval.ms=1000 log.segment.bytes=1073741824 log.retention.hours=168 log.retention.check.interval.ms=300000
-
配置多个Broker： 为每个Broker实例编辑相应的
server.properties文件，修改broker.id和其他唯一标识符。 -
创建Topic： 创建Topic并指定副本数和分区数。
bin/kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3
-
配置ISR和Leader选举： Kafka会自动管理ISR（In-Sync Replica）列表并执行Leader选举。确保
min.insync.replicas配置足够高，以保证数据可靠性。min.insync.replicas=2
-
启动Kafka和Zookeeper： 启动Zookeeper和Kafka服务。
bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.properties
-
监控和管理： 使用Kafka提供的工具进行监控和管理，如
kafka-topics.sh、kafka-consumer-groups.sh等。