117笔记问答在Debian系统上配置Apache Kafka涉及多个步骤，包括安装Java运行环境、下载和解压Kafka、配置Kafka服务器、启动服务、创建Topic以及监控和管理集群状态。以下是详细的配置步骤：
1. 安装Java运行环境
Kafka是用Java编写的，因此需要先安装Java运行环境。
sudo apt update sudo apt install openjdk-8-jdk java -version
2. 下载和解压Kafka
从Apache Kafka官网下载最新版本的Kafka，然后解压到指定目录。
wget https://downloads.apache.org/kafka/2.8.1/kafka_2.13-2.8.1.tgz tar -xzf kafka_2.13-2.8.1.tgz cd kafka_2.13-2.8.1
3. 配置环境变量
编辑 /etc/profile 文件，添加Kafka和JDK的环境变量。
export KAFKA_HOME=/path/to/kafka_2.13-2.8.1 export PATH=$PATH:$KAFKA_HOME/bin source /etc/profile
4. 配置Kafka服务器
编辑Kafka的 config/server.properties 文件，设置Kafka broker的ID、监听地址、日志目录等。
broker.id=0 listeners=PLAINTEXT://:9092 log.dirs=/tmp/kafka-logs zookeeper.connect=localhost:2181
5. 启动ZooKeeper和Kafka
首先启动ZooKeeper服务：
bin/zookeeper-server-start.sh config/zookeeper.properties
然后启动Kafka服务：
bin/kafka-server-start.sh config/server.properties
6. 创建Topic
创建一个具有多个分区和副本的Topic，以确保高可用性。
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic my_topic
7. 监控和故障转移
使用监控工具如Kafka Manager或Confluent Control Center来实时监控集群状态，及时处理故障。
8. 配置复制因子和最小同步副本数
在创建Topic时，已经通过 --replication-factor 参数设置了复制因子为3。你可以使用以下命令查看Topic的详细信息，确认复制因子和分区数：
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my_topic
9. 扩展集群
为了进一步提高可用性和容错能力，可以添加更多的Kafka broker节点，并确保每个broker都有独立的配置文件和日志目录。
10. 安全配置（可选）
- 启用SASL认证：编辑Kafka的
config/server.properties文件，启用SASL认证。
listeners=SASL_PLAINTEXT://:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=PLAIN
- 添加SSL配置：创建SSL目录，生成SSL证书，修改Kafka配置文件以启用SSL。
mkdir -p kafka/ssl keytool -genkey -alias localhost -keyalg RSA -keystore kafka/ssl/truststore.jks -validity 3650
修改 server.properties 文件：
listeners=SSL://:9093 security.inter.broker.protocol=SSL ssl.trustStore.location=/path/to/kafka/ssl/truststore.jks ssl.trustStore.password=truststore-password ssl.keystore.location=/path/to/kafka/ssl/keystore.jks ssl.keystore.password=keystore-password ssl.key.password=key-password
11. 权限设置（可选）
启用ACLs，创建用户和用户组，分配权限。
authorization.enable=true kafka-topics.sh --create --topic my_topic --partitions 3 --replication-factor 3 --authorizer-properties zookeeper.connect=localhost:2181 --create kafka-users.sh --create --group myGroup kafka-users.sh --create --user myUser --group myGroup kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow --user myUser --operation Read --topic my_topic
以上步骤涵盖了在Debian系统上配置Kafka的基本流程，包括安装、配置、启动、监控以及安全设置。根据实际需求，您可能还需要进行进一步的优化和调整。