CentOS上Kafka监控如何配置实现

在CentOS上配置Kafka监控可以通过多种工具和框架来实现，下面将详细介绍几种常见的监控方案。

使用KnowStreaming进行监控

KnowStreaming是一款专注于Apache Kafka集群管理的专业工具，具备零侵入、全覆盖、零成本、界面化等特点。以下是使用KnowStreaming进行监控的步骤：

1. 环境准备：

   • 确保你的CentOS机器配置满足要求，例如4核/8G内存。

2. 下载部署包：

   • 从KnowStreaming官网获取对应版本的离线安装包，例如 KnowStreaming-3.0.0-beta.1-offline.tar.gz。

3. 解压部署包：

   tar -zxf KnowStreaming-3.0.0-beta.1-offline.tar.gz
   

4. 添加部署脚本：

   • 下载部署脚本 deploy_KnowStreaming-offline.sh。

5. 执行安装脚本：

   sh deploy_KnowStreaming-offline.sh
   

6. 访问管理界面：

   • 打开浏览器，访问 http://:8080，使用默认账号 admin/admin 登录。

使用Kafka Manager进行监控

Kafka Manager是一个常用的Kafka监控工具，能够实现broker级监控和consumer消费进度监控。以下是安装步骤：

1. 安装依赖：

   yum install -y java-1.8.0-openjdk-devel
   

2. 下载并解压Kafka Manager：

   wget https://github.com/yahoo/CMAK/releases/download/0.11.0/kafka_manager-0.11.0.tgz
   tar -xzf kafka_manager-0.11.0.tgz
   cd kafka_manager-0.11.0
   

3. 编译并安装：

   mvn clean package
   ./bin/zookeeper-server-start.sh config/zookeeper.properties
   ./bin/kafka-server-start.sh config/server.properties
   

4. 访问管理界面：

   • 打开浏览器，访问 http://:9090，使用默认账号 admin 和密码 admin 登录。

使用Kafka Eagle进行监控

Kafka Eagle是另一个轻量级的Kafka监控工具，安装和配置相对简单。以下是安装步骤：

1. 下载并解压Kafka Eagle：

   wget https://github.com/xiaoxian8023/kafka-eagle/releases/download/v1.2.5/kafka-eagle-1.2.5.zip
   unzip kafka-eagle-1.2.5.zip
   cd kafka-eagle-1.2.5
   

2. 配置多个Zookeeper和Kafka集群： 编辑 conf/application.properties 文件，添加如下配置：

   multi zookeeper & kafka cluster list
   cluster-test.zk.list=tvm11:2181,tvm12:2181,tvm13:2181
   cluster-prod.zk.list=vm11:2181,vm12:2181,vm13:2181
   
   broker size online list
   cluster-test.kafka.eagle.broker.size=20
   cluster-prod.kafka.eagle.broker.size=20
   
   zk client thread limit
   kafka.zk.limit.size=25
   
   kafka eagle web端口，默认8048
   kafka.eagle.webui.port=8048
   
   kafka offset storage
   cluster-test.kafka.eagle.offset.storage=kafka
   cluster-prod.kafka.eagle.offset.storage=kafka
   
   kafka metrics, 30 days by default
   

3. 启动Kafka Eagle：

   ./bin/startup.sh
   

4. 访问管理界面：

   • 打开浏览器，访问 http://:8048，使用默认账号 admin 和密码 admin 登录。

使用Prometheus和Kafka Exporter进行监控

Prometheus是一个强大的开源监控系统和时间序列数据库，结合Kafka Exporter可以采集Kafka的监控指标。以下是配置步骤：

1. 下载并解压Kafka Exporter：

   wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.3.1/kafka_exporter-1.3.1.linux-amd64.tar.gz
   tar -xzf kafka_exporter-1.3.1.linux-amd64.tar.gz
   cd kafka_exporter-1.3.1.linux-amd64
   

2. 启动Kafka Exporter：

   ./kafka_exporter --kafka.server=127.0.0.1:9092 --web.listen-address=:9308
   

3. 配置Prometheus： 编辑 prometheus.yml 文件，添加如下配置：

   scrape_configs:
     - job_name: 'kafka'
       static_configs:
         - targets: ['127.0.0.1:9308']
   

4. 重启Prometheus：

   systemctl restart prometheus
   

5. 配置Grafana（可选）：

   • 安装并配置Grafana，添加Prometheus作为数据源，并创建Kafka监控面板。

通过以上步骤，你可以在CentOS上配置实现Kafka监控。根据具体需求选择合适的监控工具和方法，可以有效地提升Kafka集群的管理效率和运维水平。