Kafka监控软件介绍
KafkaOffsetMonitor
下载安装
使用方法
This is a small webapp, you can run it locally or on a server, as long as you have access to the ZooKeeper nodes controlling kafka.
1 | java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk serveIp1,serveIp2,serveIp3 --port 8080 --refresh 10.seconds --retain 2.days |
The arguments are:
- ZK: the ZooKeeper hosts;
- port: on what port will the app be available;
- refresh: how often should the app refresh and store a point in the DB;
- retain: how long should points be kept in the DB;
- dbName: where to store the history (default ‘offsetapp’);
Kafka Manager
安装
sbt安装
1 | curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo |
下载,编译
下载,并编译源码:
1 | git clone https://github.com/yahoo/kafka-manager |
生成的包会在kafka-manager/target/universal
下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt.
打包部署
打好包好,在部署机器上解压,修改好配置文件,就可以运行了。
解压:1
unzip kafka-manager-1.0-SNAPSHOT.zip
配置运行
配置
修改conf/application.conf
,把kafka-manager.zkhosts
改为自己的zookeeper服务器地址
1 | kafka-manager.zkhosts="localhost:2181" |
启动
1 | ./bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=8080 |
kafka-manager其他方面
查看帮助
1 | ./bin/kafka-manager -h |
后台运行
1 | nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 & |
默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:
1 | ./kafka-manager -Dhttp.port=9001 |
如果不想自己编译源文件,也可以通过下面的地址直接下载,kafka-manager-1.0-SNAPSHOT.zip下载地址
Kafka-web-console
不过这个项目好像不再进行更新了,想了解这个项目的话可以进入github主页去研究研究。
Kafka Eagle
kafka-eagle 是最近新开源的一个 Kafka 监控系统,做得也挺不错的,这里介绍不再详述,感兴趣的同学可以参考以下文章:
公众号
个人公众号(柳年思水)已经上线,最新文章会同步在公众号发布,欢迎大家关注~