KafkaOffsetMonitor

下载安装

使用方法

This is a small webapp, you can run it locally or on a server, as long as you have access to the ZooKeeper nodes controlling kafka.

1
java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk serveIp1,serveIp2,serveIp3 --port 8080 --refresh 10.seconds --retain 2.days

The arguments are:

  • ZK: the ZooKeeper hosts;
  • port: on what port will the app be available;
  • refresh: how often should the app refresh and store a point in the DB;
  • retain: how long should points be kept in the DB;
  • dbName: where to store the history (default ‘offsetapp’);

Kafka Manager

源码地址

安装

Kafka Manager安装

sbt安装

sbt安装

1
2
3
curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/
sudo yum install sbt

下载,编译

下载,并编译源码:

1
2
3
git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
sbt clean dist

生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt.

打包部署

打好包好,在部署机器上解压,修改好配置文件,就可以运行了。

解压:

1
unzip kafka-manager-1.0-SNAPSHOT.zip

配置运行

配置

修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址

1
kafka-manager.zkhosts="localhost:2181"

启动

1
./bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=8080

kafka-manager其他方面

查看帮助

1
./bin/kafka-manager -h

后台运行

1
nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &

默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:

1
./kafka-manager -Dhttp.port=9001

如果不想自己编译源文件,也可以通过下面的地址直接下载,kafka-manager-1.0-SNAPSHOT.zip下载地址

Kafka-web-console

源码地址

不过这个项目好像不再进行更新了,想了解这个项目的话可以进入github主页去研究研究。

Kafka Eagle

kafka-eagle 是最近新开源的一个 Kafka 监控系统,做得也挺不错的,这里介绍不再详述,感兴趣的同学可以参考以下文章: