Việc cài đặt Kafka tương đối đơn giản. Bạn chỉ cần vào trang web của Kafka rồi tiến hành download phiên bản mới nhất của Kafka (phiên bản mới nhất tính tới thời điểm của bài viết này (12/11/2018) là 2.0.1).

Sau khi download xong bạn tiến hành giải nén vào một thư mục bất kỳ rồi thiết lập biến KAFKA_HOME và thêm thư mục bin của Kafka vào Path tương tự như trong phần cài đặt Spark .

Để kiểm tra xem việc cài đặt thiết lập môi trường cho Kafka đã hoàn tất hay chưa, ta thử chạy môt chương chình nhỏ sau. Lưu ý, đối với hệ điều hành windows ta dùng các file trong mục bin/windows còn với hệ điều hành linux ta dùng các file trong mục bin. Trong phần này, chúng ta sẽ chạy thử chương trình trên hệ điều hành Windows. Để chạy trên hệ điều hành khác, các bạn có thể tham khảo tại link sau.

1. Chạy server

Do Kafka sử dụng ZooKeeper nên trước hết ta phải khởi chạy một Zookeeper server bằng lệnh sau:

Như vậy khi Zookeeper khởi chạy, nó sẽ có cổng mặc định là 2181. Tiếp theo ta mở một cửa sổ command khác và khởi chạy Kafka server bằng lệnh sau:

Sau khi chạy lệnh trên, một broker (id=0) được tạo ra và có cổng mặc định là 9092.

2. Tạo một topic

Ta tiến hành tạo một topic thử nghiệm (tên testDemo) với 1 partition và 1 replica như sau:

Đợi một lúc, sẽ có một dòng tin nhắn thông báo việc tạo topic đã thành công. Để kiểm tra danh sách các topic, ta có thể dùng lệnh sau:

Ngoài ra, để thay đổi thông số của một topic (số lượng partition, replica) ta có thể dùng lệnh alter như sau:

Ta cũng có thể dùng lệnh delete để xóa một topic như sau:

3. Kiểm tra việc truyền tin nhắn.

Trước hết ta chạy Producer và Consumer. Sau đó ta ta kiểm tra xem Consumer có nhận được tin nhắn từ Producer hay không bằng cách sau.

  • Mở một cửa sổ Command và nhập lệnh sau để chạy Producer:
  • Mở một cửa sổ Command khác và nhập lệnh sau để chạy Consumer:
  • Sau đó nhập một vài tin nhắn trong cửa sổ Producer và kiểm tra xem tin nhắn đó có hiện trên Consumer hay không. Nếu có, chứng tỏ việc cài đặt và thiết lập môi trường cho Kafka đã hoàn tất.

Việc chạy Kafka trên các hệ điều hành khác cũng tương tự như các bước ở trên. Các bạn có thể tham khảo code tổng hợp cho việc chạy Kafka trên Linux dưới đây.

Tháng Mười Một 12, 2018
ITechSeeker