Apache Kafka คืออะไร และวิธีติดตั้งบน Cloud Server

ทดสอบบน Ubuntu Server 24.04 LTS

1. 1

   ติดตั้ง Java

   คัดลอก

   sudo apt update
   sudo apt -y install openjdk-21-jre-headless

2. 2

   ดาวน์โหลดและแตกไฟล์ Kafka

   ตรวจเลขเวอร์ชันล่าสุดจากเว็บทางการก่อนดาวน์โหลด

   คัดลอก

   cd /opt
   sudo curl -LO https://downloads.apache.org/kafka/3.9.0/kafka_2.13-3.9.0.tgz
   sudo tar -xzf kafka_2.13-3.9.0.tgz
   sudo mv kafka_2.13-3.9.0 kafka

3. 3

   สร้าง Cluster ID และจัดรูปแบบที่เก็บข้อมูล

   คัดลอก

   cd /opt/kafka
   KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid)
   bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties

4. 4

   เริ่มบริการ

   คัดลอก

   sudo /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/kraft/server.properties

5. 5

   สร้าง Topic และทดสอบส่งข้อความ

   คัดลอก

   bin/kafka-topics.sh --create --topic orders --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1
   bin/kafka-console-producer.sh --topic orders --bootstrap-server localhost:9092
   bin/kafka-console-consumer.sh --topic orders --from-beginning --bootstrap-server localhost:9092

6. 6

   ตั้งเป็นบริการของระบบ

   สร้างไฟล์ systemd unit เพื่อให้ Kafka เริ่มทำงานอัตโนมัติหลังรีบูตและรีสตาร์ตเมื่อล่ม

บนงานจริงควรตั้งอย่างน้อยสามโหนดและกำหนด replication factor เป็น 3 เพื่อไม่ให้ข้อมูลหายเมื่อโหนดหนึ่งเสีย