Apache Kafka 是一個強大的分散式事件流平台，每天能夠處理數萬億個事件。 Kafka 最初由 LinkedIn 開發並於 2011 年初開源，現已發展成為許多現代資料架構的核心骨幹。在本指南中，我們將引導您完成開始使用 Apache Kafka 所需的一切，從了解其架構到設定並執行基本操作。
Apache Kafka 旨在處理即時資料來源。它作為一個高吞吐量、低延遲的平台來處理資料流。 Kafka通常用於建立即時串流資料管道和適應資料流的應用程式。一些常見的用例包括日誌聚合、即時分析和串流處理。
在深入了解設定和操作之前，有必要先了解 Kafka 中的一些關鍵概念和術語：
設定 Apache Kafka 涉及幾個步驟，包括下載必要的軟體、設定它和啟動服務。在本節中，我們將提供詳細的演練，以確保您可以順利啟動並運行 Kafka 環境。
開始設定 Kafka 之前，請確保您的系統符合以下先決條件：
Java 開發套件 (JDK)：Kafka 需要 Java 8 或更高版本。您可以使用以下命令檢查您的 Java 版本：
java -version
如果未安裝 Java，您可以從 Oracle 網站下載並安裝它，或使用套件管理器，例如適用於基於 Debian 的系統的 apt 或適用於 macOS 的brew：
# For Debian-based systems sudo apt update sudo apt install openjdk-11-jdk # For macOS brew install openjdk@11
Apache ZooKeeper：Kafka 使用 ZooKeeper 來管理分散式設定和同步。 ZooKeeper 與 Kafka 捆綁在一起，因此您無需單獨安裝。
下載 Kafka：造訪官方 Apache Kafka 下載頁面並下載最新版本的 Kafka。截至撰寫本文時，Kafka 2.8.0 是最新的穩定版本。
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
解壓縮下載的檔案：將 tar 檔案解壓縮到您選擇的目錄。
tar -xzf kafka_2.13-2.8.0.tgz cd kafka_2.13-2.8.0
啟動 ZooKeeper：Kafka 需要 ZooKeeper 才能運作。使用提供的設定檔啟動 ZooKeeper 服務。
bin/zookeeper-server-start.sh config/zookeeper.properties
ZooKeeper 應在預設連接埠 2181 上啟動。您應該會看到指示 ZooKeeper 已啟動並正在執行的日誌訊息。
啟動 Kafka Broker：開啟新的終端機視窗並使用提供的設定檔啟動 Kafka Broker。
bin/kafka-server-start.sh config/server.properties
Kafka 應在預設連接埠 9092 上啟動。您應該會看到指示 Kafka 代理程式已啟動並正在執行的日誌訊息。
雖然預設配置適合開發和測試，但您可能需要為生產環境自訂設定。一些關鍵設定檔包括：
您可以編輯這些設定檔以滿足您的需求。例如，要變更日誌目錄，您可以編輯 server.properties 檔案中的 log.dirs 屬性：
log.dirs=/path/to/your/kafka-logs
為了方便管理，特別是在Linux伺服器上，您可以為ZooKeeper和Kafka建立systemd服務檔案。這允許您使用 systemctl 啟動、停止和重新啟動這些服務。
ZooKeeper服務檔案：在/etc/systemd/system/目錄下建立一個名為zookeeper.service的檔案：
[Unit] Description=Apache ZooKeeper After=network.target [Service] Type=simple ExecStart=/path/to/kafka/bin/zookeeper-server-start.sh /path/to/kafka/config/zookeeper.properties ExecStop=/path/to/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Kafka 服務檔案：在 /etc/systemd/system/ 目錄下建立一個名為 kafka.service 的檔案：
[Unit] Description=Apache Kafka After=zookeeper.service [Service] Type=simple ExecStart=/path/to/kafka/bin/kafka-server-start.sh /path/to/kafka/config/server.properties ExecStop=/path/to/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Enable and Start Services: Enable and start the services using systemctl:
sudo systemctl enable zookeeper sudo systemctl start zookeeper sudo systemctl enable kafka sudo systemctl start kafka
You can now manage ZooKeeper and Kafka using standard systemctl commands (start, stop, status, restart).
To verify that your Kafka setup is working correctly, you can perform some basic operations such as creating a topic, producing messages, and consuming messages.
Creating a Topic:
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
You should see a confirmation message indicating that the topic has been created successfully.
Producing Messages:
bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
Type a few messages in the console and press Enter after each message.
Consuming Messages:
Open a new terminal window and run:
bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092
You should see the messages you produced in the previous step.
By following these steps, you should have a fully functional Apache Kafka environment set up on your system. This setup forms the foundation for developing and deploying real-time data streaming applications using Kafka.
Getting started with Apache Kafka can seem daunting, but with the right guidance, you can quickly get up to speed. This guide provided a comprehensive introduction to Kafka, from installation to basic operations and building simple producers and consumers. As you continue to explore Kafka, you will uncover its full potential for building robust, real-time data pipelines.
By following this guide, you’ve taken the first steps in mastering Apache Kafka. Happy streaming!
以上是Apache Kafka 入門的詳細內容。更多資訊請關注PHP中文網其他相關文章！
