如何構建安全的 Kafka 集群

在 Kafka 集群中，Kafka 節點是乙個代理，訊息由主題承載，可以儲存在乙個或多個分割槽中。 發布訊息的應用是生產者，消費訊息的應用是消費者，多個消費者可以讓消費組共同消費乙個主題中的訊息。

準備 3 臺 Debian 伺服器並配置靜態 IP 位址和主機名。

軟體發行說明。

注意：kafka 是 Scala 編譯器的版本，也就是 Kafka 的版本。

配置日誌目錄並指定 zookeeper 伺服器。

子節點配置。

防火牆設定。

單獨啟動 Kafka

在 kafka01（broker）：test-kafka 上建立乙個測試 tpoic，我們在其中指定了 3 個副本和 1 個分割槽。

在 Kafka01 上建立主題後，該主題也會同步到集群中的另外兩個 Broker：kafka02 和 kafka03

這裡我們向 broker（id=0） 的 topic=test-kafka 傳送一條訊息。

在 kafka02 上使用 broker03 的訊息。

在 kafka03 上使用 broker02 的訊息。

然後你們都可以收到一條訊息。

這是因為使用訊息的兩個命令是由兩個不同的使用者建立的。 如果我們啟動 Consumer 並指定 Consumer Group ID，我們就可以作為乙個 Consumer Group 一起工作，同一分割槽、同一主題的訊息庫 pin 只會同時被 consumer 組中的乙個 consumer 消費。

我沒有專門做過WebLogic開發。 根據錯誤，似乎無法解析名稱。 我認為您可能在不繫結具有此名稱的物件或服務作為鍵的情況下獲得它。

或其他問題。 我不知道具體情況。 我的話只是我看到你發布的錯誤的第一反應。

以上純屬我的。

1）生產者向主題傳送訊息。

2） Kafka 將所有訊息儲存在為該特定主題配置的分割槽中。確保訊息在分割槽之間平均共享。 如果乙個生產者傳送兩條訊息，並且有兩個分割槽，Kafka 會將一條訊息儲存在第乙個分割槽中，第二條訊息儲存在第二個分割槽中。

3）消費者訂閱特定主題。一旦消費者訂閱了某個主題，Kafka 就會向消費者提供該主題的當前偏移量，並將該偏移量儲存在 ZooKeeper 系統中。

4）消費者會定期請求Kafka新訊息。當 Kafka 收到來自生產者的訊息時，它會將它們傳遞給消費者。

5）一旦消費者收到訊息並對其進行處理，它就會向Kafka傳送確認。

6） Kafka 接收確認，將偏移量更改為新值，並在 Zookeeper 中更新它。由於偏移量在 ZooKeeper 中保持不變，因此消費者可以正確讀取下一條訊息，即伺服器暴力破解期間的 Rift Messenger。

7） 重複上述過程，直到消費者停止請求。消費者可以隨時倒帶以跳轉到所需的主題偏移量並閱讀所有後續訊息。

在佇列訊息傳遞系統中，具有相同組 ID 的一組使用者將訂閱該主題，而不是單個使用者。 此使用者組被視為單個組，訊息在它們之間共享。

1）生產者定期向主題傳送訊息。

2） Kafka 將所有訊息儲存在為該特定主題配置的分割槽中。

3）單個消費者訂閱特定主題，假設襪子源差異 topic-01，組 ID 為 group-1。

4） Kafka 以與發布-訂閱訊息相同的方式與消費者進行互動，直到新消費者使用相同的組 ID 訂閱相同的主題 topic-01。

5）一旦新的消費者到來，Kafka就會將其操作切換到共享模式，並在兩個消費者之間共享資料。此共享將持續到使用者數達到為主題配置的分割槽數。

6） 一旦消費者數量超過分割槽數量，新消費者將不會收到任何新訊息，直到現有消費者之一取消訂閱。發生這種情況是因為 Kafka 中的每個使用者都會被分配至少乙個分割槽，一旦所有分割槽都分配給現有使用者，新的使用者將不得不等待。

** W3cschool 的 Kafka 基本工作流程。