Apache Camel 与 ActiveMQ 集群

Question

我正在尝试确定用于集群 ServiceMix 3.3.1/Camel 2.1/AMQ 5.3 应用程序的选项。我正在执行大量消息处理，并且需要集群以获得高可用性和水平可扩展性。

这基本上是我的应用程序所做的...HTTP->QUEUE->PROCESS->DATABASE->TOPIC

来自（“码头：http://0.0.0.0/inbound") .to（“activemq：inboundQueue”）;

from（“activemq：inboundQueue？maxConcurrentConsumers=50”） .process（解码（）） .过程（transform（）） .process（验证（）） .process（saveToDatabase（）） .to（“activemq：topic：ouboundTopic”）;

因此，我已经阅读了所有 ServiceMix 和 AcitveMQ 集群页面，但仍然不确定该走哪条路。

我知道我可以使用主/从设置来实现 HA，但这对可扩展性没有帮助。

我读过有关经纪人网络的内容，但不确定这如何适用。例如，如果我在集群中的多个节点上部署相同的 Camel 路由，它们将如何准确地“交互”？如果我将 HTTP 生产者指向一个节点 (NodeA)，哪些消息将发送到 NodeB？队列/主题是否会在节点 A/B 之间共享...如果是，消息是如何拆分或重复的？另外，外部客户端如何准确订阅我的“outboundTopic”（并获取所有消息等）？

或者，我一直在想我应该在多个 ServiceMix 实例之间共享一个代理。这会更干净，因为只需要管理一组队列/主题，并且我可以通过添加更多实例来扩展。但是，现在我仅限于单个代理的可扩展性，并且又回到了单点故障......

如果有人能为我澄清权衡...我将不胜感激。

Answer 1

当您使用 ServiceMix/Camel/ActiveMQ 时，有多种策略可以扩展。由于每个软件都提供了如此多的选项，因此您可以采取多种路径，具体取决于应用程序的哪些部分需要扩展。以下是一些策略的高级列表：

• 增加入站 Jetty 实例的数量 - 这需要启动更多 Web 服务器实例，并在多个实例之间负载平衡请求，或者公开多个 URL 并将所有请求发送到 ActiveMQ 中的同一入站队列。

• 增加 ActiveMQ 实例的数量 - 通过启动额外的 ActiveMQ 实例并将它们连接在一起，您将创建一个代理网络。在某些圈子中，这被称为分布式队列，因为给定的队列可以在网络中的所有代理上可用。但是，如果您要启动 ActiveMQ 的多个实例，则应该考虑启动 ServiceMix 的其他实例。

• 增加 ServiceMix 实例的数量 - 每个 ServiceMix 实例都嵌入一个 ActiveMQ 实例。通过增加 ServiceMix 实例的数量，您不仅可以增加 ActiveMQ 实例的数量（可以联网以形成代理网络），而且还可以在这些 ServiceMix 实例上部署更多应用程序副本。如果您需要增加 ActiveMQ 或 ServiceMix 实例的数量，那么您可以部署一个消费应用程序，并为每个实例提供适当数量的并发使用者。消息不会被拆分或重复，它们会根据消费者的需求以循环方式分发给队列中的所有消费者，无论它们位于何处。也就是说，如果网络中的一个 ActiveMQ 实例没有消费者，则它的队列实例上不会有任何要消费的消息。这导致了我的最后一个建议，增加轮询入站队列的消费者数量。

• 增加入站队列上的 JMS 使用者数量 - 这可能是提高吞吐量的最简单、最强大且最易于管理的方法。这是最简单的，因为您正在部署消费应用程序的其他实例，以便它们竞争来自入站队列的消息（无论它们是竞争本地队列还是通过代理网络分发的队列）。这可能就像增加并发消费者的数量一样简单，或者通过拆分包含消费者的应用程序部分并将其部署到 ServiceMix 的许多实例来复杂一些。它是最强大的，因为它通常并不困难，并且扩展事件驱动的应用程序总是通过增加消费者的数量来完成。它是最易于管理的，因为您可以更改应用程序的打包方式，以便使用的应用程序完全独立，从而能够进行分发。

最后一条建议是扩展应用程序最有效的方法。只要传入 HTTP 端点可以处理大量流量，您可能只需要增加入站队列上的使用者即可。这样做的一个重要原因是，消费者或他们移交的 bean 正在承担所有繁重的工作，即主要的处理和验证工作。通常，这个过程最终需要最多的资源。

希望这能提供您开始朝一个方向或几个方向前进所需的信息，具体取决于您实际需要扩展的应用程序的哪一部分。如果您有任何疑问，请告诉我。

布鲁斯