将隐藏数据转化为强大的业务洞察力

[seoexpertshagor]

一个可水平扩展健壮的开源消息传递平台在过去几年中在数据处理社区取得了长足的进步。 Kafka 依赖于生产者-消费者模型，您可以在其中使用 API 连接到主题（Kafka 类别标识符）中的底层消息，以进行读取和写入。但是这个基本功能仍然让程序员需要处理很多工作，因为它是 Kafka 平台的一个相对低级的接口：您很快就会注意到您正在从一个应用程序到另一个应用程序重复类似结构的支持代码。 这种对“多余脂肪”的观察导致希望提高依赖 Kafka 的处理应用程序的抽象级别，幸运的是，可以找到帮助： Kafka Streams 客户端库于 2016 年推出，并于 2017 年 6 月全面成熟，是数据世界的游戏规则改变者。

它允许 Kafka 内部的数据处理作为标准 Java 或 Scala 应用程序的一部分发生，而无需创建单独的集群来进行处理。 Kafka 流的好处 Kafka Streams 具有弹性、高度可 瑞士电话号码表 扩展性和容错性，提供毫秒级的处理延迟。无论是在容器、虚拟机、云还是本地运行，它的工作方式都完全相同。支持所有三个平台（Linux、Mac、Windows）。 而作为计算领域的一项技术突破，Kafka 也被誉为世界上第一个提供“exactly once”能力的流处理库。这意味着能够恰好执行一次读取-处理-写入循环，既不会丢失任何输入消息，也不会产生重复的输出消息。 Kafka Streams 也是一个非批处理（非缓冲）系统，这意味着它一次处理一个记录的流，但它支持对数据的无状态、有状态或窗口操作。 



从您的角度来看Kafka Streams 只是您添加到应用程序中的另一个 JAR，您的应用程序平台直接定义了可用的处理能力。 您可以将 Kafka 视为对数据流进行有组织管理的系统，将 Kafka Streams 视为对数据进行计算转换的手段，从而使您免于与 Kafka 集群进行内部交互的烦恼。Kafka 交互的这种简化使您可以使 Kafka 适应各种用例，尤其是将其使用扩展到频谱的低端。 kafka-streams-datumize-ddc数据化和卡夫卡 Datumize 最近扩展了他们的 Datumize Data Aggregator (DDA) 应用程序以在 Kafka Streams 上运行，通常与Datumize Data Collector (DDC)结合使用作为边缘的捕获计算节点。这种组合允许对实时数据采集和处理进行轻量级设置，提供一个灵活的平台。