• 欢迎访问 winrains 的个人网站!
  • 本网站主要从互联网整理和收集了与Java、网络安全、Linux等技术相关的文章,供学习和研究使用。如有侵权,请留言告知,谢谢!

标签:kafka

Spring Boot

SpringBoot 系列:Kafka简介&集成

SpringBoot 系列:Kafka简介&集成
近期在做 SOFA 与 SpringCloud 的集成,希望通过一系列的 DEMO 工程去帮助大家更好的使用 SOFA 和 SpringCloud;同时也希望大家一起来参与共建和 star。 GitHub传送门:spring-cloud-sofastack-samples Kafka 简介 官方网站:https://kafka.apache.org/ 功……继续阅读 »

winrains 4个月前 (03-21) 16浏览 0个赞

消息队列

Kafka 入门

Kafka 入门
初识 Kafka 什么是 Kafka Kafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。 Kafka 的基本术语 消息:Kafka 中的数据单元被称为消息,也被称为记录,可以把它看作数据库表中某一行的记录。 批次:为了提高效率……继续阅读 »

winrains 4个月前 (03-07) 19浏览 0个赞

消息队列

RabbitMQ 和 Kafka 的比较

RabbitMQ 和 Kafka 的比较
导言 作为一个有丰富经验的微服务系统架构师,经常有人问我,“应该选择RabbitMQ还是Kafka?”。基于某些原因, 许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的。 不同的场景需要不同的解决方案,选错一个方案能够严重的影响你对软件的设计,开发和维护的……继续阅读 »

winrains 5个月前 (02-22) 23浏览 0个赞

消息队列

详解 Kafka 消费者

详解 Kafka 消费者
之前我们介绍过了 Kafka 整体架构,Kafka 生产者,Kafka 生产的消息最终流向哪里呢?当然是需要消费了,要不只产生一系列数据没有任何作用啊,如果把 Kafka 比作餐厅的话,那么生产者就是厨师的角色,消费者就是客人,只有厨师的话,那么炒出来的菜没有人吃也没有意义,如果只有客人没有厨师的话,谁会去这个店吃饭呢?!所以如果你看完前面的文章意犹未尽……继续阅读 »

winrains 7个月前 (12-14) 18浏览 0个赞

消息队列

详解 Kafka 生产者

详解 Kafka 生产者
上一篇文章我们主要介绍了什么是 Kafka,Kafka 的基本概念是什么,Kafka 单机和集群版的搭建,以及对基本的配置文件进行了大致的介绍,还对 Kafka 的几个主要角色进行了描述,我们知道,不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用,最终是绕不过消息这个词的,这也是 Kafka 最最核心的内容,Kafka 的消息从哪里来?……继续阅读 »

winrains 7个月前 (12-14) 30浏览 0个赞

消息队列

Kafka 基本概述

Kafka 基本概述
什么是 Kafka Kafka 是一个分布式流式平台,它有三个关键能力 订阅发布记录流,它类似于企业中的消息队列 或 企业消息传递系统 以容错的方式存储记录流 实时记录流 Kafka 的应用 作为消息系统 作为存储系统 作为流处理器 Kafka 可以建立流数据管道,可靠性的在系统或应用之间获取数据。 建立流式应用传输和响应数据。 Kafka 作为……继续阅读 »

winrains 7个月前 (12-14) 20浏览 0个赞

消息队列

Kafka设计解析(8):Exactly Once语义与事务机制原理

Kafka设计解析(8):Exactly Once语义与事务机制原理
写在前面的话 本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。 为什么要提供事务机制 Kafka事务机制的实现主要是为了支持 Exactly Once即正好一次语义 操作的原子性 有状态操作的可恢复性 Exactly Once 《Kafka背景及架构介绍》一文中有说明Kafka在0.11.0.0之前的版本中只支持At Leas……继续阅读 »

winrains 9个月前 (10-30) 16浏览 0个赞

消息队列

Kafka设计解析(7):Kafka Stream

Kafka设计解析(7):Kafka Stream
Kafka Stream背景 Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下: Kafka Stream提供了一个非常简单而轻量的Library,它可以非常方便地嵌入任意Java应用……继续阅读 »

winrains 9个月前 (10-30) 16浏览 0个赞

消息队列

Kafka设计解析(6):Kafka高性能架构之道

Kafka设计解析(6):Kafka高性能架构之道
摘要 上一篇文章《Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告》从测试角度说明了Kafka的性能。本文从宏观架构层面和具体实现层面分析了Kafka如何实现高性能。 宏观架构层面 利用Partition实现并行处理 Partition提供并行处理的能力 Kafka是一个Pub-Sub的消息系统,无论是发布还是订阅,都须指定Topi……继续阅读 »

winrains 9个月前 (10-30) 22浏览 0个赞

消息队列

Kafka设计解析(5):Kafka性能测试方法及Benchmark报告

Kafka设计解析(5):Kafka性能测试方法及Benchmark报告
摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告。 性能测试及集群监控工具 Kafka提供了非常多有用的工具,如Kafka设计解析(三)- Kafka High Availability (下)中提到的运……继续阅读 »

winrains 9个月前 (10-30) 23浏览 0个赞