支付宝钱包系统架构
最全解析:支付宝钱包系统架构内部揭秘
作者: 全球CTO 俱乐部来源: 投资中国2015-07-23 20:30:00
亿邦动力网App 电商新闻全新栏目——每日一干,与广大电商同胞相约每晚8:30,献上最精彩的一“干”。如果你也有关于电商领域的运营法宝、营销创意、管理迷津...... 欢迎投稿至:[email protected],期待你的分享,共同成长,一起“干”!
最全解析:支付宝钱包系统架构内部揭秘(架构图)
支付宝系统架构概况
典型处理默认
资金处理平台
财务会计
核算中心
交易
柔性事务
数据缓存
支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)
Metamorphosis(MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn 的Kafka ,具有消息存储顺序写、吞吐量大和支持本地和XA 事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,在淘宝和支付宝有着广泛的应用,现已开源。
Metamorphosis 是淘宝开源的一个Java 消息中间件。关于消息中间件,你应该听说过JMS 规范,以及一些开源实现,如ActiveMQ 和HornetQ 等。Metamorphosis 也是其中之一。 Metamorphosis 的起源是我从对linkedin 的开源MQ –现在转移到apache 的kafka 的学习开始的,这是一个设计很独特的MQ 系统,它采用pull 机制,而不是一般MQ 的push 模型,它大量利用了zookeeper 做服务发现和offset 存储,它的设计理念我非常欣赏并赞同,强烈建议你阅读一下它的设计文档,总体上说metamorphosis 的设计跟它是完全一致的。但是为什么还需要meta 呢?
简单概括下我重新写出meta 的原因
1.Kafka 是scala 写,我对scala 不熟悉,并且kafka 整个社区的发展太缓慢了。
2. 有一些功能是kakfa 没有实现,但是我们却需要:事务、多种offset 存储、高可用方案(HA)等。
3.Meta 相对于kafka 特有的一些功能:
(1)文本协议设计,非常透明,支持类似memcached stats的协议来监控broker ;
(2)纯Java 实现,从通讯到存储,从client 到server 都是重新实现;
(3)提供事务支持,包括本地事务和XA 分布式事务;
(4)支持HA 复制,包括异步复制和同步复制,保证消息的可靠性;
(5)支持异步发送消息;
(6)消费消息失败,支持本地恢复;
(7)多种offset 存储支持,数据库、磁盘、zookeeper ,可自定义实现支持group commit ,提升数据可靠性和吞吐量;
(8)支持消息广播模式;
(9)一系列配套项目:python 客户端、twitter storm的spout 、tail4j 等。
因此meta 相比于kafka 的提升是巨大的,meta 在淘宝和支付宝都得到了广泛应用。现在每天支付宝每天经由meta 路由的消息达到120亿,淘宝也有每天也有上亿的消息量。 Meta 适合的应用
(1)日志传输,高吞吐量的日志传输本来就是kafka 的强项;
(2)消息广播功能,如广播缓存配置失效;
(3)数据的顺序同步功能,如mysql binlog复制;
(4)分布式环境下(broker,producer,consumer 都为集群)的消息路由,对顺序和可靠性有极高要求的场景;
作为一般MQ 来使用的其他功能:
v