PostgreSQL 14中两阶段提交的逻辑解码正文
fujitsu oss团队和postgresql开源社区合作在pg14中添加了在逻辑复制中对两阶段提交进行解密的功能。下面看看这项功能是什么？
背景
两阶段提交是事务以两阶段进行提交的一种机制。通常在分布式数据库中用于保证一致性。事务的两阶段是prepare阶段和commit／rollback阶段。pg中两阶段提交的命令是：
prepare transaction
commit prepared
rollback prepared
pg在8．0版本已经支持了两阶段提交，10．0版本支持逻辑复制。但是逻辑复制中一直都不支持两阶段提交。单实例中已经支持了prepare transaction、commit prepared和rollback prepared命令，但是当这些命令需要逻辑复制到备机时，他们不再保持原始含义。prepare transaction命令被视为nop，而根本没有解码。commit prepared命令被视为commit，rollback prepared命令被视为abort。
什么是两阶段提交
两阶段提交是一种原子提交协议，有助于维护分布式数据库之间的一致性。提供数据库内原子性的普通提交不足以为跨数据库的事务提供一致性。为说明这个问题，我们举一个例子：
1） john在a银行有300＄
2） mark在b银行有100＄
3） john想给mark转100＄
事务进行过程中，需要从a银行提取100＄到银行b。事务结束的时候，应该都有200＄．如果在转账的过程中，任何时候任何一笔交易失败，那么账户状态应该恢复到转账开始前的状态。事务可能因各种原因而失败。如果在事务提交之前发生任何中断，则该事务会回滚。在我们的示例中，如果john的账户中扣除金额时发生中断，那么中断口john的账户不应该减少。这就是简单的提交如何保持数据库内的一致性。
但是我们考虑这样一种情况，即从john账户中扣除100＄的事务在一次提交时成功，但向mark在b银行的账户中添加100＄的事务失败而被回滚。然后此操作结束后，虽然john账户已扣款，但mark将不会收到该金额。100＄消失了。在处理分布式事务时，简单的提交有可能失败。
分布式事务的分步执行
对于两阶段提交，其中一个数据库充当分布式事务的协调器。
阶段1
一个数据库开始应用事务，然后做prepare。它以prepare消息形式发送prepared事务到其它数据库。第2个数据库获取到prepare消息，然后prepare该事务。prepare涉及事务中的修改，但不提交。这些脏数据写到磁盘以持久化。一旦所有数据库都prepare了事务，并且有关该事务的所有信息都存储到磁盘上，prepare阶段就完成了。
阶段2
接下来，仲裁器启动提交阶段。如果第2个数据库由于某种原因未能准备事务，则仲裁器启动回滚阶段。因此根据prepare是否成功，事务要么提交，要么回滚。在最后提交阶段发生中断是可以恢复的，因为所需的prepare事务已经写入磁盘并可以重新应用。
两阶段提交与单实例数据库并不相关，但若数据复制跨多个数据库实例时，就相关了。
逻辑复制中支持两阶段提交非常重要。
功能概述
在pg14版本前，逻辑复制事务仅在事务提交后才被解码和复制。这是为了避免复制事务可能最终被中止。
提交时解码事务
pg14的逻辑复制支持prepare transaction、commit prepared和roolback prepared命令。当prepare transaction命令解码时，事务被解码并复制。prepare transaction就像wal sender中commit一样启动事务重放和解码。
prepare时解码事务
我们还定义了新的插件回调，允许逻辑解码插件支持两阶段提交。
回调函数
描述
filter＿prepare＿cb
允许插件根据prepare transaction命令中使用的gid过滤prepare时不需要解码的事务
begin＿prepare＿cb
prepare事务的开始
prepare＿cb
当prepare transaction命令被解码时调用
commit＿prepared＿cb
当commit prepared命令解码时调用
rollback＿prepared＿cb
当rollback prepared命令解码时调用
插件修改
test＿decoding
该插件是一个逻辑解码输出插件，作为一个示例帮助用户开发自己的逻辑解码插件。test＿decoding通过逻辑解码机制接收wal，并将其解码为所执行操作的文本表示。
它被修改为能够在prepare时使用新的两阶段回调函数和解码事务
apis的修改
pg＿create＿logical＿replication＿slot（）
该api添加了新的选项指定slot是否支持两阶段提交。输出插件可以使用带有两阶段选项的复制槽以支持两阶段提交。
pg＿create＿logical＿replication＿slot（slot＿name name， plugin name ［， temporary boolean， two＿phase boolean ］ ）
案例
看下怎么检测两阶段提交的事务解码输出：
1） 创建一个复制槽
使用test＿decoding作为输出插件，传入true，这样slot支持两阶段提交解码。
postgres＝＃ select ＊ from pg＿create＿logical＿replication＿slot（＇regression＿slot＇， ＇test＿decoding＇， false， true）；
slot＿name ｜ lsn
－－－－－－－－－－－－－－－－－＋－－－－－－－－－－－
regression＿slot ｜ 0／16b1970
（1 row）
2） 创建一个表
postgres＝＃ create table data（id serial primary key， data text）；
create table
3） 检测prepare事务和commit事务的解码输出内容
postgres＝＃ begin；
postgres＝＊＃ insert into data（data） values（＇5＇）；
postgres＝＊＃ prepare transaction ＇test＿prepared1＇；
postgres＝＃ select ＊ from pg＿logical＿slot＿get＿changes（＇regression＿slot＇， null， null）；
lsn ｜ xid ｜ data
－－－－－－－－－－－＋－－－－－＋－－－－－－－－－－－－－－－－－
0／1689dc0 ｜ 529 ｜ begin 529
0／1689dc0 ｜ 529 ｜ table public．data： insert： id［integer］：3 data［text］：＇5＇
0／1689fc0 ｜ 529 ｜ prepare transaction ＇test＿prepared1＇， txid 529
（3 rows）
postgres＝＃ commit prepared ＇test＿prepared1＇；
postgres＝＃ select ＊ from pg＿logical＿slot＿get＿changes（＇regression＿slot＇， null， null）；
lsn ｜ xid ｜ data
－－－－－－－－－－－＋－－－－－＋－－－－－－－－－－－－－－－－－－
0／168a060 ｜ 529 ｜ commit prepared ＇test＿prepared1＇， txid 529
（4 rows）
postgres＝＃ select ＊ from data；
id ｜ data
－－－－＋－－－－－－
1 ｜ 5
（1 row）
未来
pg14对此功能的更改，有了解码器端的基础架构，允许在prepare时解码两阶段提交。我们还修改了test＿decoding插件以利用此基础架构。
下一步就是把对两阶段的支持实现到pg内部最大的逻辑解码插件－－pgoutput插件中。这个插件支持逻辑复制的publisher／subscriber 模式。他是逻辑复制中使用最广泛的插件。富士通oss团队正在和开源社区合作，以在pg15中添加此功能。
对于分布式数据库中的两阶段事务，pg也需要支持：备机通知主机prepare失败了，发起回滚。这种反馈机制在pg中不支持，是未来改进的方向之一。
基于AI和机器人技术的InMotionTM技术
一加7Pro和华为mate20Pro高颜值高配置也高应该怎么选？
美国宣布从10月18日开始对从欧盟进口的飞机征收10％的惩罚性关税
波士顿动力Spot四足机器人助力医生在远程对患者进行监测和检查
LM系列激光测量传感器的特点以及主要性能参数解析
PostgreSQL 14中两阶段提交的逻辑解码正文
索尼半导体还涉足了哪些业务？
六个绝对不能触碰的win10默认文件夹
人工智能为什么是第四次工业革命
STM32H743的FDCAN发送线程卡死的处理方法
我国动力电池市场规模高速增长，纯电动汽车为下游主要应用市场
华为开发者大会有什么亮点
浅谈云计算六大趋势
用于可穿戴健康监测设备的电化学传感纤维研究进展
罗德与施瓦茨和紫光展锐IoT NTN方向上取得突破性进展
三家企业电池模组焊接方法对比分析
平板发展风向标，华为平板M5青春版成春节居家必备神器
怎样使用PiBakery配置树莓派安装
不充电就能一直使用的核电池能用来干什么？
应该如何有效地防范互联网的安全威胁
背景
两阶段提交是事务以两阶段进行提交的一种机制。通常在分布式数据库中用于保证一致性。事务的两阶段是prepare阶段和commit／rollback阶段。pg中两阶段提交的命令是：
prepare transaction
commit prepared
rollback prepared
pg在8．0版本已经支持了两阶段提交，10．0版本支持逻辑复制。但是逻辑复制中一直都不支持两阶段提交。单实例中已经支持了prepare transaction、commit prepared和rollback prepared命令，但是当这些命令需要逻辑复制到备机时，他们不再保持原始含义。prepare transaction命令被视为nop，而根本没有解码。commit prepared命令被视为commit，rollback prepared命令被视为abort。
什么是两阶段提交
两阶段提交是一种原子提交协议，有助于维护分布式数据库之间的一致性。提供数据库内原子性的普通提交不足以为跨数据库的事务提供一致性。为说明这个问题，我们举一个例子：
1） john在a银行有300＄
2） mark在b银行有100＄
3） john想给mark转100＄
事务进行过程中，需要从a银行提取100＄到银行b。事务结束的时候，应该都有200＄．如果在转账的过程中，任何时候任何一笔交易失败，那么账户状态应该恢复到转账开始前的状态。事务可能因各种原因而失败。如果在事务提交之前发生任何中断，则该事务会回滚。在我们的示例中，如果john的账户中扣除金额时发生中断，那么中断口john的账户不应该减少。这就是简单的提交如何保持数据库内的一致性。
但是我们考虑这样一种情况，即从john账户中扣除100＄的事务在一次提交时成功，但向mark在b银行的账户中添加100＄的事务失败而被回滚。然后此操作结束后，虽然john账户已扣款，但mark将不会收到该金额。100＄消失了。在处理分布式事务时，简单的提交有可能失败。
分布式事务的分步执行
对于两阶段提交，其中一个数据库充当分布式事务的协调器。
阶段1
一个数据库开始应用事务，然后做prepare。它以prepare消息形式发送prepared事务到其它数据库。第2个数据库获取到prepare消息，然后prepare该事务。prepare涉及事务中的修改，但不提交。这些脏数据写到磁盘以持久化。一旦所有数据库都prepare了事务，并且有关该事务的所有信息都存储到磁盘上，prepare阶段就完成了。
阶段2
接下来，仲裁器启动提交阶段。如果第2个数据库由于某种原因未能准备事务，则仲裁器启动回滚阶段。因此根据prepare是否成功，事务要么提交，要么回滚。在最后提交阶段发生中断是可以恢复的，因为所需的prepare事务已经写入磁盘并可以重新应用。
两阶段提交与单实例数据库并不相关，但若数据复制跨多个数据库实例时，就相关了。
逻辑复制中支持两阶段提交非常重要。
功能概述
在pg14版本前，逻辑复制事务仅在事务提交后才被解码和复制。这是为了避免复制事务可能最终被中止。
提交时解码事务
pg14的逻辑复制支持prepare transaction、commit prepared和roolback prepared命令。当prepare transaction命令解码时，事务被解码并复制。prepare transaction就像wal sender中commit一样启动事务重放和解码。
prepare时解码事务
我们还定义了新的插件回调，允许逻辑解码插件支持两阶段提交。
回调函数
描述
filter＿prepare＿cb
允许插件根据prepare transaction命令中使用的gid过滤prepare时不需要解码的事务
begin＿prepare＿cb
prepare事务的开始
prepare＿cb
当prepare transaction命令被解码时调用
commit＿prepared＿cb
当commit prepared命令解码时调用
rollback＿prepared＿cb
当rollback prepared命令解码时调用
插件修改
test＿decoding
该插件是一个逻辑解码输出插件，作为一个示例帮助用户开发自己的逻辑解码插件。test＿decoding通过逻辑解码机制接收wal，并将其解码为所执行操作的文本表示。
它被修改为能够在prepare时使用新的两阶段回调函数和解码事务
apis的修改
pg＿create＿logical＿replication＿slot（）
该api添加了新的选项指定slot是否支持两阶段提交。输出插件可以使用带有两阶段选项的复制槽以支持两阶段提交。
pg＿create＿logical＿replication＿slot（slot＿name name， plugin name ［， temporary boolean， two＿phase boolean ］ ）
案例
看下怎么检测两阶段提交的事务解码输出：
1） 创建一个复制槽
使用test＿decoding作为输出插件，传入true，这样slot支持两阶段提交解码。
postgres＝＃ select ＊ from pg＿create＿logical＿replication＿slot（＇regression＿slot＇， ＇test＿decoding＇， false， true）；
slot＿name ｜ lsn
－－－－－－－－－－－－－－－－－＋－－－－－－－－－－－
regression＿slot ｜ 0／16b1970
（1 row）
2） 创建一个表
postgres＝＃ create table data（id serial primary key， data text）；
create table
3） 检测prepare事务和commit事务的解码输出内容
postgres＝＃ begin；
postgres＝＊＃ insert into data（data） values（＇5＇）；
postgres＝＊＃ prepare transaction ＇test＿prepared1＇；
postgres＝＃ select ＊ from pg＿logical＿slot＿get＿changes（＇regression＿slot＇， null， null）；
lsn ｜ xid ｜ data
－－－－－－－－－－－＋－－－－－＋－－－－－－－－－－－－－－－－－
0／1689dc0 ｜ 529 ｜ begin 529
0／1689dc0 ｜ 529 ｜ table public．data： insert： id［integer］：3 data［text］：＇5＇
0／1689fc0 ｜ 529 ｜ prepare transaction ＇test＿prepared1＇， txid 529
（3 rows）
postgres＝＃ commit prepared ＇test＿prepared1＇；
postgres＝＃ select ＊ from pg＿logical＿slot＿get＿changes（＇regression＿slot＇， null， null）；
lsn ｜ xid ｜ data
－－－－－－－－－－－＋－－－－－＋－－－－－－－－－－－－－－－－－－
0／168a060 ｜ 529 ｜ commit prepared ＇test＿prepared1＇， txid 529
（4 rows）
postgres＝＃ select ＊ from data；
id ｜ data
－－－－＋－－－－－－
1 ｜ 5
（1 row）
未来
pg14对此功能的更改，有了解码器端的基础架构，允许在prepare时解码两阶段提交。我们还修改了test＿decoding插件以利用此基础架构。
下一步就是把对两阶段的支持实现到pg内部最大的逻辑解码插件－－pgoutput插件中。这个插件支持逻辑复制的publisher／subscriber 模式。他是逻辑复制中使用最广泛的插件。富士通oss团队正在和开源社区合作，以在pg15中添加此功能。
对于分布式数据库中的两阶段事务，pg也需要支持：备机通知主机prepare失败了，发起回滚。这种反馈机制在pg中不支持，是未来改进的方向之一。
基于AI和机器人技术的InMotionTM技术
一加7Pro和华为mate20Pro高颜值高配置也高应该怎么选？
美国宣布从10月18日开始对从欧盟进口的飞机征收10％的惩罚性关税
波士顿动力Spot四足机器人助力医生在远程对患者进行监测和检查
LM系列激光测量传感器的特点以及主要性能参数解析
PostgreSQL 14中两阶段提交的逻辑解码正文
索尼半导体还涉足了哪些业务？
六个绝对不能触碰的win10默认文件夹
人工智能为什么是第四次工业革命
STM32H743的FDCAN发送线程卡死的处理方法
我国动力电池市场规模高速增长，纯电动汽车为下游主要应用市场
华为开发者大会有什么亮点
浅谈云计算六大趋势
用于可穿戴健康监测设备的电化学传感纤维研究进展
罗德与施瓦茨和紫光展锐IoT NTN方向上取得突破性进展
三家企业电池模组焊接方法对比分析
平板发展风向标，华为平板M5青春版成春节居家必备神器
怎样使用PiBakery配置树莓派安装
不充电就能一直使用的核电池能用来干什么？
应该如何有效地防范互联网的安全威胁