佳木斯湛栽影视文化发展公司

主頁 > 知識庫 > Transactional replication(事務復制)詳解之如何跳過一個事務

Transactional replication(事務復制)詳解之如何跳過一個事務

熱門標簽:百度競價排名 呼叫中心市場需求 AI電銷 Linux服務器 服務外包 鐵路電話系統(tǒng) 地方門戶網(wǎng)站 網(wǎng)站排名優(yōu)化

在transactional replication, 經常會遇到數(shù)據(jù)同步延遲的情況。有時候這些延遲是由于在publication中執(zhí)行了一個更新,例如update ta set col=? Where ?,這個更新包含巨大的數(shù)據(jù)量。在subscription端,這個更新會分解成多條命令(默認情況下每個數(shù)據(jù)行一個命令),應用到subscription上。 不得已的情況下,我們需要跳過這個大的事務,讓replication繼續(xù)運行下去。

現(xiàn)在介紹一下transactional replication的一些原理和具體的方法

當publication database的article發(fā)生更新時, 會產生相應的日志,Log reader會讀取這些日志信息,將他們寫入到Distribution 數(shù)據(jù)庫的msrepl_transactions和msrepl_commands中。 

Msrepl_transactions中的每一條記錄都有一個唯一標識xact_seqno,xact_seqno對應日志中的LSN。 所以可以通過xact_seqno推斷出他們在publication database中的生成順序,編號大的生成時間就晚,編號小的生成時間就早。

Distributionagent包含兩個子進程,reader和writer。 Reader負責從Distribution 數(shù)據(jù)庫中讀取數(shù)據(jù),Writer負責將reader讀取的數(shù)據(jù)寫入到訂閱數(shù)據(jù)庫.

reader是通過sp_MSget_repl_commands來讀取Distribution數(shù)據(jù)庫中(讀取Msrepl_transactions表和Msrepl_Commands表)的數(shù)據(jù)

下面是sp_MSget_repl_commands的參數(shù)定義

CREATE PROCEDURE sys.sp_MSget_repl_commands 

( 

@agent_id int, 

@last_xact_seqno varbinary(16), 

@get_count tinyint = 0, -- 0 = no count, 1 = cmd and tran (legacy), 2 = cmd only 

@compatibility_level int = 7000000, 

@subdb_version int = 0, 

@read_query_size int = -1 

) 

這個存儲過程有6個參數(shù),在Transactional replication 中,只會使用前4個(并且第三個參數(shù)和第四個參數(shù)的值是固定不變的.分別為0和10000000)。下面是一個例子:

execsp_MSget_repl_commands 46,0x0010630F000002A900EA00000000,0,10000000

@agent_id表示Distributionagentid,每個訂閱都會有一個單獨的Distributionagent來處理數(shù)據(jù)。 帶入@agent_id后,就可以找到訂閱對應的publication 和所有的article。

@last_xact_seqno 表示上一次傳遞到訂閱的LSN。

大致邏輯是:Reader讀取subscription database的MSreplication_subscriptions表的transaction_timestamp列,獲得更新的上一次LSN編號,然后讀取分發(fā)數(shù)據(jù)庫中LSN大于這個編號的數(shù)據(jù)。 Writer將讀取到的數(shù)據(jù)寫入訂閱,并更新MSreplication_subscriptions表的transaction_timestamp列。然后Reader會繼續(xù)用新的LSN來讀取后續(xù)的數(shù)據(jù),再傳遞給Writer,如此往復。

如果我們手工更新transaction_timestamp列,將這個值設置為當前正在執(zhí)行的大事務的LSN,那么distribution agent就會不讀取這個大事務,而是將其跳過了。

下面以一個實例演示一下

環(huán)境如下

Publisher: SQL108W2K8R21

Distributor: SQL108W2K8R22

Subscriber: SQL108W2K8R23

圖中高亮的publication中包含3個aritcles,ta,tb,tc

其中ta包含18,218,200萬數(shù)據(jù),然后我們進行了一下操作

在11:00進行了更新語句,

update ta set c=-11

后續(xù)陸續(xù)對表ta,tb,tc執(zhí)行一些插入操作

insert tb values(0,0)

insert tc values(0,0)

之后我們啟動replication monitor ,發(fā)現(xiàn)有很大的延遲,distribution agent一直在傳遞a)操作產生的數(shù)據(jù)

在subscription database中執(zhí)行下面的語句,得到當前最新記錄的事務編號

declare @publisher sysname 

declare @publicationDB sysname 

declare @publication sysname 

set @publisher='SQL108W2K8R22' 

set @publicationDB='pubdb' 

set @publication='pubdbtest2'

select transaction_timestamp From MSreplication_subscriptions 

where 

publisher=@publisher and 

publisher_db=@publicationDB and 

publication=@publication 

在我的環(huán)境中,事務編號為0x0000014900004E9A0004000000000000

返回到distribution database,執(zhí)行下面的語句,得到緊跟在大事務后面的事務編號. 請將參數(shù)替換成您實際環(huán)境中的數(shù)據(jù)。(請注意,如果執(zhí)行下列語句遇到性能問題,請將參數(shù)直接替換成值)

declare @publisher sysname 

declare @publicationDB sysname 

declare @publication sysname 

declare @transaction_timestamp [varbinary](16) 

set @publisher='SQL108W2K8R21' 

set @publicationDB='publicationdb2' 

set @publication='pubtest' 

set @transaction_timestamp= 0x0000014900004E9A0004000000000000

select top 1 xact_seqno from MSrepl_commands with (nolock) where xact_seqno>@transaction_timestamp and 

article_id in ( 

  select article_id From MSarticles a inner join MSpublications p on a.publication_id=p.publication_id and a.publisher_id=p.publisher_id and a.publisher_db=p.publisher_db 

  inner join sys.servers s on s.server_id=p.publisher_id 

  where p.publication=@publication and p.publisher_db=@publicationDB and s.name=@publisher 

) 

and publisher_database_id =( 

    select id From MSpublisher_databases pd inner join MSpublications p on pd.publisher_id=p.publisher_id 

    inner join sys.servers s on pd.publisher_id=s.server_id and pd.publisher_db=p.publisher_db 

    where s.name=@publisher and p.publication=@publication and pd.publisher_db=@publicationDB 

) 

Order by xact_seqno

在我的環(huán)境中,事務編號為0x0000018C000001000171

在subscription database中執(zhí)行下面的語句,跳過大的事務。請將參數(shù)替換成您實際環(huán)境中的數(shù)據(jù)

declare @publisher sysname

declare @publicationDB sysname 

declare @publication sysname 

declare @transaction_timestamp [varbinary](16) 

set @publisher='SQL108W2K8R22' 

set @publicationDB='pubdb' 

set @publication='pubdbtest2' 

set @transaction_timestamp= 0x0000018C000001000171

update MSreplication_subscriptions set transaction_timestamp=@transaction_timestamp 

where publisher=@publisher and publisher_db=@publicationDB and publication=@publication 

執(zhí)行完成后開啟distribution agent job即可。

接下來您就會發(fā)現(xiàn),事務已經成功跳過,ta在訂閱端不會被更新,后續(xù)的更新會逐步傳遞到訂閱,延遲消失。

您可能感興趣的文章:
  • spring 中事務注解@Transactional與trycatch的使用
  • Spring事務注解@Transactional失效的八種場景分析
  • 解決@Transactional注解事務不回滾不起作用的問題
  • Java注解@Transactional事務類內調用不生效問題及解決辦法
  • Spring聲明式事務@Transactional知識點分享
  • springboot中事務管理@Transactional的注意事項與使用場景
  • 淺談Spring中@Transactional事務回滾及示例(附源碼)
  • 基于Transactional事務的使用以及注意說明

標簽:蘭州 崇左 湖南 仙桃 衡水 湘潭 銅川 黃山

巨人網(wǎng)絡通訊聲明:本文標題《Transactional replication(事務復制)詳解之如何跳過一個事務》,本文關鍵詞  ;如發(fā)現(xiàn)本文內容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 收縮
    • 微信客服
    • 微信二維碼
    • 電話咨詢

    • 400-1100-266
    巴里| 凯里市| 贞丰县| 都昌县| 扎赉特旗| 开封县| 富宁县| 连平县| 南召县| 太湖县| 镇坪县| 武功县| 南阳市| 甘洛县| 神农架林区| 上杭县| 湾仔区| 孟州市| 都兰县| 婺源县| 浙江省| 英德市| 博白县| 龙岩市| 清苑县| 锡林浩特市| 沙湾县| 陆良县| 武陟县| 家居| 同心县| 利川市| 建昌县| 报价| 东海县| 木兰县| 临西县| 介休市| 团风县| 淮阳县| 托克逊县|