五月天青色头像情侣网名,国产亚洲av片在线观看18女人,黑人巨茎大战俄罗斯美女,扒下她的小内裤打屁股

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

Airbyte的同步復(fù)制模式

2023-02-24 17:45 作者:W小Y虎X  | 我要投稿

ELT 哲學(xué)的核心原則,即數(shù)據(jù)在提取和加載階段移動(dòng)時(shí)應(yīng)保持不變,以便始終可以在目標(biāo)中訪問原始數(shù)據(jù)。由于目標(biāo)中存在數(shù)據(jù)的未修改版本,因此將來可以重新轉(zhuǎn)換該版本,而無需從源系統(tǒng)重新同步數(shù)據(jù)。


基于此哲學(xué),我們看看Airbyte提供的數(shù)據(jù)同步模式和相關(guān)概念:


同步運(yùn)行


Airbyte 復(fù)制可以被認(rèn)為是一個(gè)循環(huán),它定期從數(shù)據(jù)源請(qǐng)求記錄并將其發(fā)送到目的地。此循環(huán)的每次迭代稱為同步運(yùn)行。


什么是游標(biāo)


在增量復(fù)制的上下文中,可以將游標(biāo)視為指向源數(shù)據(jù)集的指針,該指針用于跟蹤從該源發(fā)送到目標(biāo)的最新記錄。它用于確保將來不會(huì)再次發(fā)送已發(fā)送的記錄。


在每次同步運(yùn)行中,都會(huì)對(duì)源執(zhí)行一個(gè)查詢以選擇要復(fù)制的記錄,并且此查詢被構(gòu)造為包含游標(biāo),以便僅返回比游標(biāo)更新(即以前未復(fù)制)的記錄。


對(duì)于 CDC 復(fù)制,不需要指定游標(biāo),因?yàn)槭聞?wù)日志中的時(shí)間戳和/或序列號(hào)(用作 CDC 復(fù)制的源)具有相同的用途。


主鍵的用途

主鍵唯一標(biāo)識(shí)源數(shù)據(jù)表中的每條記錄。在某些復(fù)制模式下,這是必需的,用于確保對(duì)源系統(tǒng)中單個(gè)記錄的多個(gè)更新將正確應(yīng)用于目標(biāo)系統(tǒng)中的單個(gè)記錄。此外,如果使用增量更改數(shù)據(jù)捕獲 (CDC) 復(fù)制。


全量刷新同步與增量同步

全量刷新復(fù)制和增量同步復(fù)制之間的主要區(qū)別在于,在每次同步運(yùn)行中,從源讀取哪些記錄并將其發(fā)送到目標(biāo):


全量刷新復(fù)制


增量同步復(fù)制


整個(gè)數(shù)據(jù)集將從源檢索,并在每次同步運(yùn)行時(shí)發(fā)送到目標(biāo)。


只有自上次同步運(yùn)行以來在源系統(tǒng)中插入或更新的記錄才會(huì)發(fā)送到目標(biāo)。


下圖比較了全量刷新復(fù)制與增量同步復(fù)制 – 此圖表示在不同時(shí)間插入的記錄:t1、t2 和 t3,每次插入后跟同步運(yùn)行。新插入的記錄在源上用紅色框進(jìn)行批注,發(fā)送到目標(biāo)的記錄用亮綠色框進(jìn)行批注。




Airbyte的同步復(fù)制模式的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國家法律
凤翔县| 岗巴县| 桑日县| 太仆寺旗| 虎林市| 惠东县| 汽车| 永宁县| 缙云县| 锡林郭勒盟| 安阳县| 无锡市| 玛纳斯县| 小金县| 梁山县| 长子县| 中宁县| 衡东县| 安达市| 大关县| 汶上县| 洞口县| 扎兰屯市| 康定县| 日喀则市| 信丰县| 富源县| 太仓市| 柯坪县| 雷州市| 观塘区| 峡江县| 湄潭县| 闻喜县| 高唐县| 桃江县| 凤翔县| 百色市| 韩城市| 顺义区| 新巴尔虎右旗|