兩篇參考文獻(xiàn)

diffusion model 屬于生成式模型，但和VAE比較像

flow model？

重參數(shù)化：避免采樣過程造成的梯度不連續(xù)，如果miu和sigma是通過神經(jīng)網(wǎng)絡(luò)預(yù)測得到的，對標(biāo)準(zhǔn)正態(tài)分布z采樣，再乘均值加標(biāo)準(zhǔn)差可以保證miu和sigma的梯度可以繼續(xù)傳播。

此時z可視為一個網(wǎng)絡(luò)的輸入，miu和sigma為網(wǎng)絡(luò)參數(shù)。

該技巧在VAE也有使用

簡言之就是對原始變量x通過神經(jīng)網(wǎng)絡(luò)生成隱變量z，讓z作為x估計分布的先驗條件。

編碼端q（后驗網(wǎng)絡(luò)）從x生成z，解碼端p從z預(yù)測x

p(x)的計算：公式中包含后驗概率（等價于關(guān)于后驗概率的期望），取對數(shù)，使用jenson不等式進(jìn)行放縮把log移到期望里面（x＞logx）

獲得下界，據(jù)此可以最大化p(x)。

即雙層隱變量。同樣積分換成期望的形式，再利用前面講的條件概率公式和一節(jié)markov性化簡公式，得到目標(biāo)函數(shù)。

類似VAE，從目標(biāo)分布加噪生成一個分布，再從這個分布恢復(fù)目標(biāo)分布

xT為噪聲分布，x0為目標(biāo)分布

從x0到xT的過程就是擴(kuò)散，熵增，從有序到無序，在原始分布上逐步加高斯噪聲

生成的過程則從各向同性的噪聲分布恢復(fù)原始分布，逆擴(kuò)散過程

q：擴(kuò)散過程的條件分布，p：逆擴(kuò)散過程的條件過程。圖片第一行紫色為擴(kuò)散過程，第二行粉色為逆擴(kuò)散過程，第三行為兩者的差值，漂移量。

1. 擴(kuò)散過程不斷添加高斯噪聲，高斯噪聲的均值和標(biāo)準(zhǔn)差都不含參，其中標(biāo)準(zhǔn)差是固定值，均值由標(biāo)準(zhǔn)差和當(dāng)前時刻數(shù)據(jù)決定（Markov過程）

2. 隨著t不斷增大，最終分布xT為各向獨立的高斯分布：從xt-1到xt的條件分布定義為一個高斯分布，x1:t的聯(lián)合分布given x0則可以表示成這些聯(lián)合分布的積。

這里面的每個條件概率分布都需要使用重參數(shù)化

T和條件分布參數(shù)βt（0-1之間且隨t增大而增大）的確定？

3. 不需要做迭代而是直接把所有時刻的分布表示為x0和βt的函數(shù)：