吉布斯采样

date
Oct 7, 2022
slug
jibusi
status
Published
tags
学习
summary
吉布斯采样知识点
type
Post

MC采样

notion image
i与f(x)和F(x)都没关系
F(x)微积分不一定好求,因此提出拒绝采样
notion image
q(x)的概率密度累计分布好求
notion image
任意取一个i,mQ(x)反函数得到x_i,x_i服从mq(x),有一定概率服从f(x),概率为:
p = f(x)/mq(x),采样u~U(0,1),u<p
缺点:
notion image
如红线,只有部分有,其余值为0
若mq(x)采样,大部分时间都会都会被拒绝,采样的效率太低
因此MCMC采样被提出,要求的是pi(x)
MC平稳态:
notion image
pi_t达到稳定分布,则之后所有的态都服从pi(x)分布,t之后的样本都服从
P不太好找,因此提出细致平衡,但P(i,j)还是不太好找
找到阿尔法让等式能够成立
notion image
这样就会导致和拒绝采样一样的问题
Q取得不合适时,阿尔法就可能约为0,Q采样几乎不能被接手
notion image
将联合概率分布转化为条件概率分布
notion image
得到细致平衡:
notion image
满足细致平衡条件,则可以构造马尔可夫链进行采样
notion image
notion image
P(A→B)就是真实的P,因此一定会被接受,不存在拒绝
notion image
notion image
notion image
 

© Dino 2021 - 2023