一篇關(guān)于貝葉斯統(tǒng)計(jì)與建模的綜述文章，出現(xiàn)在了 Nature 新子刊 Nature Reviews Methods Primers 的第一期上。

新年伊始，Nature 旗下再添三本新刊：Nature Aging（《自然 - 老齡化》）、Nature Computational Science（《自然 - 計(jì)算科學(xué)》）和 Nature Reviews Methods Primers（《自然綜述 - 方法導(dǎo)論》）。其中 Nature Reviews Methods Primers 以刊發(fā)綜述文章的形式為讀者提供各種科學(xué)方法的概述及其在不同研究問(wèn)題上的應(yīng)用，每周出版一次。期刊上的所有文章都將采取約稿形式，涵蓋生命科學(xué)和物理科學(xué)中使用的分析、應(yīng)用、統(tǒng)計(jì)、理論和計(jì)算方法。

1 月 14 日，Nature Reviews Methods Primers 上線第一期，刊登了一篇關(guān)于貝葉斯統(tǒng)計(jì)與建模的綜述文章，作者來(lái)自荷蘭烏得勒支大學(xué)、加州大學(xué)默塞德分校、愛(ài)丁堡大學(xué)、牛津大學(xué)、喬治城大學(xué)、萊斯大學(xué)、哥倫比亞大學(xué)、艾倫 · 圖靈研究所等機(jī)構(gòu)。

這篇文章描述了貝葉斯分析的各個(gè)階段，從指定先驗(yàn)和數(shù)據(jù)模型，到推斷、模型檢驗(yàn)與改進(jìn)，探討了先驗(yàn)和后驗(yàn)預(yù)測(cè)檢驗(yàn)的重要性，選擇恰當(dāng)?shù)募夹g(shù)從后驗(yàn)分布、變分推斷和變量選擇中采樣。

此外，這篇文章還提供了貝葉斯分析在多個(gè)研究領(lǐng)域的成功應(yīng)用示例，包括社會(huì)科學(xué)、生態(tài)學(xué)、遺傳學(xué)、醫(yī)學(xué)等，并提出了可復(fù)現(xiàn)性策略和報(bào)告標(biāo)準(zhǔn)，概述了更新版的 WAMBS（何時(shí)需要擔(dān)心誤用貝葉斯統(tǒng)計(jì)以及如何避免）檢查表。最后，這篇文章介紹了貝葉斯分析對(duì)人工智能的影響。

貝葉斯統(tǒng)計(jì)簡(jiǎn)介

貝葉斯統(tǒng)計(jì)是基于貝葉斯定理的數(shù)據(jù)分析和參數(shù)估計(jì)方法，其獨(dú)特性在于統(tǒng)計(jì)模型中的觀測(cè)和未觀測(cè)參數(shù)是基于聯(lián)合概率分布的，即先驗(yàn)分布和數(shù)據(jù)分布。

典型的貝葉斯工作流程包括三個(gè)主要步驟（參見(jiàn)下圖 1）：通過(guò)先驗(yàn)分布捕捉統(tǒng)計(jì)模型中給定參數(shù)的可用知識(shí)，這通常是在數(shù)據(jù)收集之前確定的；利用觀測(cè)數(shù)據(jù)中可用參數(shù)的信息確定似然函數(shù)；利用貝葉斯定理結(jié)合先驗(yàn)分布和似然函數(shù)，得到后驗(yàn)分布。

后驗(yàn)分布用觀測(cè)數(shù)據(jù)來(lái)平衡先驗(yàn)知識(shí)，從而反映更新的知識(shí)，可用于執(zhí)行推斷。在對(duì)該聯(lián)合概率分布取平均時(shí)，貝葉斯推斷是最優(yōu)的，對(duì)這些定量的推斷基于觀測(cè)數(shù)據(jù)的條件分布。

圖 1：貝葉斯研究階段。a. 標(biāo)準(zhǔn)研究流程；b. 利用貝葉斯統(tǒng)計(jì)的研究工作流程。（注：圖中后驗(yàn)的表示 p(y|θ) 應(yīng)為 p(θ|y)）

貝葉斯統(tǒng)計(jì)的基礎(chǔ)最初出現(xiàn)在 Reverend Thomas Bayes 的文章中，后來(lái)由貝葉斯的朋友 Richard Price 在 1763 年發(fā)表了這篇文章，主要關(guān)于逆概率，即如何僅基于過(guò)去的事件確定未來(lái)事件發(fā)生的概率。1825 年，Pierre Simon Laplace 重新發(fā)現(xiàn)了貝葉斯公式，也就是今天我們所說(shuō)的貝葉斯定理。逆概率與貝葉斯定理在數(shù)學(xué)領(lǐng)域中長(zhǎng)期存在，但直到最近 50 年，這些工具才在應(yīng)用統(tǒng)計(jì)學(xué)領(lǐng)域中崛起。

貝葉斯定理。（來(lái)源：https://zh.wikipedia.org/zh-hans/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86）

貝葉斯工作流程

貝葉斯工作流程的前兩個(gè)步驟如上圖 1 所示。首先確定先驗(yàn)分布，先驗(yàn)的選擇通常被視為研究者在實(shí)現(xiàn)貝葉斯模型時(shí)要做的一個(gè)更重要的選擇，因?yàn)樗鼘?duì)最終結(jié)果影響巨大。要實(shí)現(xiàn)合適的先驗(yàn)，需要用到先驗(yàn)預(yù)測(cè)檢驗(yàn)流程。然后是確定似然函數(shù)，將似然函數(shù)結(jié)合先驗(yàn)得到后驗(yàn)分布（或后驗(yàn)）。先驗(yàn)和似然函數(shù)對(duì)于確定后驗(yàn)分布非常重要。這篇文章提供了多個(gè)示例來(lái)展示整個(gè)流程。

第一個(gè)示例是關(guān)于博士延畢的。研究者詢問(wèn) 333 名博士生完成博士論文所需的時(shí)間，進(jìn)而計(jì)算延遲時(shí)間，即計(jì)劃時(shí)間與實(shí)際時(shí)間的差距（時(shí)間單位為月）。

先驗(yàn)分布

首先需要形式化先驗(yàn)分布。

先驗(yàn)分布在貝葉斯統(tǒng)計(jì)中起到?jīng)Q定性作用。下圖 2 展示了該示例中似然函數(shù)、先驗(yàn)分布和后驗(yàn)分布的關(guān)系：

圖 2：貝葉斯定理重要組件圖示。

先驗(yàn)預(yù)測(cè)檢驗(yàn) 

由于基于貝葉斯分析的推斷受限于先驗(yàn)的「正確性」（correctness），因此我們需要審慎地檢驗(yàn)指定模型是否能夠生成實(shí)際數(shù)據(jù)。這部分通過(guò)先驗(yàn)預(yù)測(cè)檢驗(yàn)過(guò)程來(lái)完成。

先驗(yàn)預(yù)測(cè)檢驗(yàn)有助于避免模型錯(cuò)誤指定（參見(jiàn)下圖 3），例如對(duì)比錯(cuò)誤地用精度替代方差時(shí)的先驗(yàn)預(yù)測(cè)分布（圖 3a）和基于正確超參數(shù)的分布（圖 3b）。此外，這里還展示了觀測(cè)數(shù)據(jù)和模擬數(shù)據(jù)的核密度估計(jì)，即對(duì)概率密度函數(shù)的估計(jì)結(jié)果（圖 3c）。

圖 3：博士延畢示例中的先驗(yàn)預(yù)測(cè)檢驗(yàn)。

確定似然函數(shù)

似然函數(shù)在貝葉斯推斷和頻率學(xué)派推斷中都有應(yīng)用。在兩種推斷范式下，似然函數(shù)的作用都是將觀測(cè)數(shù)據(jù)的概率表示為未知參數(shù)。在一些案例中，指定似然函數(shù)是非常直接的，例如投擲一枚硬幣的實(shí)驗(yàn)。

似然函數(shù)的硬幣實(shí)驗(yàn)示例。（來(lái)源：https://zh.wikipedia.org/wiki/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0）

后驗(yàn)分布

指定先驗(yàn)和似然函數(shù)，并收集數(shù)據(jù)之后，就可以得到后驗(yàn)分布。本文解釋了如何將模型與數(shù)據(jù)擬合來(lái)獲取后驗(yàn)分布、如何選擇變量，以及為什么需要后驗(yàn)預(yù)測(cè)檢驗(yàn)。

模型構(gòu)建是一個(gè)迭代的過(guò)程，任何貝葉斯模型都可以看做是一個(gè)占位符，可以在面對(duì)新數(shù)據(jù)或?qū)ΜF(xiàn)有數(shù)據(jù)擬合不足時(shí)進(jìn)行改進(jìn)，也可以僅通過(guò)模型改進(jìn)（ model refinement）過(guò)程來(lái)實(shí)現(xiàn)。

在貝葉斯推斷中，模型擬合的一種不錯(cuò)方法是馬爾可夫鏈蒙特卡羅方法（MCMC）。MCMC 能夠利用計(jì)算機(jī)模擬間接獲取對(duì)后驗(yàn)分布的推斷，下表 1 概述了基于 MCMC 和不基于 MCMC 的采樣技術(shù)。

表 1：基于 MCMC 和不基于 MCMC 的采樣技術(shù)概覽。

下圖展示了在博士延畢示例中使用 MCMC 方法的后驗(yàn)估計(jì)情況：

此外，實(shí)現(xiàn)貝葉斯分析有很多標(biāo)準(zhǔn)計(jì)算包，參見(jiàn)下表 2：

表 2：常用的開(kāi)源貝葉斯軟件程序包。

后驗(yàn)預(yù)測(cè)檢驗(yàn)

獲取特定模型的后驗(yàn)分布后，我們可以用它模擬基于這一分布的新數(shù)據(jù)，這有助于評(píng)估模型是否提供有效預(yù)測(cè)，對(duì)未來(lái)事件進(jìn)行推斷。這些模擬可用于多種目的，比如通過(guò)對(duì)比觀測(cè)數(shù)據(jù)和模擬數(shù)據(jù)的核密度估計(jì)值來(lái)檢驗(yàn)?zāi)M數(shù)據(jù)是否類似于觀測(cè)數(shù)據(jù)。在評(píng)估模型是否與數(shù)據(jù)生成機(jī)制有不錯(cuò)的擬合時(shí)需要更正式的后驗(yàn)預(yù)測(cè)檢驗(yàn)方法。任何參數(shù)依賴的統(tǒng)計(jì)或差異都可用于后驗(yàn)預(yù)測(cè)檢驗(yàn)。這與先驗(yàn)預(yù)測(cè)檢驗(yàn)的使用方式類似，但在對(duì)比觀測(cè)數(shù)據(jù)和模擬數(shù)據(jù)時(shí)要更加嚴(yán)苛。

為了闡釋后驗(yàn)預(yù)測(cè)分布的用法，本文展示了另一個(gè)示例：了解一個(gè)維基百科網(wǎng)頁(yè)的瀏覽量，以及與瀏覽量相關(guān)的時(shí)間關(guān)聯(lián)因素。

圖 6：基于當(dāng)前觀測(cè)數(shù)據(jù)進(jìn)行后驗(yàn)預(yù)測(cè)檢驗(yàn)和對(duì)未來(lái)頁(yè)面瀏覽量進(jìn)行預(yù)測(cè)。

應(yīng)用

貝葉斯推斷在多個(gè)科學(xué)領(lǐng)域得到了廣泛應(yīng)用，本文重點(diǎn)介紹了其在「社會(huì)和行為科學(xué)」、「生態(tài)學(xué)」和「遺傳學(xué)」領(lǐng)域的應(yīng)用，此處不再展開(kāi)介紹。

可復(fù)現(xiàn)性與數(shù)據(jù)處理

恰當(dāng)?shù)慕y(tǒng)計(jì)信息報(bào)告（包括數(shù)據(jù)和腳本共享）對(duì)于研究的驗(yàn)證和可復(fù)現(xiàn)是關(guān)鍵因素。優(yōu)秀的研究實(shí)踐鼓勵(lì)可復(fù)現(xiàn)性，其工作流程參見(jiàn)下圖 7：

圖 7：研究工作流程中的可復(fù)現(xiàn)性因素。

這里展示了貝葉斯研究階段（圖 1）和 WAMBS 檢查表在更廣泛的研究透明度中的應(yīng)用，并提供了更新版的 WAMBS 檢查表。

WAMBS 檢查表更新版。

對(duì)人工智能的影響

出于支持大規(guī)模應(yīng)用的需要，貝葉斯概念已經(jīng)利用了以深度學(xué)習(xí)為中心的新技術(shù)的發(fā)展，包括深度學(xué)習(xí)框架（TensorFlow、Pytorch），創(chuàng)建表示能力更強(qiáng)、數(shù)據(jù)驅(qū)動(dòng)的模型。除了提供一個(gè)強(qiáng)大的工具來(lái)挑選靈活、模塊化的生成模型之外，DNN 已被用于開(kāi)發(fā)新的近似推理方法，并為貝葉斯實(shí)踐提出了一種新的范式，該范式將統(tǒng)計(jì)建模和計(jì)算融入了其核心之中。

一個(gè)典型的例子就是變分自編碼器，它已經(jīng)成功地應(yīng)用于多個(gè)領(lǐng)域，比如單細(xì)胞基因組學(xué)，為這些領(lǐng)域提供一個(gè)通用的建?？蚣?。該框架帶來(lái)了很多擴(kuò)展，包括 latent factor disentanglement。底層的統(tǒng)計(jì)模型是一個(gè)簡(jiǎn)單的貝葉斯分層潛變量模型，將高維觀測(cè)值映射到通過(guò) DNN 定義的函數(shù)假定正態(tài)分布的低維潛變量。變分推斷被用于近似潛變量的后驗(yàn)分布。

然而，在標(biāo)準(zhǔn)變分推斷中，我們?yōu)槊總€(gè)潛變量引入一個(gè)局部變分參數(shù)，在這種情況下，計(jì)算需求將隨著數(shù)據(jù)樣本的數(shù)量的變化呈線性增長(zhǎng)。變分自編碼器使用一種名為 amortization 的近似過(guò)程，用一個(gè)單一全局參數(shù)集（一種識(shí)別網(wǎng)絡(luò)）取代對(duì)許多單個(gè)變分參數(shù)的推斷。該識(shí)別網(wǎng)絡(luò)用于參數(shù)化 DNN，輸出每個(gè)數(shù)據(jù)點(diǎn)的局部變分參數(shù)。

值得注意的是，當(dāng)把模型和推斷結(jié)合到一起并解釋時(shí)，作為編解碼算法的變分自編碼器有一種優(yōu)雅的解釋：它由一個(gè)概率編碼器和一個(gè)概率解碼器組成。概率編碼器是一個(gè) DNN，可以將每個(gè)觀測(cè)數(shù)據(jù)映射至潛在空間中的分布；而概率解碼器是一個(gè)補(bǔ)充性的 DNN，將潛在空間中的每個(gè)點(diǎn)映射至觀測(cè)空間中的分布。因此，模型指定和推斷與變分自編碼器產(chǎn)生關(guān)聯(lián)，這表明貝葉斯建模和深度學(xué)習(xí)技術(shù)之間的邊界越發(fā)模糊。其他近期的例子還包括使用 DNN 來(lái)構(gòu)建概率模型，通過(guò)應(yīng)用一系列逆變換來(lái)構(gòu)建復(fù)雜的概率分布，以及針對(duì)可交換序列數(shù)據(jù)定義模型。

DNN 的表達(dá)能力及其在模型構(gòu)建和推斷算法中的應(yīng)用需要作出一些妥協(xié)，而這需要貝葉斯研究。將模型與推斷融合的趨勢(shì)使得這些技術(shù)更多地應(yīng)用于大規(guī)模數(shù)據(jù)問(wèn)題，但是基礎(chǔ)的貝葉斯概念仍然被完全納入該范式中。盡管將貝葉斯方法應(yīng)用于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)已經(jīng)出現(xiàn)數(shù)十年了，但要想理解先驗(yàn)如何轉(zhuǎn)換為特定的函數(shù)特性，我們?nèi)孕枰M(jìn)一步研究涉及復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)的現(xiàn)代貝葉斯深度學(xué)習(xí)模型的先驗(yàn)指定。

最近人工智能領(lǐng)域的爭(zhēng)論提到了對(duì)貝葉斯方法及其替代方法的需求。例如，深度集成被證明在處理模型不確定性時(shí)可作為貝葉斯方法的替代方法。但是，近期研究還表明深度集成實(shí)際上可以理解為近似貝葉斯模型平均。類似地，dropout 是一種在 DNN 訓(xùn)練過(guò)程中廣泛使用的正則化方法，它通過(guò)在網(wǎng)絡(luò)訓(xùn)練過(guò)程中隨機(jī)丟棄節(jié)點(diǎn)來(lái)提升模型魯棒性。實(shí)驗(yàn)表明，dropout 能夠提升泛化性、降低過(guò)擬合。針對(duì) dropout 也出現(xiàn)了貝葉斯解釋：概率模型的貝葉斯近似形式——深度高斯過(guò)程。盡管貝葉斯定理并未完全泛化至人工智能領(lǐng)域的所有近期進(jìn)展中，但貝葉斯思維被深深地嵌入了大量近期創(chuàng)新研究，這無(wú)疑是一種成功。下一個(gè)十年將出現(xiàn)新的浪潮——貝葉斯智能的創(chuàng)新性發(fā)展。