統(tǒng)計(jì)學(xué)對(duì)大數(shù)據(jù)的意義
很高興有這樣一個(gè)機(jī)會(huì),我能與大家在這里做一些關(guān)于統(tǒng)計(jì)學(xué)與大數(shù)據(jù)的交流,與大家分享一些觀點(diǎn)。
在講大數(shù)據(jù)之前,我們首先來(lái)看看什么是數(shù)據(jù)。很長(zhǎng)一段時(shí)間里,大家對(duì)數(shù)據(jù)的理解,可能只是停留在阿拉伯?dāng)?shù)字這個(gè)層面。近些年來(lái),大家開始講大數(shù)據(jù)。結(jié)果有人就開始好奇了:這個(gè)大數(shù)據(jù)和我們之前說(shuō)的數(shù)據(jù)有什么關(guān)系呢?
阿拉伯?dāng)?shù)字是不是數(shù)據(jù)呢?當(dāng)然是數(shù)據(jù)。大數(shù)據(jù)是不是數(shù)據(jù)呢?當(dāng)然也還是數(shù)據(jù)。不過(guò),現(xiàn)在我們對(duì)數(shù)據(jù)的理解要廣泛得多了。凡是可以被數(shù)據(jù)化的信息載體,我們都可以認(rèn)為是數(shù)據(jù)。比如說(shuō),我們接觸的文本,包括平時(shí)看到的一些文字,現(xiàn)在我們都可以把它量化。我們看到的圖片、視頻和音頻,現(xiàn)在也都可以量化。包括阿拉伯?dāng)?shù)字、文本、圖片、視頻和音頻,我們都稱之為數(shù)據(jù)?,F(xiàn)在我們理解的數(shù)據(jù),從來(lái)源上來(lái)說(shuō)更加廣泛了,從類型上說(shuō)變得很復(fù)雜了。這些不同來(lái)源、類型復(fù)雜的數(shù)據(jù)組合在一起,達(dá)到一定的體量之后,就可以認(rèn)為是一個(gè)大數(shù)據(jù)了。
現(xiàn)在我們來(lái)說(shuō)一下統(tǒng)計(jì)學(xué),統(tǒng)計(jì)學(xué)是什么呢?首先,從學(xué)科定位上說(shuō),統(tǒng)計(jì)學(xué)已經(jīng)被列為一級(jí)學(xué)科了。這一點(diǎn)和數(shù)學(xué)、法學(xué)等都一樣了。大不列顛百科全書對(duì)統(tǒng)計(jì)學(xué)有個(gè)定義,說(shuō)這是一門收集數(shù)據(jù)、分析數(shù)據(jù)的科學(xué)和藝術(shù)。定義中提到統(tǒng)計(jì)學(xué)是一門科學(xué),這個(gè)容易理解。那為什么說(shuō)統(tǒng)計(jì)學(xué)是一門藝術(shù)呢?這個(gè)問(wèn)題,就和我今天主要回答的一個(gè)問(wèn)題很有關(guān)系。順便說(shuō)一句,現(xiàn)在美國(guó)很多高校的統(tǒng)計(jì)系,它并不設(shè)在理學(xué)院下面,而是設(shè)在藝術(shù)學(xué)院下面。
今天我主要回答一個(gè)問(wèn)題:在大數(shù)據(jù)時(shí)代,我們究竟是否需要基于抽樣的統(tǒng)計(jì)學(xué)?
有些人認(rèn)為,現(xiàn)在計(jì)算機(jī)科學(xué)非常發(fā)達(dá),可以收集海量的數(shù)據(jù)。為了特定的研究目的,我們現(xiàn)在甚至有能力通過(guò)計(jì)算機(jī)技術(shù)收集與特定的研究目的相關(guān)的全部數(shù)據(jù)。今天,基于抽樣的統(tǒng)計(jì)學(xué)就沒(méi)有那么重要了,甚至都不在被需要了。事實(shí)真的是這樣嗎?
統(tǒng)計(jì)學(xué)是一門收集數(shù)據(jù)的藝術(shù)
既然統(tǒng)計(jì)學(xué)被認(rèn)為是一門收集數(shù)據(jù)、分析數(shù)據(jù)的科學(xué)和藝術(shù)。我們暫時(shí)不談科學(xué),先來(lái)看看統(tǒng)計(jì)學(xué)為什么被認(rèn)為是一門收集數(shù)據(jù)的藝術(shù)。
我們來(lái)看第一個(gè)案例。這個(gè)案例是希望調(diào)查15個(gè)國(guó)家的國(guó)民的誠(chéng)實(shí)情況。調(diào)查人員想要知道,哪些國(guó)家的國(guó)民最傾向于撒謊,哪些國(guó)家的國(guó)民很誠(chéng)實(shí)。如果直接去問(wèn)被調(diào)查的人員:“您是否撒過(guò)謊?”十之八九,是問(wèn)不到真實(shí)答案的。如果被調(diào)查人員以前撒過(guò)謊,也不在乎多撒這個(gè)謊了。被調(diào)查人員可能出于不同的動(dòng)機(jī),不愿意給出真實(shí)答案。那么,調(diào)查數(shù)據(jù)怎么得來(lái)呢?這顯然不是簡(jiǎn)單地通過(guò)計(jì)算機(jī)技術(shù)、通過(guò)某些爬蟲軟件就容易收集到適合研究目的相關(guān)數(shù)據(jù)的。
如何利用統(tǒng)計(jì)學(xué)方法來(lái)收集數(shù)據(jù)呢?這就需要統(tǒng)計(jì)學(xué)的智慧了。調(diào)查人員設(shè)計(jì)了兩組實(shí)驗(yàn)。
調(diào)查人員先從每一個(gè)國(guó)家找1000人參與測(cè)試,15個(gè)國(guó)家一共找了15000人,找這么多不同國(guó)家的人來(lái)面對(duì)面調(diào)查,這是非常困難的,所以調(diào)查人員通過(guò)互聯(lián)網(wǎng)找到了這15個(gè)國(guó)家共計(jì)15000人。兩組實(shí)驗(yàn)都是在互聯(lián)網(wǎng)上進(jìn)行的。
在第一組中,他們先做了一個(gè)測(cè)試,請(qǐng)受調(diào)查者在家里拋硬幣,硬幣有正反兩面,調(diào)查者事先規(guī)定,受調(diào)查者拋硬幣之后要告訴我結(jié)果,如果硬幣正面朝上,我就獎(jiǎng)勵(lì)你十塊錢,如果反面朝上,我就不給你獎(jiǎng)勵(lì)。這個(gè)調(diào)查不需要提供你拋硬幣的證據(jù),只是由你告訴調(diào)查者,拋硬幣的結(jié)果。這也就是說(shuō),受調(diào)查者有沒(méi)有撒謊,只有他自己知道。
這個(gè)最后的結(jié)果,實(shí)際上調(diào)查者是有參照的。因?yàn)椋總€(gè)國(guó)家有1000人參與測(cè)試。正常情況下,1000次拋硬幣的結(jié)果,應(yīng)該是500次左右正面朝上。某個(gè)國(guó)家參與實(shí)驗(yàn)的1000個(gè)人之中,如果有900個(gè)人聲稱自己拋出來(lái)的硬幣正面朝上,甚至1000人聲稱拋出來(lái)硬幣正面朝上。那么,很大概率就是其中有人撒謊了。這是第一組實(shí)驗(yàn)。
第一組的實(shí)驗(yàn)有價(jià)值,但是它也不一定能夠全面反映真實(shí)的情況,所以調(diào)查人員還有第二組實(shí)驗(yàn)。
第二組實(shí)驗(yàn),是要求受調(diào)查者回答五個(gè)問(wèn)題。這五個(gè)問(wèn)題在回答之前,需要受調(diào)查者承諾,他不能為了答題去查閱任何資料,不能去尋求任何幫助,也就是說(shuō),看了這五個(gè)問(wèn)題之后,受調(diào)查者需要立即給出答案。調(diào)查者承諾,如果五個(gè)問(wèn)題中,回答對(duì)了四個(gè)以上,就獎(jiǎng)勵(lì)給受訪者十塊錢,如果答對(duì)三個(gè)或者三個(gè)以下,就沒(méi)有獎(jiǎng)勵(lì)。
而這五個(gè)問(wèn)題中,其中有三個(gè)問(wèn)題特別簡(jiǎn)單,類似于像1+1等于幾這種問(wèn)題。另外兩個(gè)問(wèn)題則非常生僻。如果受調(diào)查者不去查閱資料或咨詢他人的話,基本是不太可能回答出來(lái)的。因此,如果有受調(diào)查者答對(duì)了這兩道難題,十有八九就說(shuō)明他違反了自己事先承諾的“不去查閱資料尋求幫助”,由此可以推論他在這件事情上不誠(chéng)實(shí)。
然后統(tǒng)計(jì)人員通過(guò)這兩組實(shí)驗(yàn)結(jié)果,互相驗(yàn)證。這兩組數(shù)據(jù)收集的過(guò)程都非常恰當(dāng)?shù)伢w現(xiàn)了統(tǒng)計(jì)學(xué)在收集數(shù)據(jù)方面的智慧。
所以說(shuō),即使在大數(shù)據(jù)時(shí)代,不是說(shuō)有了計(jì)算機(jī),有了爬蟲技術(shù),我們就能收集到適合研究目的的所有數(shù)據(jù)。統(tǒng)計(jì)學(xué)是一個(gè)收集數(shù)據(jù)的藝術(shù),針對(duì)特定的研究目的,設(shè)計(jì)非常漂亮的數(shù)據(jù)收集方案,就是一個(gè)非常藝術(shù)的收集數(shù)據(jù)的過(guò)程了。
我們?cè)倥e一個(gè)例子。這是最近美國(guó)麻省理工剛剛完成的一個(gè)實(shí)驗(yàn),大致在2018年左右完成的,實(shí)驗(yàn)結(jié)果也公布出來(lái)了。目的是想了解大家目前的婚姻觀念,100人受到邀請(qǐng)來(lái)到一個(gè)封閉的場(chǎng)所參與這個(gè)實(shí)驗(yàn)。參加實(shí)驗(yàn)時(shí),每人都會(huì)被貼上一個(gè)編號(hào)。男的編號(hào)是單數(shù)一三五七九,女的編號(hào)是雙數(shù)二四六八十,以此類推。參與實(shí)驗(yàn)的這100人不知道自己的編號(hào),也不知道究竟有多少人參加了這次實(shí)驗(yàn)。換句話說(shuō),他們不知道參加這次實(shí)驗(yàn)的正好是50個(gè)男人和50個(gè)女人,受訪者僅僅知道,這次實(shí)驗(yàn)有很多人參加。
在這里統(tǒng)計(jì)人員采取了一點(diǎn)小花招,就是當(dāng)受訪者進(jìn)門的時(shí)候,把編號(hào)貼在受訪者后背上,受訪者知道自己有編號(hào),但是不知道自己的編號(hào)是多少,不過(guò)他能夠看到別人后背上的編號(hào)。實(shí)驗(yàn)規(guī)則說(shuō),允許100人中的任何兩個(gè)人進(jìn)行交談,除了不能告訴對(duì)方他的后背編號(hào)是多少,其他話題都可以談。
然后實(shí)驗(yàn)者把這100人帶到一個(gè)很小的一個(gè)房間里,宣布給大家5分鐘時(shí)間,在這5分鐘內(nèi),大家自行配對(duì),每人只能配一名異性。5分鐘結(jié)束之后,如果配對(duì)成功了,兩個(gè)人背后的數(shù)字加起來(lái)乘以十,就是兩人能夠拿到的獎(jiǎng)金。也就是說(shuō),如果編號(hào)是100的那個(gè)女性找到了那個(gè)編號(hào)為99的男性,那么兩人就可以拿到(100+99)×10的獎(jiǎng)金,也就是1990美元,這筆錢已經(jīng)很可觀了。但是如果你是一個(gè)編號(hào)為2的女性,而你找到的是那個(gè)編號(hào)為1的男性,那么你倆只能得到(1+2)×10也就是30美元,你倆用這獎(jiǎng)金一起吃頓飯都不一定夠。但是5分鐘之后,如果還沒(méi)有配對(duì)成功的話,你就連一美分都拿不到。因此,參加者必須在5分鐘之內(nèi),在一個(gè)很小的擁擠空間內(nèi),盡快找到愿意跟自己配對(duì)的那個(gè)人。而且在這個(gè)過(guò)程中,要盡可能讓自己的獎(jiǎng)金數(shù)額變得很大。
實(shí)驗(yàn)人員之所以把100人故意安排在非常擁擠的小房間內(nèi),就是考慮到,一方面要讓大家能夠很快速地看到一些人的編號(hào),另一方面又能保證一個(gè)人不可能看到所有人的編號(hào)。在人擠人的情況下,有些編號(hào)是肯定看不到的。
實(shí)驗(yàn)開始了。
一些人很快就發(fā)現(xiàn),自己連續(xù)跟別人配對(duì)三四次,大家都拒絕他。這很可能說(shuō)明,自己后背的編號(hào)數(shù)字不夠大,別人不感興趣。于是這其中就有人采取了應(yīng)對(duì)策略,他跟別人講,如果你愿意跟我配對(duì)的話,那我愿意把獎(jiǎng)金全部給你,反正我數(shù)字也不大,所以我的錢不要了。還有人說(shuō),只要你這次跟我配對(duì)成功了,我們出去以后,我再單獨(dú)請(qǐng)你吃頓飯。
另外還有一些人,雖然他不知道自己后背的編號(hào),但是他發(fā)現(xiàn)有很多人過(guò)來(lái)找他,所以他很快就意識(shí)到,自己后背的編號(hào)很可能很大,但具體多大,他并不知道。而且要盡可能讓兩個(gè)人組合出來(lái)的數(shù)字變得很大。于是他很快就把眼前這批他能看到數(shù)字的人拒絕掉了,因?yàn)樗硭?dāng)然地認(rèn)為接下來(lái)肯定還有更大的編號(hào),但是他并不知道最大的編號(hào)是多少,同時(shí)他還必須要在5分鐘內(nèi)快速?zèng)Q定跟誰(shuí)配對(duì)。
這個(gè)實(shí)驗(yàn)的結(jié)果是,編號(hào)99的男性并沒(méi)有與編號(hào)100的女性配對(duì)成功。那位編號(hào)100的女性,找到的是編號(hào)八十幾的一位男性。那些數(shù)字在中間的人,大體都配對(duì)了跟自己差不多的另一個(gè)人。這個(gè)結(jié)果,很符合中國(guó)的一種傳統(tǒng)思想,也就是門當(dāng)戶對(duì)。
我們現(xiàn)在來(lái)看這個(gè)實(shí)驗(yàn)的結(jié)果,它基本上跟中國(guó)男女婚姻觀念的現(xiàn)實(shí)比較類似。比如說(shuō),實(shí)驗(yàn)者因?yàn)樽约壕幪?hào)小,就讓渡自己的獎(jiǎng)金給對(duì)方甚至于承諾事后請(qǐng)對(duì)方吃飯,以求得成功配對(duì),這個(gè)跟現(xiàn)實(shí)中“我的個(gè)人條件差一些,但是我父母同意我們兩個(gè)結(jié)婚之后送給我們一套房子”的承諾是類似的。而且我們?cè)谏钪幸舶l(fā)現(xiàn),一些最優(yōu)秀的男性女性,他們身邊不乏追求者,但是他們并沒(méi)有找到自己的“最佳匹配對(duì)象”。
這個(gè)數(shù)據(jù)的收集過(guò)程也是非常漂亮的。
數(shù)據(jù)并不是越多越好
統(tǒng)計(jì)本身是一門收集數(shù)據(jù)的科學(xué),但是數(shù)據(jù)是不是越多越好呢?很難說(shuō)。
歷史上有一個(gè)非常有名的例子。大約500年之前,丹麥有一個(gè)天文學(xué)家叫第谷,他從當(dāng)時(shí)的丹麥國(guó)王那里要了一筆錢,建了一個(gè)實(shí)驗(yàn)室。第谷天天去觀察每顆行星的運(yùn)動(dòng)軌跡,并且每天記錄下來(lái)。于是第谷觀察了20年,記錄了大量的數(shù)據(jù)。不過(guò),這個(gè)數(shù)據(jù)太多了,第谷花了大量時(shí)間、精力來(lái)分析這個(gè)數(shù)據(jù),但沒(méi)有發(fā)現(xiàn)任何規(guī)律。
這時(shí)候,一個(gè)叫開普勒的人出現(xiàn)了。開普勒認(rèn)為,第谷每天去觀測(cè),一年365天每一顆行星都會(huì)有365個(gè)數(shù)據(jù),這樣20年觀測(cè)記錄積累下來(lái),要分析處理的數(shù)據(jù)就太多了,而且那個(gè)時(shí)候的數(shù)據(jù)分析只能依靠手工計(jì)算,這個(gè)處理工作量實(shí)在太大了。于是開普勒就說(shuō),能不能每年只給我一個(gè)數(shù)據(jù),比如說(shuō)你可以只告訴我每年的1月1日,地球在什么位置,土星在什么位置,太陽(yáng)在什么位置,等等。這樣20年的觀測(cè)數(shù)據(jù)篩選之后,每一顆行星的數(shù)據(jù)就只有20個(gè)了。開普勒知道,地球每隔365天會(huì)回到同一個(gè)位置,然后他把地球的位置固定,再分析其他行星跟地球的相對(duì)位置。開普勒通過(guò)固定地球的位置,對(duì)其他行星位置20年的數(shù)據(jù)進(jìn)行分析,就成功得到了其他行星的運(yùn)行軌跡。此后開普勒就發(fā)現(xiàn),如果地球位置不變的話,那么其他行星的20年運(yùn)行軌跡畫出來(lái)之后,這些行星都是圍著太陽(yáng)運(yùn)轉(zhuǎn),運(yùn)行軌跡都是橢圓形的。由此開普勒發(fā)現(xiàn)了行星運(yùn)動(dòng)的規(guī)律。
從這個(gè)天文學(xué)上的著名案例,我們可以看出來(lái),數(shù)據(jù)太多可能會(huì)導(dǎo)致信息量變得巨大,反而增加尋找到規(guī)律的難度。從而需要通過(guò)科學(xué)的方法簡(jiǎn)化數(shù)據(jù)。
關(guān)于這方面的案例還有不少。比如說(shuō)美國(guó)總統(tǒng)富蘭克林·羅斯福。他是美國(guó)歷史上唯一一位連任四屆的總統(tǒng)。1932年的時(shí)候他第一次當(dāng)總統(tǒng),當(dāng)時(shí)美國(guó)和許多國(guó)家正在遭受經(jīng)濟(jì)危機(jī),羅斯福面臨的壓力也很大。因此到了1936年羅斯福想競(jìng)選自己的第二任總統(tǒng)的時(shí)候,美國(guó)許多人預(yù)測(cè)羅斯福很難連任。那一次,羅斯福的主要競(jìng)選對(duì)手是蘭登。當(dāng)時(shí)就有兩個(gè)機(jī)構(gòu)在預(yù)測(cè)總統(tǒng)選舉結(jié)果,其中一個(gè)是《文學(xué)文摘》雜志,它在當(dāng)時(shí)是一個(gè)非常有影響力的刊物,因?yàn)檫@個(gè)雜志此前幾次對(duì)總統(tǒng)選舉結(jié)果的預(yù)測(cè)都成功了。到了1936年美國(guó)總統(tǒng)選舉的時(shí)候,文學(xué)文摘搞了一個(gè)大的調(diào)查統(tǒng)計(jì),它調(diào)查了240萬(wàn)人。具體方式就是在雜志里面夾上關(guān)于總統(tǒng)選舉的調(diào)查問(wèn)卷,然后收集反饋。其實(shí)當(dāng)時(shí)文學(xué)文摘調(diào)查的還不止240萬(wàn)人,還要更多,只不過(guò)最后收回來(lái)的有效問(wèn)卷是240萬(wàn)份。正是根據(jù)這個(gè)調(diào)查結(jié)果,文學(xué)文摘宣布他們預(yù)測(cè)蘭登將戰(zhàn)勝羅斯福贏得大選。
而當(dāng)時(shí)還有一個(gè)機(jī)構(gòu),準(zhǔn)確地說(shuō)是一個(gè)年輕人,叫蓋洛普,他的預(yù)測(cè)結(jié)果跟文學(xué)文摘的預(yù)測(cè)正好相反。起初蓋洛普做這類調(diào)查統(tǒng)計(jì),是因?yàn)樗哪赣H要競(jìng)選眾議員,他是給他母親幫忙,于是就在經(jīng)費(fèi)不多的情況下做了對(duì)較小人群的相關(guān)調(diào)查,然后這個(gè)調(diào)查結(jié)果很成功,他母親當(dāng)上了眾議員。接下來(lái)他就想調(diào)查一下,羅斯福和蘭登誰(shuí)會(huì)贏得1936年競(jìng)選。但是他比不了文學(xué)文摘的財(cái)大氣粗,所以他只調(diào)查了5000個(gè)人,根據(jù)這5000人的調(diào)查結(jié)果,蓋洛普預(yù)測(cè)羅斯福當(dāng)選。
結(jié)果羅斯福果然成功連任總統(tǒng),蓋洛普的預(yù)測(cè)勝利了。
這個(gè)選舉結(jié)果出來(lái)之后,對(duì)《文學(xué)文摘》雜志的聲譽(yù)造成了巨大的沖擊:畢竟文學(xué)文摘調(diào)查了240萬(wàn)人,最后卻發(fā)布了一個(gè)錯(cuò)誤的預(yù)測(cè),而蓋洛普只調(diào)查了5000人,發(fā)布的預(yù)測(cè)卻是正確的。結(jié)果,文學(xué)文摘因?yàn)檫@個(gè)事情后來(lái)就關(guān)門倒閉了。而那個(gè)年輕人蓋洛普,就此成立了一個(gè)民意調(diào)查公司,也就是現(xiàn)在的蓋洛普咨詢公司。
這是事情的結(jié)果。那么為什么調(diào)查了5000人的預(yù)測(cè),要比調(diào)查240萬(wàn)人的結(jié)果更準(zhǔn)確呢?我們先不說(shuō)240萬(wàn)這種海量數(shù)據(jù),它在規(guī)模變大以后會(huì)帶來(lái)計(jì)算效率的下降,我們也不提這類海量收集數(shù)據(jù)會(huì)導(dǎo)致成本居高不下的問(wèn)題。根本的原因,是當(dāng)時(shí)文學(xué)文摘通過(guò)雜志夾帶問(wèn)卷進(jìn)行調(diào)查的這種方式。因?yàn)楫?dāng)初問(wèn)卷是夾在雜志中發(fā)放的,所以文學(xué)文摘收集來(lái)的240萬(wàn)份有效問(wèn)卷,實(shí)際面對(duì)的都是訂閱了這份期刊的用戶。那么,當(dāng)時(shí)什么樣的家庭會(huì)訂閱這樣的雜志呢?一般來(lái)說(shuō)都是家境比較好的家庭,所以,文學(xué)文摘雖然號(hào)稱調(diào)查了240萬(wàn)人之多,但是它調(diào)查的主要群體,是當(dāng)時(shí)美國(guó)國(guó)內(nèi)相對(duì)而言有錢的那部分人。而窮人群體的意見,它這個(gè)調(diào)查實(shí)際并沒(méi)有覆蓋到。
數(shù)據(jù)的量多不一定就代表準(zhǔn)確,收集來(lái)的數(shù)據(jù)質(zhì)量好、有代表性,才有可能分析出準(zhǔn)確的結(jié)果。
統(tǒng)計(jì)學(xué)是一門分析數(shù)據(jù)的藝術(shù)
前面舉了一些例子,提醒我們需要非常小心地設(shè)計(jì)方案收集數(shù)據(jù)。數(shù)據(jù)收集上來(lái)之后,我們還要做數(shù)據(jù)分析。按照前面大不列顛百科全書的說(shuō)法,統(tǒng)計(jì)學(xué)同樣是一門分析數(shù)據(jù)的藝術(shù)。
講到數(shù)據(jù)分析,在這里我只講兩個(gè)基本概念:相關(guān)與因果。為什么講這兩個(gè)概念呢?這是因?yàn)槿藗兂3;煜@兩個(gè)概念,常常會(huì)把相關(guān)關(guān)系誤以為是因果關(guān)系。在許多科學(xué)研究和政策問(wèn)題評(píng)價(jià)中,我們更關(guān)心因果關(guān)系。但是,當(dāng)我們看到了某種形式的相關(guān)關(guān)系后,常常會(huì)誤以為這就是我們追求的因果關(guān)系了。
比如說(shuō),在中世紀(jì)的歐洲,很多人相信,虱子對(duì)人的健康是有幫助的。這是因?yàn)楫?dāng)時(shí)人們發(fā)現(xiàn),得病的人身上很少有虱子,而健康人的身上反而是有虱子的。這是長(zhǎng)期的觀察累積下來(lái),形成的經(jīng)驗(yàn)。在中世紀(jì)的歐洲,很長(zhǎng)一段時(shí)間里人們都根據(jù)這個(gè)經(jīng)驗(yàn),得出這樣一個(gè)因果推論:這個(gè)人身上有虱子,所以他身體健康,那個(gè)人身上沒(méi)虱子,說(shuō)明他身體不健康。
當(dāng)時(shí),人們確實(shí)觀察到虱子的存在與否跟人是否健康構(gòu)成了相關(guān)關(guān)系,但是,這是因果關(guān)系嗎?有了溫度計(jì)以后,人們就發(fā)現(xiàn)了,這不是真正意義上的因果關(guān)系:因?yàn)槭訉?duì)人的體溫非常敏感,它只能在一個(gè)很小的溫度區(qū)間范圍生存下來(lái)。而人體一旦生病的話,很多時(shí)候會(huì)出現(xiàn)發(fā)燒癥狀。人體一發(fā)燒,溫度變化,虱子就無(wú)法適應(yīng)發(fā)燒時(shí)候的熱度,于是跑掉了。如果我們只停留在觀察到健康與否和虱子多寡之間存在關(guān)系,那實(shí)際只是相關(guān)關(guān)系,而不是因果關(guān)系。與之類似的例子還有很多,比如說(shuō),我們看到每年冰淇淋銷量增加的同時(shí),各地不幸溺亡的人數(shù)也在增加。那么這兩件事情是不是構(gòu)成因果關(guān)系呢?常識(shí)告訴我們,肯定不是。其實(shí)是因?yàn)槊磕隁鉁厣咧?,游泳的人可能就多了起?lái)了,隨之溺亡人數(shù)也就相應(yīng)增加了。而同樣是因?yàn)闅鉁厣撸苛艿匿N量也會(huì)增加。
也就是說(shuō),如果我們觀察到一個(gè)因素出現(xiàn)了一點(diǎn)點(diǎn)變化,另外一個(gè)因素也會(huì)隨著跟它變化,它們之間可能就有相關(guān)關(guān)系,但是這種相關(guān)關(guān)系,并不意味著這兩個(gè)因素構(gòu)成因果關(guān)系。
如何判斷因果關(guān)系呢,這就需要我們非常小心,而且要非常藝術(shù)地做數(shù)據(jù)分析了,我們最終還是要回到統(tǒng)計(jì)學(xué)上來(lái)。
這里,我們舉一個(gè)歷史上的疾病案例,這就是小兒麻痹癥,也就是脊髓灰質(zhì)炎?,F(xiàn)在大家看到的小兒麻痹癥病例比較少,因?yàn)楝F(xiàn)在有相應(yīng)的疫苗。歷史上,脊髓灰質(zhì)炎曾經(jīng)是一個(gè)讓人非常害怕的疾病。
在20世紀(jì)50年代,當(dāng)時(shí)美國(guó)一所大學(xué)的實(shí)驗(yàn)室,做出了一種針對(duì)這個(gè)疾病的疫苗,已經(jīng)證明它在實(shí)驗(yàn)室條件下能夠產(chǎn)生有效的抗體。但是他們不知道,如果應(yīng)用到實(shí)際生活中的大規(guī)模實(shí)驗(yàn),這個(gè)疫苗還會(huì)不會(huì)有效。所以當(dāng)時(shí)美國(guó)政府部門就決定要做實(shí)驗(yàn),這個(gè)時(shí)間大致在1954年。因?yàn)楫?dāng)時(shí)脊髓灰質(zhì)炎的患者主要是孩子,所以當(dāng)時(shí)的實(shí)驗(yàn)人群定為小學(xué)一二三年級(jí)的學(xué)生。怎么做實(shí)驗(yàn)才能夠真正說(shuō)明疫苗是否有效呢?為了確保統(tǒng)計(jì)結(jié)果最終反映真實(shí)的因果關(guān)系,當(dāng)時(shí)提出了五套實(shí)驗(yàn)方案。
第一套方案是,因?yàn)?953年之前是沒(méi)有這個(gè)疫苗的,所以就從1954年開始,給所有的一二三年級(jí)小學(xué)生接種疫苗,最后再來(lái)看一下,1954年的發(fā)病率,跟1953年相比,會(huì)不會(huì)有差別。這個(gè)方案是個(gè)辦法,但是它有問(wèn)題,因?yàn)橹懊恳荒甑募顾杌屹|(zhì)炎發(fā)病率的差別比較大。比如說(shuō)1951年全美可能有3萬(wàn)名脊髓灰質(zhì)炎患者,1952年則有6萬(wàn)名,而1953年又可能縮減到不足4萬(wàn)名。這個(gè)脊髓灰質(zhì)炎每年發(fā)病率的波動(dòng)都比較大,萬(wàn)一到時(shí)候?qū)嶒?yàn)結(jié)果是3萬(wàn)名到4萬(wàn)名之間,如何判斷這個(gè)結(jié)果是隨機(jī)變化的,還是疫苗發(fā)生了作用?
第二個(gè)方案則提出要按照地區(qū)來(lái)做。比如,在紐約地區(qū),就給一二三年級(jí)小學(xué)生們?nèi)拷臃N疫苗,而在芝加哥地區(qū)的就全部不接種疫苗,然后來(lái)統(tǒng)計(jì),紐約和芝加哥這兩個(gè)地區(qū)的脊髓灰質(zhì)炎發(fā)病情況。這個(gè)方案后來(lái)發(fā)現(xiàn)也不行。因?yàn)榧顾杌屹|(zhì)炎本身就是傳染病,一個(gè)地區(qū)可能流行這個(gè)疾病了,而另外一個(gè)地區(qū)就可能沒(méi)流行,那么這兩個(gè)地區(qū)的數(shù)據(jù)看起來(lái)就會(huì)有差異,但是這不是疫苗的效果,不具有可比性。
于是就有人提出了第三個(gè)方案。因?yàn)楫?dāng)時(shí)這個(gè)疫苗接種,誰(shuí)也不知道有沒(méi)有副作用,因此是有一定風(fēng)險(xiǎn)的。所以這個(gè)方案就提出,讓接種疫苗的孩子們的父母來(lái)自行選擇。有的家長(zhǎng)選擇給孩子接種疫苗,有的就不選擇接種,這樣同一批孩子就會(huì)出現(xiàn)不同的對(duì)照。但是這么做,也有問(wèn)題。因?yàn)楫?dāng)時(shí)人們已經(jīng)發(fā)現(xiàn),脊髓灰質(zhì)炎的患者一般來(lái)自于家境比較好的家庭。這是因?yàn)椋切┘彝ソ?jīng)濟(jì)狀況比較差的家庭,因?yàn)樯顥l件差,衛(wèi)生條件不好,可能一個(gè)人很早就接觸過(guò)脊髓灰質(zhì)炎的病毒了,甚至很可能在剛剛出生的時(shí)候就接觸了脊髓灰質(zhì)炎的病毒,但是剛出生的嬰兒是有母體的免疫力的,嬰兒憑借母體的免疫力,接觸這個(gè)病毒之后能夠產(chǎn)生抗體,反而不會(huì)得病。當(dāng)時(shí)的這類數(shù)據(jù)情況已經(jīng)展現(xiàn)了這種現(xiàn)象。如果采用自愿接種的方式,那些經(jīng)濟(jì)狀況比較好的家庭,往往愿意讓自己的小孩去接種,而經(jīng)濟(jì)狀況不好的家庭由于經(jīng)費(fèi)原因,同時(shí)也知道自己這個(gè)階層染病率稍微低一些,他可能就不愿意接種了。這樣就造成了對(duì)實(shí)驗(yàn)結(jié)果的干擾,你無(wú)法判斷到底是疫苗有效還是經(jīng)濟(jì)原因?qū)е碌牟煌Y(jié)果。
然后是第四個(gè)方案。有人提出,只讓二年級(jí)的學(xué)生接種,而一年級(jí)和三年級(jí)學(xué)生不接種。之后再比較接種的跟不接種的學(xué)生之間的區(qū)別,看他們的發(fā)病率會(huì)不會(huì)有差別。這個(gè)方案是當(dāng)時(shí)的一個(gè)脊髓灰質(zhì)炎防治委員會(huì)提出的方案。這個(gè)方案同樣行不通,第一,它同樣無(wú)法避開接種孩子家庭貧富差距導(dǎo)致的患病概率差異。第二,脊髓灰質(zhì)炎是一種傳染疾病,人群的年齡是對(duì)這種傳染有影響的,一、二、三年級(jí)的學(xué)生年齡層次有差別,可能就會(huì)導(dǎo)致各個(gè)年級(jí)學(xué)生得病概率的差異。此外這個(gè)方案還有第三個(gè)重大缺陷,那就是可能會(huì)對(duì)醫(yī)生形成心理上的誘導(dǎo)。如果按照這個(gè)方案執(zhí)行下去,醫(yī)生們就是知道的,一、三年學(xué)生沒(méi)有接種疫苗,而二年級(jí)同學(xué)中有部分同學(xué)接種了疫苗。當(dāng)時(shí)脊髓灰質(zhì)炎的診斷還不太容易,如果醫(yī)生已經(jīng)知道了這個(gè)疫苗接種方案,而且也提前知道這個(gè)疫苗在實(shí)驗(yàn)室階段是管用的,那么醫(yī)生在面對(duì)一年級(jí)學(xué)生時(shí),一旦這個(gè)疾病還無(wú)法確診,那么這個(gè)醫(yī)生就很可能根據(jù)“一年級(jí)學(xué)生沒(méi)有接種疫苗”“疫苗是有效的”這兩個(gè)提前的認(rèn)知,就直接診斷這名一年級(jí)學(xué)生得了脊髓灰質(zhì)炎。而且這種區(qū)別對(duì)待的方案,接種的學(xué)生本身心理也會(huì)受到影響的。
當(dāng)時(shí)還有第五個(gè)方案,也就是最終執(zhí)行并被采納了調(diào)查結(jié)果的方案。這個(gè)方案具體來(lái)說(shuō),就是在征得學(xué)生家長(zhǎng)同意之后,仍舊會(huì)告訴家長(zhǎng):你即使同意接種疫苗,我給你家孩子接種的,也不一定是疫苗,而是一種看起來(lái)跟疫苗一模一樣的安慰劑,沒(méi)什么副作用也沒(méi)有什么效果。因?yàn)檫@個(gè)安慰劑跟疫苗長(zhǎng)得一樣,所以醫(yī)生和學(xué)生都不知道到底接種的是疫苗還是普通的安慰劑,但是疫苗提供方是知道的,它對(duì)每一個(gè)藥品都加了編號(hào),因此疫苗提供方知道哪些是安慰劑,哪些是疫苗。通過(guò)這樣的方式,實(shí)驗(yàn)室實(shí)現(xiàn)了隨機(jī)的方式接種疫苗,而且無(wú)論家境好壞,這個(gè)接種疫苗都是隨機(jī)的。同時(shí)醫(yī)生們也不知道,到底是哪一些小孩接種了疫苗。這就規(guī)避了年齡、經(jīng)濟(jì)條件等各種擾動(dòng),有助于確定脊髓灰質(zhì)炎與疫苗之間真正的因果關(guān)系。
1954年,這個(gè)實(shí)驗(yàn)大約有74萬(wàn)名小學(xué)生參與。最終的實(shí)驗(yàn)結(jié)果是,如果接種疫苗,孩子罹患脊髓灰質(zhì)炎的概率大約是十萬(wàn)分之28,如果不接種疫苗,患病概率大約是十萬(wàn)分之77,二者相差一倍多。之后又經(jīng)過(guò)各種努力,脊髓灰質(zhì)炎疫苗在美國(guó)獲得了通過(guò)。
許多科學(xué)結(jié)論、政策評(píng)價(jià)都依賴于因果分析而不是相關(guān)分析。統(tǒng)計(jì)學(xué)能夠幫助我們證明那些我們所需要的因果關(guān)系。很多時(shí)候,真正的因果關(guān)系,不能簡(jiǎn)單地建立在相關(guān)關(guān)系的基礎(chǔ)之上。還有很多科學(xué)問(wèn)題,仍需要我們?nèi)グl(fā)現(xiàn)真正的因果關(guān)系,這正是統(tǒng)計(jì)學(xué)可以提供數(shù)據(jù)收集以及分析方案的地方,也是統(tǒng)計(jì)學(xué)的魅力所在。(來(lái)源:光明日?qǐng)?bào))
網(wǎng)上經(jīng)營(yíng)許可證號(hào):京ICP備18006193號(hào)-1
copyright?2005-2022 3dtdv.cn all right reserved 技術(shù)支持:杭州高達(dá)軟件系統(tǒng)股份有限公司
服務(wù)熱線:010-59231580