方法論不過關，結論就“免談”

【要想獲得科學合理從而讓人信服的結果，必須保證抽樣的隨機性，找錯了對象，不但不可能準確反映社會原貌，更會發生“牛頭不對馬嘴”的“貽笑大方”。】

在當下中國，民眾對生活各方面內容有不滿很常見，如果統計一下對食品安全、交通以及其他公共服務的滿意度，恐怕也不會太高。在一個保持多年高速發展的國度，民眾的期望大大超過實際生活的改善程度，這是正常現象。

值得考慮的倒是，近年來不少機構或個人屢屢用統計分析的方式，向社會發布自己的調查結果，但用的方法卻沒有嚴格論證。其實，統計分析是一門利用數學方法，借助概率論、抽樣、問題設計等技術手段，找出個體間有意義的差異，最后反映超越個體特性的整體狀況。由于得到了現代數學的堅實支持，僅僅調查一部分人就可以得出比調查所有人都準確的統計結論，不但成本大幅降低，還可以確保結果的誤差不超過預期水平，所以，抽樣調查得到了普遍運用。

不過，要想獲得科學合理從而讓人信服的結果，必須保證抽樣的隨機性，找錯了對象，不但不可能準確反映社會原貌，更會發生“牛頭不對馬嘴”的“貽笑大方”。這份藍皮書中是否也有可能存在類似問題？

據報道，藍皮書所披露的數據來自于２０１３年１１月２１日至１２月１８日，２１世紀教育研究院聯手相關機構開展的“２０１３年公眾教育滿意度調查活動”，共有來自全國各地的５０８０１位網友參與了問卷調查。公眾教育滿意度的各項指標得分介于３５．５４分到５９．６６分之間，無一項指標獲得公眾“比較滿意”的肯定。分項指標包括教師隊伍素質、教育總體狀況、義務教育階段農民工子女獲得均等入學機會的情況、政府治理教育亂收費的成效等內容。

從這些分項指標來看，調查確實針對的是當下民眾最為關心的方面，雖然有所遺漏，但基本能夠反映被調查者的關心所在。問題出在雖然調查了５萬多人，但既沒有說明為什么調查的是５萬多人，而不是更多或更少，因為在抽樣調查中，調查樣本大小的確定有著嚴格的方法要求，項目越多，對象間差異越大，樣本規模也相應需要放大。這項調查在樣本規模的確定上不知道有過什么考慮，如果僅僅取決于網友的熱情，多了就多調查幾個，少了就少幾個，那就不夠嚴謹了。

更成問題的是，眾所周知，網絡上熱心于參與各種調查的人士屬于一個特定群體，在年齡、教育年限、職業、收入、消費習慣乃至性格上都有突出的特點，只是全體國民這個整體中一個特別的部分，如果拿著單純由這個群體提供的資料，去推斷全體國民的意見，那絕對會鬧大笑話：我們能從網絡調查中得出國民收入嗎？國家１０年一次人口普查能隨便找家商業門戶網站，從不知背景、隨意上網且隨其高興決定回答或不回答的網友的無法查實的回答中，得出“中國人口”的各項數據嗎？如果國家采取如此做法，那才真會引發“公眾滿意度大幅下降”，引發在世界各國面前“中國國家形象大幅下降”，因為誰都不會相信一個國家竟然拿基礎數據如此開玩笑，毫無技術含量。

回到藍皮書的報告，稍微懂點調查方法的人都不難發現，除了統計技術的致命傷之外，在調查的內容和對象的相適度上，同樣存在明顯的錯誤。相比整體人口，網絡活躍人群普遍趨于年輕，思維活躍，學歷偏高。因此對不同分項指標的敏感度也具有同全體人口很不一樣的地方。比如，網友相對年輕，許多人還沒有孩子，甚至都沒結婚，他們對義務教育的滿意與否，更多地是基于自身的記憶，而不是對現狀的了解，充其量只是某種道聽途說。雖然也能反映存在的一些問題，但同報告所針對的“２０１３年”這一特定時間段，真的沒有多大關系。完全從改進義務教育的角度說，聽他們的意見還不如聽年齡遠比他們大的退休老人來得靠譜，后者中至少有不少人需要每天送孩子上學，對教育有著更為切實的了解和體驗。

對習慣于“毛估估”的中國人而言，開始采用數據來說明問題，絕對是全社會的進步，但定量分析是非常嚴肅的一項科學活動，沒有方法論的保證，隨便收集的數據在統計學界會被視為“垃圾”，而且業內有一個得到高度共識的定律，叫“垃圾進來，垃圾出去”。所以，在學術論壇上，專家們對研究方法論的關注遠遠超過對調查結論的關注，方法論不能過關，結論就屬于“免談”了。對此，任何一項嚴肅的調查都不會不仔細遵守，因為這是學術共同體的基礎性規則。

（作者系上海大學社會學教授）