做為一個大型的、長期追蹤的問卷調查,TEPS是最適合探討教育社會學的核心議題。由於調查方法和資料內容,都與社會學門有非常緊密的關連,因此團隊的核心成員是由多位社會學者與教育專家所共同組成,其中張苙雲和譚康榮兩位教授都曾得過國科會傑出獎,譚教授並得過中央研究院年輕研究人員著作獎。

有經驗的研究團隊 --- 為了建立高品質的資料庫,我們的核心問卷團隊結合多位在調查研究的理論與實務以及問卷設計皆有豐富經驗的專家。例如:

  1. 計畫主持人張苙雲教授二十年來在許多大小規模的社會調查研究上累積了專業且豐富的經驗;協同主持人關秉寅教授,於青少年調查的方法與研究設計上有多年的實務經驗,他們亦分別在台大、輔大和政大教授相關課程。

  2. 譚康榮教授任教於美國哈佛大學時,開設高階統計方法、以問卷設計為主的調查方法等課程,來台後亦有多次問卷設計實務經驗。譚教授在芝加哥大學攻讀社會學博士時,其指導教授是社會學大師James S. Coleman --Survey on Equality of Educational Opportunity」的計劃主持人。Coleman以大型社會調查與統計分析為基礎,於1966年發表著名的The Coleman Report,徹底改變了當代美國教育研究與教育政策辯論的方向。

  3. 研究團隊的顧問之一,瞿海源教授(中央研究院社會學研究所研究員)為台灣社會問卷調查領域之資深權威,在問卷設計及田野工作上提供了許多寶貴的意見。除此之外,在整個問卷設計過程中,我們邀請了許多來自全國各地社會學、教育學和心理學領域的專家,開過多次問卷會議,提供他們的專業建議。

問卷的品控 ---- 除了經由問卷小組不斷的討論與相互激盪來提升問卷的品質外,尚於定稿前和下一波資料收集之前,進行以下的品控步驟:

  1. 認知訪談:在每份問卷定稿前,我們曾做過認知訪談,並根據訪談結果修正。不論我們初期對某些項目的憂慮,發現受訪者的認知和原本的設計並無太大出入;倘若時間和成本能更充裕,我們可以有更完整且廣泛的認知訪談以改良問卷。(請參考Blair and Presser, "Survey Procedures for Conducting Cognitive Interviews to Pretest Questionnaires: A Review of Theory and Practice," 1993 Proceedings of the Survey Research Methods Section of the American Statistical Association.)

  2. 預試:每份問卷在定稿前,都會對小規模的樣本進行預試,預試的結果是進一步修改問卷的重要參考。

  3. 資料分析的回饋:我們相信研究者常常必須等回收的資料做分析後, 才能設計出更適用的問卷。正如政治學研究在經過數十年選舉資料的密集收集和分析後,對於選舉偏好與政黨認同的測量等依然不斷地修改,因為有時候研究者必須等到理論預測與資料做分析比較之後,始可以推斷該修正哪些問題以及該如何修正,無法在一開始的時候,只依靠一般的問卷設計原則,設計出最理想的問卷。

理想與實際之平衡 ---- 問卷設計是一個由社會學發展出來的專業領域,這個領域的專家已經提供調查研究很多可以遵循的原則及追求的理想,然而不可否認的是,在現實上不盡然可以全然做到。就算沒有期限與成本的壓力,理想之間往往會互相衝突,我們必須常常做出兩難的取捨。舉例而言:

  1. 使用Likert scale,可以大量降低資料處理成本、選項數目、選項設計之複雜度、應答時間以及受訪者之負擔,但必須放棄測量的精準度,並需要大樣本、進階的統計分析方法。。

  2. 為了處理大量的樣本資料,迫使我們必須盡可能採用掃描方式處理原始資料,限制在最多只有六個選項,無法對有關數量的題目採用開放式記錄,也無法收集頻率很低的“其他”內容。

  3. 雖然問卷使用單一的語法並不能適用於所有學生(例如:原住民和非原住民學生對於國語的理解能力有落差),我們卻無法奢望能針對特定的語言族群,個別設計並印製適用的問卷。