勿單靠成績論教學優劣

(2017年5月24日星期三)

我曾經提出過,成功教學 (successful teaching) 和優質教學 (good teaching)是兩個不同的概念。

教學是否成功,只看學生的學習效果。例如,目標是要學生學會「退位減數」,那麼成功與否就要看學生能否完成「退位減數」的任務 (tasks)。當然,是兩位數還是三位數的的退位減數呢?所需要的認知要求 (cognitive demand) 也有明顯分別。

教學的優劣,主要還依賴老師的識見、經驗、預備、表現,例如能否掌握課題的要求、學生的已有知識、班裡狀況、學習困難、按學習目標設計教學等。然而,最優良的教學也不保證每次都能成功。影響學習「成功」的因素眾多,並非全由教師控制,例如學生睡覺晚,弄到上學遲到或打瞌睡;下一堂是另一科的測驗,學生都在擔心試卷深淺和成績;家裡有人生病或出了問題,致上課心不在焉等。

長遠來說,優良的教學,會有較大的「成功」機會,學生也會有較佳的「成績」,但不要相信有「必定成功」的教學策略,那是吹噓。若以「成績」作為唯一評價教學是否「優良」的指標,那是短視。還有,如只要求保著成績,很多實驗性質的教學方法將難以推行。

那麼,教學的優劣如何評價?個人認為,觀課是較合適的方法。當然,這也要考慮到「觀課者」本身的修養和能力:既要能明白老師的出發點,又能敏銳地觀察實際課堂情況。若只拿個「項目清單」(check-list) ,記個 作評鑑,就很難作深入分析;同儕觀課也是好方法,條件是大家都在一個安全的環境下觀課,而不是互相吹捧,或交差了事。

再問普教中的理據何在?

(2017年5月17日星期三)

審計署又出報告,指教育局和語常會對「普教中」的研究,不盡不實,花了錢資助和推行普教中,卻不知道有甚麼成效。

請勿忘記,提出普通話教授中國語文科為香港教育長遠目標的,是官方的課程發展議會,時年為2000年。當年已有人問:這是個「政治」決定?「經濟」決定?還是純粹基於「教育」和「學習」的考量?

語常會曾在2007年撥出了2.25億元,資助160間學校推動普教中,引起全城騷動。我曾在2008年本欄問:普教中的理據何在?有甚麼研究和證據,說明普教中能提升學生的中文水平?要花這麼多錢,不是應該先完成研究,確定可期待的成效嗎?

當年的主席田北辰曾以個人印象式回應說:普通話聽說能力比用廣州話學習的學生有進步,寫作也較流暢。

要留心的是,語常會在1996年接管了「語文基金」,目的之一正在於加強其研究功能,可惜,這個語常會原來只是個大花筒,連自己花了的錢有甚麼「成效」,也闊佬懶理。2007年拋出2.25億,到了2012年,錢都差不多花光了,才找來4間學校來做相關的「研究」,結果是「研究對普教中沒有明確的結論」!

有支持TSA的某校長說,其學校上學年收到2,800萬元政府公帑資助,認為拿了這麼多公帑做事,「有一個問責精神有咩不妥呢?」上述的普教中2.25億元帳單,大概是她學校8年的經費,如果用相同的問責精神,10年間當語常會的主席共有三人:田北辰、程介明、黃嘉純,究竟誰該負責?

講教學要些怎樣的測評?

(2017年5月10日星期三)

NCLB以來,「標準考評」和「測考問責制」興起,但美國教育界並沒有停止過進行反思和研究,甚至跟政府唱對台戲,這是美國學界可愛可貴之處。

高風險測考的興起,Nichols & Berliner (2008) 歸因於政商界從「生意管理」看教育。做生意講效率,用分數做個指標,製造一張學校成績表,就能揪出懶惰的教師,令他們受壓而改進,不費分毫就可以提高效率,豈不快哉?至於教育其他目的,或學校無法控制的因素(例如學生能力水平),就無關宏旨了。

香港的侯傑泰教授,原來也嚮往這種測考文化,並相信學校的TSA/BCA成績差,就是教學差,故也要給學校弄張成績表,令其「知所改進」。某校長又謂:學校使用公帑,須「自覺提升學與教的效能」,但其所謂提升效能,原來是指「應用BCA數據」。

應用 BCA 數據,真有如此神效?誰都知道,這類測試目的不在於教學,而是統計常模 (norms)。莫慕貞教授 (2017) 曾指出,對個別學生來說,這些題目不是太深,就是太淺;要講教學,正確的策略是「因材施測、因材施教」。

其實,留心學生的老師,拿試題上手,大概心裡已知道,班裡誰會答對,誰會答錯。改進教學所需的,是「診斷性」的測考(diagnostic tests),即在開授某課題之前,能告訴老師,學生已懂些甚麼,會錯在哪裡,從而確定教學的進路,及授課後的考評 (trailing indicators),告訴教師教學的成效。

這也是我從前從事「課堂研究」(lesson study)之時,堅持由老師設計「前測」和「後測」的原因。這些由任教老師製作的測試 (teacher-made tests),可能不盡善盡美,卻最管用。


References:

Nichols, S. & Berliner, D. (2008) Why has High-Stakes Testing So Easily Slipped into Contemporary American Life? Phi Delta Kappan, 89, 672-676

莫慕貞 (2017) 「後TSA」評估策略:因材施測 因材施教,明報2017420日觀點版

TSA若認真,成績表這樣做

(2017年5月3日星期三)

當大家遏力阻止異化操練之風再起,倡議TSA 要「不記名不記校、抽樣考隔年考」,現屆政府卻堅持復考!

支持者侯傑泰教授說,TSA追蹤全港學生整體成績外,還要有對個別學校「進行回饋、促進教學」功能,因此堅持每年每校發給一張「TSA成績表」,讓學校知所改善。他說抽考就達不至這目的喇!

候又列舉英美流行的「學校排行榜」做法,說政府頂著千百倍壓力也要推行。當然,他沒說這種以成績論斷學校質素、甚至殺校的政策,令英美學校產生了前作未見的「操練文化」和摧谷作弊歪風。在侯熟識的「測考學術界」,對這種政策的批評尤為猛烈。

然而,我看就算要讓學校得到一張TSA成績表,理論上亦不必「不抽測不取樣」,問題在於這張成績表是否真要有「回饋教學」功能,還是表面以競爭之名,用羞辱威嚇方式向學校施壓問責。若只是前者,以下方法是否可行?

堅持取樣抽測,中央立即計算各科各卷各題的全港常模(Norms),連考卷分發給學校,學校再拿考卷給有關學生做,接著按常模計算自己學生、年級、科目、全校的成績。這張成績表是由學校自己做、自己看,教務組和科組同事純粹用來分析學生成績,看學生錯在哪裡,其間如覺有需要,局方亦可設有支援組提供意見,看看教學能否更有效。

既然只求「回饋教學」,可立例禁止這張成績表交給校董會或教育局,或故意向外泄露,由於無人可以做學校間成績表的比較,消除操練的壓力,但學校仍得到所需資料,知所改進,完成侯教授的「心願」。

NCLB弊大於利

(2017年4月26日星期三)

美國No Child Left Behind Act (NCLB) (至 Every Student Succeeds Act (ESSA))帶來各州統一測考,強令學校公開成績作比較,好聽的措詞上是「促進學校改進」,其實是推行高風險測試政策,學校為存亡要跟制度「搏奕」(gaming the system),「分數高低」與「教學改進」證實毫無關係。

學者在期刊批評NCLB的「測評問責制」,二十年來文章不斷,其中包括測評學者 Robert LinnJames PophamLorrie ShepardEva Baker,擅長研究教學的David Berliner,教育政策學者Diane Ravitch等。Ravitch 還當過副教育部長,掌管NAEP長達7年。

Shepard 在去年的Educational Researcher 文章中這樣說:在1990年代,發展勢頭很好,學科專家都在設計較有深度的課程,希望強化學生思考、解難、概念理解,讓他們追求深層學習 deep learning)而非忙碌於機械式操練,他們又鼓勵教師多使用開放式考題、專題探究等測評工具。這時卻來了一個 NCLB,就是因為要訓練學生考統一標準試,把一切美好的都打翻了。

她續說:今天的教育研究者,應設法說服政府,高風險測試給教育帶來破壞性影響 corrupting effects)。這些測試的負面作用早已人所共知,只是政策辯衛士和反對者對問題的嚴重性看法不一致。但時至今天,我們已可以斷定,弊大於利。若時光倒流,專家應把力量放在設計課程和教師培訓上。要真有成效,應以課程設計為主體,而非獨自發展測評工作;政府也應放棄懲罰性措施,少舉行測試,把資源放在課程和非為公布成績的測試工具上。

我想,那些以提供「學校報告」為擋箭牌,嚮往 NCLB式測考,或希望把 TSA /BCA變為學校「知衰、故知所改進」的人,請讀讀上述學者金石之言。

讓你知所改善,怕你滑落不自知

(2017年4月19日星期三)

校長召見甲老師:「我們對大考作過統計,你教的 D班,成績比 A, B, C班都差。你要調整教學,成績若不改善,可能 ……

甲老師向乙老師訴苦。乙安慰他說:「校長用心良苦呀!TSA給學校派成績表,他當然也要給老師做「體檢」喇!這是讓你清楚自己的教學問題,怕你滑落而不自知。

「不過,校長並沒有說,學校是按成績編班的,整體學生叻極,總會有人派去讀 C D班,而每年派給我教的,不是C班就是D班。年尾就召見我,話我班表現最差,不用做研究都知喇!」

「替教師作成績「體檢」,是一種新型TSA,也非我校獨有,大勢所趨呀!有些校長還頂著千百倍壓力,在學校門口貼出個別老師和學生的「成績排名榜」,好讓落後的「知所改善」!我們校長算仁慈,沒有這樣做;不過據他說,有學校做開的,只停了幾年,全校成績即下跌喎!」

「怎樣可以「改善教學」呢?D班表現總比不上 A B班。我並非不重視成績,但不是說過,求學不是求分數嗎?我努力班級經營,培育學生自尊自信,師生關係不錯,同學都愛回校,無人要自殺,有些還開始對讀書有興趣。當然,這些不算是「成績」吧!」

「我們都是老師,對學生的表現其實最清楚,哪用等大考才知道?不過,既然上頭有這樣的嗜好,我們只好對準目標,一開學就操練歷屆試卷,專心研究題形,隔天模擬大考一次,天天練習,學生低分都難。看,我現在年年都派去教 A B班了。」


(上述是虛構故事。)

測考成績與學校質素

(2017年4月12日星期三)

趙勇(Zhao Yong)去年再次在美國獲選10大最有影響力的教育學者。他在四川長大,到美國求學,現為堪薩斯大學教授。

趙勇說美國自1983 A Nation at Risk 出版後,經過 No Child Left Behind Act Every Student Succeeds Act,形成一股「測考問責」文化。政客拿亞洲國家的成績比較,產生落後恐懼,於是通過法例令每州實行統一考試,以成績向學校問責。可惜20年後,成績目標沒達到,美國的「國際」排名也沒進步。

這段歷史,講過的人很多,趙勇文章吸引,是由於他來自中國。在《誰怕那條大惡龍?》裡,他說各國都在爭「國際排名」,上海排名高,大家都說要學上海;但PISA成績發放日,他正在上海,領導並沒有為成績慶祝;相反,他們問:究竟「高分」真否顯示有價值的學習?為了爭成績,學生沒時間花在哪些事物?那些事物是否更有價值?為甚麼成績這樣好卻出不到一個 Steve Jobs

趙勇勸告美國人不要盲目抄襲別國,也不要搞 standardised tests讓學校跑成績,或誤信「測評成績」就是學校質素。要問:贏了排名,輸了甚麼?中間產生了甚麼不良後果 (side effects)

香港TSA爭論中,近日又有人宣揚美式的測考文化。其實,要製造一個標準測試(PISA也好,香港的TSA也好),替教育系統作「體檢」,並非不可能,但切勿誤信這些成績可用來論斷個別學校的教學效能。著名學者 James Popham (1999) Why Standardised Tests Don’t Measure Educational Quality中解釋過,這樣做猶如把鐵匙羹用作溫度計,非常不準確;影響學校成績的因素眾多,教學只是其一,還有學生本身的能力高低,在學校以外得到的學習機會等。


所謂的TSA「外國經驗」


(這篇文章是特稿,刊於 2017年 4月6日星期四《明報》的觀點版)

吳克儉局長最近舉例,謂加拿大Manitoba(緬省)在1999年取消了類似TSA的評估工具,學生表現因而跌至全國最差。

在加拿大,要找跟香港TSA類似的「系統性評估」,應是由Council of Ministers of Education Canada 負責的Pan-Canada Assessment Program (PCAP)。立法會秘書處的資料研究組,曾研究各地的「全國性系統評估」,發表的《資料摘要》(下稱《摘要》)亦以PCAP 為代表。該試3年一次,隨機抽選學生進行,是個低風險測試。

據我所知,緬省參與了所有年份的PCAP2007, 2010, 2013, 2016),從沒間斷過,未知吳局長所指緬省取消了的是哪個試?

州內的統一測試

身兼檢討TSA委員會成員的中大侯傑泰教授曾謂:「美國的TSA/BCA,會貼出評估成績,令很多學校困擾,壓力比香港大千百倍。」那又是甚麼一回事?

在美國 (也按《摘要》),可與香港TSA相類比的,應是 National Assessment of Education Progress (NAEP)。該試是全國性系統評估,始自1969年,也是抽樣進行。NAEP地位崇高,但從不報告個別學校或學生的成績,實行了半世紀,並沒有引起太大的爭議,也沒聽過該試引發操練壓力。

日前侯教授再發文,大家才知道,原來他所指的(同時又謂葉建源不懂的),並非NAEP,而是在Every Student Succeeds Act (ESSA) 法例下美國各州自行舉辦的統一測試。

美國各州本無統一課程考試,2001年通過 No Child Left Behind Act (NCLB) 法例,原意是幫助弱生達到一定學業水平,卻演變成一種「測考問責制」(assessment accountability) 。法例下各州必須對指定年級學生進行統一測試,並公布個別學校的成績。

然而,各州的考試內容仍不相同,達標分數不一,但新制度把個別學生的分數連繫到學校甚至老師身上,學生成績不好,可辭退個別教師,關掉學校,故有說這是「懲罰性的測考問責」(punitive assessment accountability)。NCLB本稱要全國學校在2014年全達標,但證實做不到。2015年通過ESSA,是NCLB的延續,只是給各州政府多一點彈性和時間。

侯教授並沒有指出這種「測考問責制」引起了嚴重的社會分化。美國學校的確想出多種辦法「改善」成績:操練學生,大量家課,因考施教,減教非測考科目,借故不收有特殊教育需要的學生,老師通水作弊等。不少家長也不滿,認為測試扭曲學習本質和妨礙子女正常成長,又無助改善教學,故發起「罷考」運動。

與香港TSA/BCA理念不符

回看香港的TSA,侯教授的說法有兩大問題。

一、香港的 TSA,原意只在於追蹤學生的整體表現,並無打算用成績評估作工具對學校施壓(雖然的確有官員這樣做)。侯教授不選擇 NAEP而談ESSA(或NCLB)下的懲罰性考試,並稱之為各省自行舉辦的「TSA」,這類比是否恰當?

二、或許有人認為,美國的教育過份鬆散,教師不濟學生懶惰,因此得用方法修整鞭策。但請明白NCLB下的考試,目的已超越了「系統性評估」,而是耍手段要學校加強成績表現。近年我們嚐過了TSA操練異化的苦頭,還希望TSA/BCA變成美國的NCLB ESSA嗎?再者,就算今天當局改變了想法,要跟從美國的做法,是否也應該先清楚交待,讓公眾討論?

香港的具體情況

相信大部分人會同意,香港的課程統一,學生成績不錯,國際成績比較中經常佔優,學校的成績壓力不是太輕而是太重,測考功課不是過少而是過多,競爭不是過弱而是過劇,教師太辛勞而不是懶閒;學生若果成績不好,香港教師會慚愧自責。我們還需要多一個試,加強個別學校的成績問責嗎?
香港學校收生,基本上已是成績為先,而非歐美般的按居住地區入學。已當上 Band 1 學校的,要它們貼出學生成績,支持成績問責,當然容易。但社會上總有收容 Band 2 Band 3 學生的學校,要貼出他們的成績,用成績進行「學校間比較」,真會提升成績,消滅「落後」的學校嗎?

社會心理學家Donald Campbell曾說:「愈多使用量化指標來制訂社會決策,就愈容易令這些量化指標腐化,同時也就愈容易曲解和破壞原本該指標所要關注的事物。」(The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures, and the more apt it will be to distort and corrupt the social processes it is intended to monitor.

TSA原初以為是「基本能力」的忠實指標,卻被扭曲引發操練,結果它測量的,再不是「基本能力」了。以為有了數據就有政策的依歸者,請勿忘Campbell 定律。


罷考越勁,成績越好?

(2017年4月5日星期三)

吳克儉局長稱,加拿大有省份在數年前取消他們的 TSA/BCA測試,結果該地區學生表現「排全國尾二」,他相信香港若取消,這個後果數年後就會見到。

這種「因果關係」真奇特。建議局長也看看美國紐約州情況。長期以來,美國已有 NAEP進行全國抽樣的「系統評估」,但近年各州又每年自辦「標準測試」(standardised tests),令學生和學校進行比較;家長反對並發起罷考 Opt Out),去年120萬名學生中,24萬不應考。

結果收集回來的數據,學生的英語達標率升了7%,數學也上升1%。我們可否接受以下荒謬的「因果」結論:有罷考的地方,學生成績就越好?紐約州的罷考運動已進入第4年,今年更多罷考個案,可否因此預測,今年的成績會更好?

類似香港,州政府為求平息罷考風波,曾對考試作出「改善」,例如把試題改淺、減少題數、保證分數不會用來向學校施壓等。

也類似香港,家長並不領情,政府說數據有助學校問責,家長則認為該試干擾學校課程,只肥了出版試題的書商;成績分發之日,子女已升了級甚至轉了校;考試給學生徒添壓力,無助學習或改進,弊大於利。

美國心理學會 (American Psychological Association) 訂明,專業者在測試前必先取得接受測者的「知情同意」(informed consent)。紐約教育局也「公道老實」,雖然宣傳考試,仍告訴家長,送不送子女考試,權在家長手裡。

香港似乎並沒有這回事,TSA/BCA收集個人數據和成績後,交到誰的手裡,會作甚麼分析,事前並沒有徵求家長「知情同意」,家長若不同意,看來只有轉私校一途。

學習都是苦事?

(2017年3月29日星期三)

很多課程指引,都用上一時髦詞語:「學習經驗」(learning experience) 。細看之下,所謂「學習經驗」,其實只是「學習活動」建議而已。經驗是主觀的,從學生的角度看,讀同一首詩或在球場跑一圈,因各人的背景、動機、關注點不同,「經驗」亦會各異。稱能完全控制學生的「學習經驗」,相信是把話說過頭了。

一般人都可能有這種想法:學習是攀越困難,No pain no gain,吃苦才有收獲。我曾在某年的師訓班上請學員(都是在職教師)寫下「最難忘的一次學習經驗」,幾乎全部人寫下的,都是吃苦的往事。難道沒有「愉快」的學習經驗嗎?

我記得讀書的時候,我和鄰座同學都喜愛詩詞歌賦,當年的國文都是範文教學,功課也不多。放學無人後,我倆常跑到學校後樓梯間,輪流朗讀心愛的篇章,如彭端淑的《為學一首示子侄》:蜀之鄙,有二僧,其一貧,其一富,貧者語於富者曰:吾欲之南海,何如?;又如歸有光的《項脊軒志》:借書滿架,偃仰嘯歌,冥然兀坐,萬籟有聲,而庭階寂寂,。幾十年後,昨天我和這友人相聚,他主動提及此事,謂記憶猶新,並引為樂事。

不錯,深刻的學習需要專注和毅力,但並不等於說學習必然痛苦。Csikszentmihalyi 提出「暢態」(flow)理論,說有人全程投入工作,並非求名求利,亦非刻意,而是從專注和浸淫中得到欣賞和喜悅,甚至達到廢寢忘餐和忘我境界。

究竟學校裡的學習可以有「暢態」嗎?有多少老師能為「暢態」創造條件,讓學生能享受讀書之樂?

抽測

(2017年3月22日星期三)

立法會秘書處資料研究組最近比較了澳、加、韓、英、美五國的「系統評估」,製成《資料摘要》。從該報告看,各國的評估設計,目的在於監察整體成績,故多採用抽樣辦法。由於學校不能預知哪一級哪一科哪一個學生會被抽中,操練難行,因此亦成就「低風險」評估。

抽樣的方式多樣,例如澳韓英每年只選某些年級或某些科目進行,美加跟本不打算得出個別學生或學校的成績,故對學校和學生進行隨機抽樣。加拿大的評估,還每三年才舉行一次。在澳洲和美國,學生就算抽中,亦可選擇不參加。

部份國家的學校也出現「因試施教」現象,多因政府或傳媒製造學校「排行榜」,把學生和學校成績作比較;幸好這些政府亦意識問題所在,因此或廢除某些敏感階段的評估,或減少測考科目和測考時間等。

《資料摘要》沒有包括台灣。有說台灣的TSA類似香港,並謂其測試下延至小二。此說值得商榷。台灣其實有兩種評估:系統評估由「台灣學生學習成就評量」(TASA)負責,只選定小四、小六、中二,高中職二級,對學校和學生進行抽測,三年一輪,抽中的學生只考5科中的兩科,亦不發個人成績。另設「縣市學習能力檢測」(即所謂下延至小二的評估),對二、三、五、七、八年級進行中英數普測,雖是普測,但目的不在於整體成績評估,而在於找出學生常犯的錯誤,促進教學,並追蹤「待加強」的學生進行補底。

既是普測,年年考,又無科目輪流,自稱既能「系統評估」,又能「促進教學」的,就只有香港的TSA/BCA

媽媽的一封信

(2017年3月15日星期三)

「成績掛帥」之風由東方吹到西方。美國的中小學教育近年趨向測考化,教學針對考試,學生成績可決定學校的存廢和教師的去留。不少家長對這種「成績文化」存疑,認為是過份強調競爭,學生承受過大壓力,學校功課過多,無暇「自主」學習等。Vicki Abeles 製作了兩套紀錄片:Race to Nowhere (2010) Beyond Measure (2014),訴說家長和孩子的故事。

Abeles又把寫給升讀大學的女兒的一封信,放在網上,語句感人,亦說明她對今天大學教育的觀感,節錄如下:

去年我跟你一起走訪各大學,結果發現大學只是「競爭」的一環節。原初以為大學教育目的在於引導思考,培育能力,尋找個人路向,但原來它們只關心收錄多少名超級分數學生 (super-scorers),最好能讀兩個甚至三個主修科;那些非長春籐大學,竟以安排學生到哥大或MIT做訪問生作宣傳。

我知你喜歡讀理科,但留意今天的理科生有40%最終轉系或放棄學畢業。報章稱這為「數理死亡列操」 (math-science death march) :學生在大講堂上課,教學枯燥,學習沒有支援

從前以為大學是教育的高峰,今天的大學真能完成其育人的使命,讓年青人快樂、健康、全面成長嗎?不少大學跟中學一樣,只強調競爭而非學習過程,大量筆記和考試,只求讓學生填滿履歷表。

我希望你能切記,學習不等於考試,最好的學習可能不在課堂上,而是在與教授和同學的對話;要努力讀書但別忘記平衡生活,健康比成績重要,要有睡眠、吃飯、社交、運動的時間。

我仍相信大學是思考、交友、成長、追夢的地方,別忘記通往成功的路總是多條的。