邱意弘:如何评估线上学习效果

2021-09-21 4009

大规模的线上教学已经持续了半个学期了,学生的学习效果如何?有哪些适宜的方法能考查学生的线上学习效果呢?

 

评估可分为两大类,一是考试,在限定的时间、空间内回答一组试题,通常会有监考;另一类是表现型评估(也称真实性评估),通过让学生在一段时间内、不限空间地完成其未来职业领域中的某种(些)任务来评估学生表现,因而这种评估方式能更准确地评估学生的实际能力。

评估方法要依拟考查的学习目标来选择或设计,学习目标是学生在学习完一门课或一个单元后知道什么或会做什么,应是可观测、可衡量的行为或结果。依据布鲁姆学习目标分类法,学习目标可分为认知、动作技能、情意三大领域,在认知领域从低到高分为六个层次:记忆、理解、应用、分析、评价、创造;记忆、理解属于低阶认知目标,其它属于高阶认知目标[1]。(见图1)

 

 

下面介绍几种适宜评估线上学习效果的方法和策略:

一、线上考试

对应不同的认知层次,试题形式可参见表1。因受考试时间的限制,用于考查高层次认知目标的试题数量有限,而且试题往往是真实问题的简化。

 

表1:用于考查不同认知层次的试题形式

*选择题干扰项的设计不容易,好的干扰项可使猜中正确答案的概率小于随机概率。

 

为了保障在线考试的公平性(考试作弊难以完全避免),在线考试可采用题库抽题组卷、限时作答的方式。在线学习(辅助)管理平台系统(如Canvas,Blackboard, Moodle,超星尔雅等)一般都提供了在线考试功能,能实现题库抽题,选择题选项随机出现,客观题自动评分,限时作答等功能;问卷星中也能实现类似的在线考试功能。(如何在canvas中建立题库及抽题考试,参见https://v.sjtu.edu.cn/guide/showguide-366.html)

正常情况下有监考的高风险考试(考试成绩占最终成绩50%以上)不宜直接搬到线上,可采取增加测试次数,降低单次考试分值的做法。为减轻学生对在线考试的技术性问题的焦虑,可以提供模拟测试,让学生熟悉考试过程。如确需实施严格的在线监考,则可以考虑采取以下策略:“单摄像头+开启音频”监考或“远近双摄像头+开启音频”监考方案,可进一步辅以锁屏或屏幕录制等功能(投入的系统及设备成本较高),也可采用商业化的监考系统,如ProctorU,Proctortrack[6,7]。

 

 

二、表现型评估

(一)任务形式与策略

1 写作

写作任务可以是研究小论文、读书报告、案例分析报告、Wiki页面[2],能有效地考查信息检索、分析、提取、判断、提出观点的能力,即高阶认知能力,以及书面表达能力。或者让学生应用课程所学的概念、理论解释生活中的现象,能有效考查学生对知识的理解和应用的能力。如果课程的学习目标包含团队合作能力,则写作任务也可以是团队任务。对写作作品的评价,宜用量规(参见表2)。评阅的主体可以是教师,也可以是其他学生。学生参与评阅,也是相互学习的过程。如果学生互评,每份作品宜被评阅3-5次,以保证评分的可靠性。在Canvas 上提交的写作作品,师生可以用Hypothesis 对文档进行协同批注(如何在Canvas 中使用Hypothesis,参见https://v.sjtu.edu.cn/guide/showguide-316.html;如何在Canvas 中使用量规评分,参见https://v.sjtu.edu.cn/guide/showguide-341.html)。

2 汇报展示

汇报任务可以是研究、仿真实验、案例分析、设计方案、项目等,要求学生做幻灯片或墙报,能有效考查高阶认知能力以及书面、口头表达能力。可以利用视频会议(如Zoom,腾讯会议等)让学生汇报展示,或者让学生自己录成视频上传。展示可以是个人任务,也可以是团队任务。汇报展示也宜采用量规评价,同时,也适合采用同伴互评,让学生在评价中相互学习。

3 线上讨论

教师在讨论区提出开放式问题,或要求学生将特定的课程知识与阅读主题相结合的问题[3],要求学生讨论,既能考查高阶认知能力,又是形成学习共同体的好方法。鼓励学生深入参与讨论而不是点卯式的参与,有效策略包括:轮流指定学生发起和总结讨论,要求学生将所学概念、理论与个人经历联系起来[4],以及用量规引导学生不仅仅是在讨论区出现,而且能深入地思考,以及激发他人思考。

 

(二)评分工具:量规

量规是一种评估工具,是表格式的评分细则,其作用是将主观评价客观化,将教师内心的评价标准外显化、一致化,以实现评价的公平、公开。表2为一个论文量规的示例[5],表中第一列为观测指标,第一行为评分等级,其它单元格则是每个指标点不同等级的描述。最简单的量规仅需包括观测指标和评分等级。设计量规需要花费一定的时间,但使用量规能提高评分的效率。如果在布置表现型任务的同时也将量规发给学生,则可以引导学生有针对性的学习,更好地完成任务。

 

表2:文章和论文的评分量规

(卡内基·梅隆大学Jay Aronson开发,杨媛、邱意弘译)

 

参考文献:

1.  安德森等,学习、教学和评估的分类学:布鲁姆教育目标分类学修订版,华东师范大学出版社,2008.

2.  https://wikiedu.org/teach-with-wikipedia/

3.  Zingaro, D., Student Moderators in Asynchronous Online Discussion: A Question of Questions, Journal of Online Learning and Teaching, 8(3): 159-173, 2012.

4.  Kearns, L.R., Student Assessment in Online Learning: Challenges and Effective Practices, Journal of Online Learning and Teaching, 8(3): 198-208, 2012.

5.  https://cpb-us-w2.wpmucdn.com/blogs.cofc.edu/dist/c/602/files/2014/12/Research-Paper-Rubric-toe39r.pdf

6.  https://www.proctoru.com/

7.  https://www.proctortrack.com/