满意度说明了什么——学生评教视角下“教”和“学”的关系

2022-09-22 9093

 

重要结论摘取

  • 传统教学模式与学生满意度形成了正反馈,可能阻碍教师教学范式的改变

  • 教师采用多样化的教学方式能增进学生的深层学习,进而提升学生成绩

  • 教学评价要从学生满意度导向转变为多元综合评价导向

 “ 

【摘要】学生对教师、课程的满意度是高校学生评教中常用的指标,但因其与学生实际学习成效关系不清晰、不能反映教学改进的有效信息受到诟病。本研究通过构建包含“教”和“学”两类变量的研究框架,基于2017年秋季到2019年春季共4个学期在J高校针对168门本科课程收集的数据,用多元线性回归等方法探讨了学生满意度、教师教学行为、学生学习方式及学习成效之间的关系。研究发现:无论是对教师的满意度还是对课程的满意度,“讲课清晰”等传统教学素养维度的提升都对学生评教满意度有显著的积极影响;“鼓励学生合作”等教改倡导的行为维度因为不仅依赖教师的改变,还需要学生学习观念、学习方式的改变,因此教学满意度出现分化的特征,对学生平均满意度的影响并不显著;教改倡导的行为维度能促进学生深层学习,进而对学习成绩有积极影响。这验证了传统教学模式与学生满意度形成了正反馈,在某种程度上揭示了单一以学生满意度为导向的学生评教对教师教学范式改变的制约作用。为此,教学评价要从学生满意度导向转变为多元综合评价导向,增强教改倡导的教学素养维度,更全面地表征教学有效性。

 

【关键词】教学评价;学生满意度;教学素养;学习方式;学习成效

 

问题的提出

学生满意度在20世纪60年代的美国就已出现,其天然使命就是用来评估高校对潜在学生的吸引力,以及帮助高校改进服务、保障学生权益以增加院校竞争力[1]学生满意度因其注重学生的整体感受,而且简洁、直观容易获得答案且可用于课程、教师之间的横向比较,是学生评教中常用的指标。比如:美国IDEA中心的学生评教调查问卷赋予了整体满意度50%的权重(对教师和对课程的整体满意度各25%)。但是对这种评价维度局限性的反思和批判也不鲜见。

德斯劳里埃等人比较了学生在控制条件下自我报告的学习感受和实际学习情况,发现基于主动学习的学生学到了更多(成绩更高),但他们对学习的感受相对于被动学习环境中的学生反倒体验更差。这说明学生对自己学习的感知是不准确的,感知满意度并不代表实际的学习效果[2]。学生对被动听讲的教学质量评价更高,他们表示更喜欢“所有的物理课都以这种方式(传统讲授)授课”,尽管他们在学习测试中的分数低于在主动学习的课堂上的分数。这些发现与很多已有的研究结论一致,即新手学习者不能对自己的能力水平做出准确的判断[3][4][5],并且授课教师演讲的流利程度可能会对学生产生误导[6][7]。除此之外,也有学者认为整体满意度这一题项是“无实质评价内容的问题”[8],这类指标可能因不反映教学改进的有效信息受到诟病。

学生满意度到底意味着什么?能有效反映教学中的哪些现象和因素?又会受到什么因素的干扰导致偏差?这是当代高等教育学生评教实践值得关注的问题,也是本文试图剖析和回应的关切所在。

 

研究设计和数据描述

探讨学生满意度在教学中的作用和局限性,需要通过构建一个多元评价的框架来考察教学中的一些核心要素,收集相应的评估数据进而探讨其与学生满意度的关系。为此本研究采用了多元教学有效性评估项目(Multi-approach Assessment of Teaching Effectiveness)的“有效教学框架”及相应评估工具[9],该框架包含教学行为、教师特质、课程特质、学生特质、学生满意度和学习成效6个维度本研究保留了其中的学生满意度维度以及与学生满意度联系比较密切的“教”和“学”的相关维度,包括:和“教”密切相关的教学素养(即教学行为);和“学”相关的学习成效、学习方式(包含在学生特质中)等。整个评估的框架如图1所示。

图1 学生满意度与“教”“学”关系的评估模型

纳入本研究考察的指标主要包括4个类别:

1.教师教学素养

包含“讲课清晰”“围绕教学目标开展高效的教学”“对学生寄予高期望并确保成功”“采用多样化教学方式”和“给予学生及时反馈” 等5个一级维度,其中“采用多样化教学方式”进一步细分为“鼓励学生合作”“鼓励学生主动学习”和“尊重个体差异”3个二级维度。每个维度下有3~6个教学行为题项,共31个题项,数据采用4分量表(1代表“不”,2代表“偶尔”,3代表“经常”,4代表“总是”)。

2.学生学习方式

考察的是学生采用哪种学习方式,其中采用“深层学习法”学习的学生以理解思想和探寻意义为目的,学生对学习具有一种内在的兴趣并希望在学习的过程中得到乐趣;采用“表层学习法”学习的学生则把学习看作是来自外界的一种强制性任务,因而试图去应付这些要求,他们的学习动机具有实用性、工具性的特点,想花尽量少的功夫来完成学习要求。具体的测量工具是约翰·比格斯的修订版学习过程问卷(Revised-SPQ-2F)[10],该问卷由20道题项构成,包含深层学习和表层学习共2个指标(各10个题项)。

3.学生课程成绩

来源于课程期末考核成绩和课程最终总成绩(百分制)。考虑到不同课程的期末考核方式及满分分值不尽相同,在原始数据的基础上统一对期末考核成绩折算成百分制。为了更好地跨不同课程进行相关指标的比较,假设课程之间成绩整体没有差异,对所有期末考核成绩和课程最终总成绩按照每个教学班转化成了T标准分,其中T=50+10Z(Z为标准分,即以每个学生原始分数与该班级平均分数的差再除以标准差,这样经过线性变换之后的分数将服从均值为0、标准差为1的分布,从而便于确定每个学生分数在全班成绩中的位置。又为了避免Z分数中的负分情况影响成绩的直观性,通常会进一步线性变换成均值为50,标准差为10的T分数)

4.学生满意度

包括2个在各种教学评价问卷工具中具有广泛典型性的指标 “对课程整体满意”和“对教师整体满意”,采用李克特5分量表(5代表“完全同意”,4代表“基本同意”,3代表“说不清”,2代表“不太同意”,1代表“不同意”)。以上教师教学素养、学习方式和学生满意度等都通过学生问卷调查收集数据,课程成绩由参与研究的一线教师提供。

本研究采用分层目标整群抽样。首先以J高校本科课程所属学科专业作为分层依据,通过课程授课教师自愿和学院教学院长推荐两种方式,最终抽选出168门课程(教学班),班里的所有学生都作为调查对象。调查涉及的168门课程由来自17个学院的157位教师执教,部分教师有多门课程参与调查。问卷由研究者于2017年秋季-2019年春季在各学期末进入课堂请学生现场填答,共历经4轮逐步完成。数据的收集除了2017年秋季第一轮的25门课程采用纸质问卷,其余三轮皆为电子问卷(问卷星),整个研究共回收问卷5744份,其中根据校验题剔除无效问卷后,最终共得到有效问卷4581份,有效率为79.75%。

纳入本研究考察范围的168门课程的教学行为指标的数据描述性统计如表1所示。可以看到,在教学素养维度中观测值均值相对较高的是“TB1讲课清晰”“TB2围绕教学目标开展高效的教学”和“TB3对学生寄予高的期望并确保成功”这3个维度,在教师问卷和学生问卷里均值都在3.5左右,即这些教学行为在教学中发生的频度处于“3”(经常)和“4”(总是)之间。这三个教学素养维度得分较高,说明实际教学中这些方面教师做得更多更好。具体分析来说,“讲课清晰”跟传统的讲授教学关系密切,意味着实际教学实践中传统的方式依然具有统治性地位,“围绕教学目标开展高效的教学”得分高一定程度反映了样本所选取的学校的教学组织和管理水平较好,而“对学生寄予高的期望并确保成功”则体现了教师的教学信念及自身高学术追求在教学中的传导。教学素养指标中分数相对较低的是“TB4采用多样化的教学方式”维度,尤其是其下的二级维度“TB4.1鼓励学生合作”。

表1“教”与“学”相关指标基本情况统计表

 

研究发现与分析

1. 学生满意度更多反映的是教师传统教学素养的质量

为探索教学素养与学生评教满意度之间的关系,文章建立计量回归模型来考察各教学素养的不同维度对学生评教满意度的影响关系。考虑到因变量——学生评教满意度的数据类型是由5分李克特量表收集得到,故采用定序因变量回归模型,累积概率转换函数采用Logit函数。建立的回归模型如下:

其中Y表示定序因变量(学生对教师满意度以及对课程满意度),取值1、2、3、4、5分别代表“不同意”“不太同意”“说不清”“基本同意”和“完全同意”5个等级。X1、X2、X3、X4.1、X4.2、X4.3、X5分别表示“讲课清晰”“围绕教学目标开展高效的教学”“对学生寄予高的期望并确保成功”“鼓励学生合作”“鼓励学生主动学习”“尊重个体差异”和“给予学生及时的反馈”等7个教学素养维度的解释变量,β1、β2、β3、β4.1、β4.2、β4.3、β5是这些解释变量对应的回归系数。P(Y>j|X)表示的是Y等级大于j的累积概率(如j=3时,P表示满意度>3即“基本同意”和“完全同意”的概率总和)。模型意味着总是将因变量的5个等级分为2组,Logit(Pj)表示因变量属于后一组的累积概率与前一组累积概率之比的对数。经过这样的logit函数转换之后,Logit(Pj)是解释变量的线性函数,进而可以采用对回归系数求幂所得的比值比(odds ratio)来解释回归系数。即在控制其他变量时,解释变量每增加1个等级,因变量提升至少1个等级的概率增加eβ-1倍。回归结果见表2。

表2 教学素养与学生满意度的
定序因变量回归结果表

注:**.代表相关系数在0.01水平上显著,*.代表相关系数在0.05水平上显著,下同

无论是对教师的满意度还是对课程的满意度上,“讲课清晰”“围绕教学目标开展高效的教学”“对学生寄予高的期望并确保成功”和“尊重个体差异”这4个教学素养维度的回归系数都是正的,并且在0.01显著性水平上都显著,这说明教学中这些方面的提升都对学生评教满意度有显著的积极影响。尤其是“讲课清晰”的回归系数大于其他所有显著的回归系数,表明学生对教师讲授的体验和感受比教师在其他方面的教学素养对于评教满意度的影响更大。进一步用比值比来说明,当其他几个维度保持不变,“讲课清晰”行为维度每增加1个等级(如:从“偶尔”提高到“经常”),学生对教师满意度提升至少1个等级(如:从“基本满意”变为“完全满意”)的可能性增加2.99倍(=e1.39-1),而学生对课程满意度提升至少1个等级的可能性增加2.60倍(=e1.28-1)。类似的,“围绕教学目标开展高效的教学”行为维度每增加1个等级,学生对教师满意度提升至少1个等级的可能性增加0.86倍(=e0.62-1),学生对课程满意度提升至少1个等级的可能性增加0.68倍(=e0.52-1)。“对学生寄予高的期望并确保成功”行为维度每增加1个等级,学生对教师满意度提升至少1个等级的可能性增加1.58倍(=e0.91-1),学生对课程满意度提升至少1个等级的可能性增加0.92倍(=e0.65-1)。而“尊重个体差异”行为维度每增加1个等级,学生对教师满意度提升至少1个等级的可能性增加0.79倍(=e0.58-1),学生对课程满意度提升至少1个等级的可能性增加1.13倍(=e0.75-1)。

在教学素养维度中,“鼓励学生合作”和“鼓励学生主动学习”对学生两类满意度的影响都不显著,这个结果说明教师采用更多的小组合作等主动学习策略并未能提升学生对教师或课程的满意度。对此合理的解释包括:教师采用更多的主动学习策略,意味着要求学生课堂内外付出更多,相对于他们已经很熟悉的传统讲授教学模式学生的体验感可能下降;小组合作等主动学习策略比讲授更复杂,对教师的教学技能要求更高,可能因教师无法完全驾驭教法而给学生带来不佳体验。

“给予学生及时的反馈”维度在教师满意度中存在显著的积极影响,而在课程满意度中却并不显著,这个结果说明学生更多会把教师的及时反馈归结为对教师个人的满意。而对课程满意度影响之所以不显著,可能跟教学评价这类教学活动本身并不一定受所有学生喜欢有关。

2.学生学习方式凸显了现代倡导的教师教学素养的作用

除了教学行为对学生满意度的影响之外,文章也尝试考察教学行为是否会影响到学生的学习方式。用多元线性回归模型来进行回归分析,建立的回归模型如下:Y=β01X12X23X34.1X4.14.2X4.24.3X4.35X5+μ。

其中Y表示因变量(学生采用深层学习以及表层学习的量表得分)。X1、X2、X3、X4.1、X4.2、X4.3、X5分别表示“讲课清晰”“围绕教学目标开展高效的教学”“对学生寄予高的期望并确保成功”“鼓励学生合作”“鼓励学生主动学习”“尊重个体差异”和“给予学生及时的反馈”等7个教学素养维度的解释变量,β1、β2、β3、β4.1、β4.2、β4.3、β5是这些解释变量对应的回归系数。

表3教学素养与学生学习方式的回归结果表

观察回归结果可以发现,对学生深层学习来说,有显著影响的教学素养包括“讲课清晰”“鼓励学生合作”“鼓励学生主动学习”“尊重个体差异”和“给予学生及时的反馈”等5个行为维度,且所有的回归系数皆为正,表明这些教学素养的提升都能对学生采用深度学习的倾向产生显著积极的影响。进一步看标准化回归系数的大小,影响排前3的是“鼓励学生主动学习”(0.241)、“尊重个体差异”(0.201)和“鼓励学生合作”(0.095),正好就是教学素养维度“教师采用多样化的教学方式”的3个二级维度,这一结果很好地支撑了“核心素养框架”背后的理论,即当教师更多采用小组合作等需要学生更多参与的主动学习策略来开展教学时,越容易激发学生的深层学习。而如果教师能够更多针对学生学习中的个体差异提供适切的个别化干预,也能增进学生的深层学习。

“讲课清晰”维度显著说明好的讲授方式和技巧同样能够增进学生知识内化的效率,促发深层学习,这也在一定程度上支撑了传统讲授教学方法在实践中普遍应用的合理性。“教师给予学生及时的反馈”在0.05显著性水平也达到显著,说明学生在学习过程中如果能得到及时适切的反馈和干预,同样能增进有意义学习的发生。

“围绕教学目标开展高效的教学”和“对学生寄予高的期望并确保成功”对学生是否采取深层学习方式没有显著的影响,可能解释是因为这两个行为维度更偏重于对教学目标和教学内容的取舍,即使教师表达出对学生更高的要求和期望,在教学中也紧密围绕于此开展教学,但并没有为学生提供调整学习方式的策略和支持,也不一定能激发学生学习方式的改变。

在表层学习方面,有3个教学素养维度达到显著的影响,分别是“讲课清晰”“对学生寄予高的期望并确保成功”和“给予学生及时的反馈”。其他教学素养维度都不显著。3个教学素养维度的回归系数皆为负数,说明教师在这些方面的教学行为做得越好,学生表层学习出现的也相应更少。“讲课清晰”是3个维度中影响最大的,标准化回归系数为-0.092,其次是“给予学生及时的反馈”(-0.074),“对学生寄予高的期望并确保成功”(0.072)。

结合影响深层学习的教学素养因素来看,讲授和及时反馈这两个维度既能提升深层学习又能减少表层学习,对学生学习方式的引导作用是显著而有效的。而多样化的教学方式尽管在提升深层学习上具有最大的作用,但对学生整体而言却无法减少表层学习的发生,一种可能的解释是学生在体验小组合作等多样的教学方式时产生了分化,部分学生未必适应这种教学活动,甚至会认为这是课堂教学的“低效”和“浪费时间”,而不佳的学习体验可能反而将学生向表层学习驱赶,最终使得多样化的教学方式对消减学生表层学习的作用在整体上被中和。

从回归模型的拟合优度来说,教师教学素养对学生深层学习的拟合优度R2为0.302,说明教学行为能解释学生是否采用深层学习方式变异中的30.2%。而对表层学习的拟合优度为0.023,仅能解释表层学习变异中的2.3%。说明教学素养对学生深层学习更具有直接的积极影响,而对学生表层学习的影响微乎其微,学生是否采用表层学习策略来对待课程主要还是由其他影响因素决定,而不是教师的教学行为。

3. 学生学习方式与学业成绩的依存关系

为了深入考察在课程学习中取得不同成绩的学生是否存在学习方式上的差异,研究者尝试对学生的课程总成绩进一步划分等级来进行分组比较。主要的划分依据是:按照学生成绩的T分数排序四分位数将学生成绩划分成4个区间,每一个区间包含样本中25%的学生。因为学生有期末成绩和课程总成绩两个指标,所以此划分也相应形成2个分组方式。根据课程总成绩T分数和期末考核成绩T分数的四分位数分别划分4个成绩分组,比较学生在深层学习和表层学习两种学习方式指标上的均值是否存在规律。

从图2可以明显看到,不论是考察课程总成绩还是期末考核成绩,成绩越高的组在深层学习方式的观测值均值上也越高,而在表层学习方式上却是越低。这与理论假设是一致的,即深层学习是“好”的学习方式,能够促进成绩的提升,而学生采用表层学习方式的倾向则会制约获得好成绩。

图2 不同成绩学生的学习方式

进一步对两种学习方式各个分组之间进行均值比较,发现就深层学习而言,处于课程总成绩分布头部的A组的观测值均值显著高于课程总成绩B组(P=0.015),高于课程总成绩C组(P=0.006),也高于课程总成绩D组(P<0.001)。而处于课程总成绩分布尾部的D组的观测值均值显著低于课程总成绩B组(P=0.004),也低于课程总成绩C组(P=0.011)。唯一检验不存在显著差异的是位于课程总成绩分布中部的B组和C组,这很可能是因为中间的两组学生落于成绩分布的中位数两侧,在成绩接近正态分布的情况下,这两组学生成绩观测值之间的差异不会太大,这两组中的学生都属于一般意义上的“中间大多数”。

就表层学习而言,经过多重比较检验发现按照课程总成绩T分数划分的4个分组两两之间都具有显著的差异。处于课程总成绩分布头部的A组的观测值均值为最低,显著低于课程总成绩B组(P=0.001),低于课程总成绩C组(P<0.001),也低于课程总成绩D组(P<0.001)。课程总成绩B组的观测值均值显著低于课程总成绩C组(P<0.049)。而处于课程总成绩分布尾部的D组的观测值均值最高,且显著高于课程总成绩B组(P<0.001),高于课程总成绩C组(P=0.001)。同样可以看到,居于成绩分布中间的B、C两组显著性刚刚满足0.05显著性水平,而其他两组间差异的显著性水平都达到0.001。

研究结论

1.  传统教学模式与学生满意度形成了正反馈,可能阻碍教师教学范式的改变

无论是对教师的满意度还是对课程的满意度,“讲课清晰”“围绕教学目标开展高效的教学”“对学生寄予高的期望并确保成功”和“尊重个体差异”这4个教学素养维度的提升都对学生评教满意度有显著的积极影响。尤其是“讲课清晰”比教师在其他方面的教学素养对于评教满意度的影响更大。而与之相反,“鼓励学生合作”和“鼓励学生主动学习”对学生两类满意度的影响都不显著,教师在这两方面做得更多并没有提升学生对教师或课程的满意度。这些研究数据说明,学生对以讲授为核心的传统教学的体验感比较充足,学生熟悉并习惯于相应的教学方式,也将对其的反应体现在对教师和课程的满意度评价中,形成了正反馈效应。

这意味着:只要教师在传统的教学行为上下功夫,提升这些教学核心素养,就能对改善学生的满意度有直接的作用,这也一定程度佐证了传统讲授式教学方法在高等教育中盛行不衰的合理性。与之相反的是,在学生合作、主动学习等现代教学理念倡导的教学方式上,学生对其的反应并不显著,究其原因可能是由于学生需要承担更多学习主动性的习惯尚未建立,也可能是由于教师对开展主动学习活动的教学能力不娴熟导致学生体验不佳。这些因素都会反映在学生的满意度中,在教师教学发展和教学范式转变过程中成为障碍和阻力,中和掉教学改革的动力。

2. 教师采用多样化的教学方式能增进学生的深层学习,进而提升学生成绩

当研究视角从学生是否满意转到学生如何学习,得到的结论就不太一样了。当教师采用小组合作等需要学生更多参与的主动学习策略来开展教学,或者如果教师能够更多针对学生学习中的个体差异提供适切的个别化干预,越容易激发学生的深层学习。好的讲授方式和技巧尽管同样能够增进学生知识内化的效率促发深层学习,但并没有“采用多样化的教学方式”影响那么大。而学生的学习方式最终会直接体现在学生的学习效果中,深层学习促进学习、表层学习阻碍学习的理论已得到了验证。这一结论与现代教育教学理论是相吻合的,为高校教学发展、教学评价等工作夯实了理论基础。

3. 教学评价要从学生满意度导向转变为多元综合评价导向

如果从教学评价结果解释力的角度来看,学生满意度可能会放大传统教学模式和教师教学行为的作用,而符合现代教学理念的教学方法策略却并不能在学生对教师和课程满意度评价中得到体现。这种偏差使得以学生满意度为主导的学生评教无法对促进教师教学模式上的变革和跃迁提供正向的反馈,这是教学改革实践中困境的根源之一,也是教学发展工作是否能实质有效不可忽视的制约因素。

如果从改进教学评价的角度来看,应该避免片面单一的以学生满意度作为衡量教学质量的标准,采用更具有多元性的评价框架和评价主体,综合、全面地考量教学有效性的相关因素。特别应该将学生的学习成效或对能够促进学生深层学习的教学行为维度的考察也纳入教学评价的内容,这样才有可能使得教学评价的结果不会因为学生满意度的局限性而有失偏颇,评价的结果才能够将教学实践引导到更正确的路径上。另外,在使用和解读评教结果时,帮助教师正确认识学生满意度与教学有效性的关系,也是教学管理和教学发展工作中不应忽视的内容。

参考文献

[1]郑雅君,熊庆年.“高校学生满意度”再认识[J].江苏高教,2016(04):56-60.

[2]Deslauriers L, McCarty L S, Miller K, et al. Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom[J]. Proceedings of the National Academy of Sciences, 2019, 116(39): 19251-19257.

[3]Kruger J, Dunning D. Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments[J]. Journal of Personality and Social Psychology, 1999, 77(06): 1121.

[4]Bransford J D, Brown A L, Cocking R R. How people learn: Brain, mind, experience, and school[M]. Washington, DC:National Academy Press, 1999.

[5]Porter S R. Self-reported learning gains: A theory and test of college student survey response[J]. Research in Higher Education, 2013, 54(02): 201-226.

[6]Carpenter S K, Wilford M M, Kornell N, et al. Appearances can be deceiving: Instructor fluency increases perceptions of learning without increasing actual learning[J]. Psychonomic Bulletin & Review, 2013, 20(06): 1350-1356.

[7]Oppenheimer D M. The secret life of fluency[J]. Trends in Cognitive Sciences, 2008, 12(06): 237-241.

[8]丁妍,王颖,陈侃.大学教育目标如何在学生评教中得到体现——以24所世界著名大学为例[J]. 复旦教育论坛,2011(05):18-22+44.

[9]邢磊, 张兴旭. MATE 多元教学有效性评价工具的设计与检验[J]. 中国大学教学, 2019(12):69-74.

[10]John B, David K, Doris Y P L. The revised two-factor Study Process Questionnaire: R-SPQ-2F[J]. British Journal of Educational Psychology, 2001, 71(01):133-149. 

 

  //  

邢磊,马莹,王竹筠,刘卫宇,李鲍,张兴旭.满意度说明了什么——学生评教视角下“教”和“学”的关系[J]. 江苏高教, 2022(8):77-83.

编辑:张兴旭