[情境判断测验的效度研究述评]情境教学省内外研究述评
发布时间:2020-03-03 来源: 幽默笑话 点击:
摘要:情境判断测验是一种为作答者呈现工作相关的典型情境以及该情境下可能的行为反应,要求根据指导语提示进行选择或评价的测验形式。随着其理论和实践的发展,研究者越来越关注情境判断测验的效度研究,包括对其构想效度、效标关联效度和递增效度的探讨,以及指导语类型、情境保真度以及计分方式等因素对其效度的影响。基于这些研究进展,未来情境判断测验实践领域可能的方向是:(1)开发针对特定构想的情境判断测验;(2)结合具体构想选用相应的指导语;(3)应用作假和培训对效度影响的研究结果指导实践。
关键词:情境判断测验;构想效度;效标关联效度;递增效度
分类号:B841
1、引言
情境判断测验(Situational Judgement Test)应用于人事选拔领域已经有较长时间的历史(e.g.,File,1945;Motowidlo,Dunnette,&Carter,1990;Weekley&Jones,1997,1999)。情境判断测验是用来评价个体对工作场所情境所做出的判断(Weekley&Ployhan,2006)。它为个体呈现的是一些工作相关的典型情境以及该情境下可能的行为反应,要求作答者根据指导语提示进行选择或评价。由于事先给定某一刺激情境下具体的行为反应,来供作答者选择或评定,而不是像评价中心那样,观察、评价作答者在刺激情境下真实的行为,因此,情境判断测验属于一种低保真度的模拟(Lievens,Peeters,&Schollaert,2008)。早期,和其他用于军事、教育、商业等多个领域人员选拔的测验一样,人们关注的仅仅是情境判断测验的预测效度,即通过一个测验挑选出来的人是否能够很好地应对将来的实际工作。这就造成了对情境判断测验的研究应用走在了理论的前面:一方面,缺乏系统的理论基础,另一方面,测验的本质不是十分清楚。
近年来,随着整体效度观念的成熟(AmericanEducational Research Association,AmericanPsychological Association,&National Council 0nMeasurement in Education,1999;Society forIndustrial and Organizational Psychology,Inc.,2003)以及人事测量构想导向(construct-oriented)(e.g.,Anastasi&Urbina,1997;Arthur&Villado,2008;Huffcutt,Conway,&Stone,2001)的兴起,人们不再仅仅关注情境判断测验的预测效度,也对其测量的实质即构想效度的研究提出了更高的要求。同样,在测验的实际开发过程中,人们也不再满足于传统的基于工作分析的开发模式,希望能够针对实际需要开发更加具体化的情境判断测验。
无论是理论发展还是实际需要,都对情境判断测验的进一步研究提出了迫切要求。一些制约情境判断测验今后发展的关键问题被推到了研究者面前:情境判断测验究竟测量到的是什么?它为什么能够预测工作绩效?又有哪些因素会影响到其效度?本文试图在前人研究的基础上,围绕情境判断测验的效度,从相关理论、效度证据、影响效度因素等方面进行探讨。
2、相关理论进展
近几年,学者们开始重视对情境判断测验的理论基础和本质的研究。主要代表为,自上世纪90年代之后,Motowidlo等人提出情境判断测验遵循行为一致性原则和隐性特质理论,以及诸多学者围绕情境判断测验是一种方法还是构想的探讨。
Motowidlo等人(1990)基于关键事件分析和专家的判断编制了一套用于选拔电信行业初级经理的情境判断测验,结果显示,作答者在各个情境上的得分与其上级评定之间的相关为0.28到0.37 p<0.01),即情境判断测验在一定程度上预测了个体的工作表现。为了解释这一结果,Motowidlo等人提出情境判断测验题目是基于实际工作情境中的行为反应并要求作答者根据其惯有行为模式进行评价或选择,它遵循行为一致性的原则(即过去的行为是将来行为最好的预测)。也就是说通过测量个体现在的行为,就可以预测他在将来的表现。
情境判断测验的结果除了可以在一定程度上预测工作绩效,还与认知能力测验和人格测验的结果存在较高的相关(Chan,2006;Ployhart&Weekley,2006)。由Motowidlo,Hooper和Jackson(2006)提出的隐性特质理论(implicit trait policy),在一定程度上解释了情境判断测验的结果和人格测验有较高相关的原因。隐性特质理论认为个体在人格特质上的差别影响了其对那些显示出这一人格特质的行为有效性的判断。如,表现出高宜人性的行为确实比低宜人性的行为更有效,那些宜人性高的个体较宜人性低的个体在评价行为有效性的时候,会赋予宜人性以更高的权重,即他们会给表现出高宜人性的行为反应更高的评价。而给低宜人性的反应更低的评价。
关于方法和构想之间的争论也是理解情境判断测验研究的关键所在。构想指的是测量的心理或行为维度(如一般智力、责任心、成就动机等);方法指的是测量某一构想的特定过程或是技术(如面试、纸笔测试、基于情境的测验等)。一些研究者认为情境判断测验测量的是一种单一的构想。如,Steinberg和Wagner(1993)指出情境判断测验测量的是不同于一般智力的实践智力(pracdcalintelligence),而Schmidt和Hunter(1993)则认为其主要测量的是工作知识(job knowledge)。然而,这些事后被证明是没有足够证据支持的(Gottfredson,2003;McDaniel&Whetzel,2005),因为情境判断测验测量的是多维构想而且往往与一般智力相关。很多多维构想的测验,如大五人格测验构想非常清晰,包含责任心、宜人性、情绪稳定性、外倾性和神经质五个维度,然而情境判断测验却往往很难被清晰地界定,这就带来了两个问题:一是很难从根本上解释情境判断测验能够较好预测工作绩效的原因;二是较难编制和已有测验测量相同构想的新测验。Schmitt和Chan(2006)指出,情境判断测验就像面试一样,是一种可以用来测量不同构想的方法,这一方法本身同时又限制了其可以测量的构想。这一观点自提出后在学术界逐渐被接受(Christian,Edwards,&Bradley,2010;Whetzel&McDaniel,2009)。
3、效度研究
教育和心理测量标准(The Standards forEducational and Psychological Testing)将效度定义 为“测验的分数能够为测验用途提供解释所累计证据和理论支持的程度”,人事选拔程序使用效度准则(the Principles for the Validation and Use of Personnel Selection Procedures)对效度的界定也是类似的,即效度被定义为一个整体的概念,为测验分数的结论提供各种来源的证据。本文采用的便是这种整体的效度观念,从与构想相关的构想效度,与工作绩效相关的效标关联效度以及相对于认知能力和人格测验的递增效度的角度。对情境判断测验的效度进行全面探讨。
3.1 构想效度
为了更好地理解情境判断测验如何在人事选拔中发挥作用以及原因。必须要澄清情境判断测验测量的典型构想(Chrisfian et al.,2010)。近年来研究人员越来越重视对情境判断测验构想的探讨,并进行了许多研究(e.g.,Arthur&Villado,2008;Hough&Ones,2001;McDaniel,Morgeson,Finnegan,Campion,&Braverman,2001;McDaniel,Hartman,Whetzel,&Grubb,2007)。
国外有三个元分析(McDaniel et al.,2001;McDaniel et al.,2007;McDaniel&Nguyen,2001)对情境判断测验测量构想方面的效度证据进行了总结。McDaniel等人(2001)指出情境判断测验和一般智力之间0.31的平均相关显示它在一定程度上测量的是一般智力,然而,情境判断测验有一些变异又是与一般智力无关的。McDaniel和Nguyen(2001)指出行为导向和知识导向的两类情境判断测验指导语会影响其构想效度。知识导向的指导语要求作答者选择正确的或最好的行为反应或者要求其对行为的有效性进行评定;行为导向的指导语要求作答者选择出他最可能(倾向于)采取的行为反应或对其可能性进行评定。
McDanieI等人(2007)继续沿着这一思路进行了研究,进一步比较了分别采取两种指导语的情境判断测验的分数和认知能力和人格测验分数之间的关系。研究发现,两种类型的情境判断测验与大五人格测验的三个维度(情绪稳定性、责任心、宜人性)和认知能力测验分数之间的相关存在显著性差异。行为导向的情境判断测验显示出与人格测验之间更高的关联(0.35 vs 0.12,0.34 vs0.24,0.37 vs 0.19),而知识导向的测验则显示出与认知能力测验更高的相关。研究结果显示,可以通过改变指导语进而改变情境判断测验测量的构想。知识型指导语测量的最优行为,有较高的认知负荷;而行为型指导语测量的是惯常的行为,更吻合行为一致性的假设。
除了通过元分析直接计算情境判断测验分数和认知测验、人格测验分数之间的相关来探讨其测量构想外,近年来,为了进一步研究清楚情境判断测验的构想效度,学者们还做了许多不同角度的尝试。
一方面体现在测验内容上,不少学者开发了专门测量特定构想的测验。如,Ascalon(2005)开发了测量同情心和种族优越感的情境判断测验来考察跨文化的社会智力;Becker(2005)开发了测量员工正直的情境判断测验;Mumford,Morgeson,Van Iddekinge和Campion(2008)开发了用于测量团队合作的情境判断测验。另一方面体现在研究思路上,学者们试图通过细化反应过程、分解分数变异进而从更深层次理解情境判断测验的构想。Ployhart和Weekley(2006)提出的预测源反应过程模型(the Predictor Response Process Model),旨在从被试作答反应过程的角度来获得效度证据(substantive validity)。预测源反应过程模型将被试的反应过程划分为理解、提取、判断、选择反应四个过程,将分数的总变异分解为污染源变异、研究感兴趣的个体潜在特质造成的变异(真分数变异)和参加测验动机带来的变异,这三方面的变异在不同的程度上影响着上述四个过程。通过对反应过程和分数变异的细致划分,来研究影响情境判断测验分数的因素,进而更好地理解情境判断测验的分数和构想效度。例如,不同类型的指导语会影响到个体反应的理解、提取和判断的过程。在被试诚实作答的情况下,行为型指导语的情境判断测验,被试的这三个过程主要是受到人格因素的影响,相反,接受知识型指导语测验的被试,这三个过程主要是受到认知因素的影响。Westring,Oswald,Schmitt,Drzakowski,Imus,Kim和Shivpuri(2009)采取多质多法的研究范式,运用结构方程模型的方法对测量成就动机的情境判断测验进行了变异分解,分解为情境变异(跨学生)和特质变异(跨情境)。研究结果表明,情境因素带来的变异是个体因素变异的三倍,研究结论也从另外一个角度为特质或是情境决定行为提供了实证支持。
和评价中心一样,情境判断测验作为一种可以测量多种构想的方法,在测验的应用之初,人们并不十分重视其构想效度,随着测验的不断发展以及测量领域构想导向的兴起,无论是应用界还是理论界,人们越来越强烈地意识到研究清楚其构想的重要性,尽管情境判断测验的构想还有许多有待进一步研究的问题,但前人所作的努力为今后的研究提供了宝贵的资料和可以借鉴的思路。
3.2 效标关联效度
选拔测验要回答的一个关键问题是通过该选拔过程是否能够很好地预测工作相关的指标,即该测验的效标关联效度如何(Lievens,Peeters,&Schollaert,2008)。有大量研究对情境判断测验的这一问题进行了探讨。McDaniel等人(2001)基于95个研究的数据进行了第一个关于情境判断测验效标关联效度的元分析,校正后情境判断测验分数与工作绩效之间的相关是0.34(未校正时是0.26)。McDaniel等人(2007)在118个研究的基础上再次对情境判断测验进行了元分析,不考虑指导语类型的前提下,效标关联效度系数达到了0.26。将所有118项研究全部纳入分析的情况下,两种类型指导语情境判断测验的效标关联效度并无显著性差异,而当将情境判断测验的内容保持一致时,知识型情境判断测验有更好的效标关联效度。因此,为了进一步弄清楚指导语类型对情境判断测验效标关联效度的影响,需要统一具体测验的内容,即在同一个研究中,使用情境内容相同指导语类型不同的研究材料对被试施测,进而比较。
除了上述两个围绕情境判断测验效标关联效度的元分析之外,随着相关理论的不断发展,研究人员还从许多新的角度进行了研究。
人们越来越意识到工作绩效不是一个简单的整体,而是可以进一步分解为两个具体维度: 任务绩效和关系绩效(Borman&Motowidlo,1993)。已有研究表明,一些构想与这两个绩效之问的关联存在差别,如,认知能力与任务绩效存在高相关,而非认知能力,如责任心则在关系绩效上对认知能力有递增效度。O"Connell,McDaniel,Grubb,Hartman和Lawrence(2007)研究了情境判断测验与这两种绩效之间的相关,结果表明,与任务绩效的相关为0.14,而与关系绩效为0.10。
Christian等人(2010)在前人研究的基础上,对前人研究按照测量的构想进行了分类梳理,并将工作绩效进一步细分为任务绩效、关系绩效和管理绩效,进而对每类情境判断测验相应的效标关联效度进行了元分析。结果显示,测量团队工作技能时,效标关联效度最高,达到0.38;测量领导力的平均效度为0.28;测量人际交往技能时为0.25;测量责任心的为0.24;测量工作知识和技能的为0.19;人格整体为0.43;情境判断测验整体为0.28。并且当将绩效区分为任务绩效、关系绩效和管理绩效之后,测量人际交往能力、团队工作能力和领导力的情境判断测验较那些构想不清楚的情境判断测验,对关系绩效有更好的效标关联效度;而测量领导力和人际交往能力的情境判断测验和那些构想不清楚的情境判断测验相比,能够较好地预测管理绩效;而在探讨任务绩效时,由于只有一个实证研究,无法得出结论。
此外,以往关于情境判断测验效标关联效度的研究大多是同时效度的研究,即被试为在职者,而不是对真实应聘者的预测效度的研究。然而,在职者和应聘者在动机水平上是存在较大差别的,这也很有可能会造成研究结果的差别。如,关于两种类型指导语效标关联效度的研究中,Ployhart和Ehrhart(2003)的研究结果显示行为型指导语表现出更高的效标关联效度:而Lievens和Sackett(2007)在高压力情境下施测的结果是,二者并无显著差异。当然,不同的求职动机和压力水平,或者说在职者和应聘者之间的差别,究竟会给情境判断测验的效标关联效度带来怎样的影响,我们还需要后续的研究来进一步解答。
3.3 递增效度
为了更好地研究和应用情境判断测验,研究者们不仅关注它的预测效度和构想效度,还关注情境判断测验对广泛使用的认知能力测验和人格测验(大五)的递增效度。递增效度是指一个测验在其它数据的基础上对效标预测能力的改进程度(Hunsley,2003)。McDaniel等人的两个元分析(2001,2007)和一些实证研究(chan&Schmitt,2002;Clevenger&Haaland,2000;O"Connell,McDaniel,Grubb,Hartman,&Lawrence,2002;Weekley&Jones,1997,1999)就情境判断测验的递增效度进行了详细地探讨。
McDaniel等人(2007)分析了情境判断测验对认知能力、大五人格以及这二者合成后的递增效度;同时,他们还探讨了认知能力和大五人格对情境判断测验的递增效度。研究结果显示,情境判断测验对认知能力、人格以及这二者共同都具有一定的递增效度,且受到不同指导语类型的影响。行为型指导语的情境判断测验对认知能力的递增效度更大(0.05 vs 0.03,),而知识型指导语的测验对人格的递增效度更大(0.07 vs 0.06),无论是哪种指导语的情境判断测验对同时包含认知能力和大五人格测验时的递增效度均减弱,且不再存在显著性差异。
O'Connell等人(2007)进一步研究了将工作绩效划分为任务绩效和关系绩效后,情境判断测验对认知能力和人格的递增效度。结果表明,就任务绩效而言,认知能力测验的效度为0.15,情境判断测验对其递增效度为0.03,人格测验的效度为0.18,情境判断测验对其递增效度为0.04,人格测验和认知能力测验共同的效度为0.20,情境判断测验对其递增效度为0.01;对关系绩效而言,认知能力测验的效度为0.07,情境判断测验对其递增效度为0.04,情境判断测验对人格测验以及人格测验和认知测验的合成均不存在递增效度。在预测任务绩效时,情境判断测验能够在人格测验和认知测验的基础上,提供更多有利的支持;在预测关系绩效时,作用则不大。
4、情境判断测验效度的影响因素
通过上面对情境判断测验效度研究的探讨不难发现,指导语类型在一定程度上影响着测验的效度,如知识型指导语的情境判断测验与能力测验有更高的相关,对人格测验的递增效度更大;而行为型指导语的情境判断测验则与人格测验有更高的相关,对能力测验的递增效度更大。除了测验的指导语类型,还有一些其它因素会在不同的程度上对情境判断测验的效度产生影响。
4.1 情境的保真度
不同情境判断测验的情境保真度存在差别。情境保真度(fidelity)指的是测验对特定岗位所要求工作的还原程度。显然,录像版的情境判断测验较纸笔版的有更高的保真度。
已经有许多的学者对纸笔版和录像版的情境判断测验进行了比较研究。Chan和Schmie(1997)通过比较这两种不同形式的情境判断测验发现,录像版测验的缺陷更少,且参加实验的学生感觉到录像版较纸笔版的测验有更高的表面效度。Lievens,Buyse和Sackett(2005)研究了在大学录取考试中,录像版情境判断测验对认知能力的递增效度,结果发现,当效标中包含认知和人际等因素,在对人际互动相关课程的结果进行预测时,录像版的情境判断测验对认知测验有递增效度,而在预测其它效标时,则没有递增效度。这一研究结论从另外一个角度也说明了,在研究效度时,不仅预测源的构想会产生影响,效标的选择也很重要。
Lievens和Sackett(2006)还研究了在高压力情境下,测量同样内容(人际交往能力)的录像版和纸笔版情境判断测验的预测效度。研究结果显示。录像版较纸笔版测试与认知能力之间的相关更低(0.11 vs 0.18,),而在预测效度上,录像版的情境判断测验较纸笔版的更高(0.34 vs 0.08)。
Christian等人(2010)采用元分析的技术,分析了测验的形式对测量不同构想的情境判断测验的影响。结果显示,录像版的情境判断测验较纸笔版的与工作绩效之间有更高的相关,如测量人际交往和领导力情境判断测验,录像版形式的测验都较纸笔版能够更好地预测工作绩效。
总的来讲,情境判断测验的情境保真度不仅影响其构想效度还影响其效标关联效度。在预测工作绩效方面,录像版的情境判断测验有更高的表面效度和对认知能力的递增效度。而在构想效度方面,由于录像版测验降低了对阅读的要求,因此,有理由认为其较纸笔版测验与认知能力有较低的相关。当然,在实际的应用中,还必须衡量 开发和实施录像版情境判断测验的成本。
4.2 计分方式
跟传记式问卷(Biodata)测试类似,情境判断测验通常并不存在明确的、基于专业知识的“正确”答案(Whetzel&McDaniel,2009)。因此,有多种不同的计分方式,不同的计分方式可能会导致效度估计的差别(Bergman,Drasgow,Donovan,Henning,&Juraska,2006)。通过研究多种计分方式。Bergman等人(2006)回顾了实证性计分(基于测验题目或反应与效标之间的相关),理论式计分(各个题目的设计基于一定的理论,或者能够从理论的角度识别出最好或最差的反应)和基于专家的计分(采用关键事件专家的方法来确定计分,比较作答者和专家的选择)。他们使用了包含21道测量领导能力的题目的情境判断测验,来检验当采用不同的计分方式时,其对认知能力和人格的递增效度。研究结果显示,使用实证性计分方式时,情境判断测验能够在前两个测验的基础上对效标的变异多解释2-3%,采用关键事件专家方式计分可多解释4.9%,基于原始构想整合的计分方式多解释3.0%,基于参与者(participation)整合的计分方式多解释1.7%。研究者认为情境判断测验的效度在一定程度上受到其计分方式的影响,当计分方式有效性差时可能会导致情境判断测验效度降低。
Legree,Psotka,Tremble和Bourne(2005)对比了基于总体的一致性(Consensus Based Measurement)和基于专家的计分方式,来确定这两种方式对情境判断测验效度的影响。在他们早期的研究中,他们比较了在一个包含49个情境、202个反应的情境判断测验中,少数专家的意见和所有作答者的平均评定,结果显示二者之间存在显著的相关(0.72)。之后他们在2003年的一项军队中领导力隐性知识情境判断测验的研究中,发现二者之间的相关达到了0.96。因此,他们认为,选择所有作答者平均分数作为标准和基于专家计分之间是很难分清楚的。
Krokos,Meade。Cantwell,Pond和wilson(2004)研究了采用实证性计分方式的情况。他们认为情境判断测验通常测量的是个体在工作情境下的复杂的、社交或实践方面的表现,这与隐性知识的测量很难区分。当情境判断测验的计分键是基于关键事件专家的一致选择时,最显而易见的做法成为正确选项的概率增加。因此,当由关键事件专家来确定正确答案时,越显而易见的做法越可能被保留。然而,当使用基于实证的计分方式时,那些最显而易见的反应可能会被大多数人选择,绩优和一般作答者的选择之间不存在显著差异,即这样的反应不具有区分作用,会被赋予较低的分数:相反,那些较少被选择,但仅由绩优者选择的反应,会被赋予更高的分数。
总之,正如不同指导语的情境判断测验测量的构想存在差别一样(McDaniel et al.,2007),不同的计分方式也会使情境判断测验测量不同的构想。
5、对实践应用的建议
5.1 开发针对特定构想的情境判断测验
传统的情境判断测验大多是从工作分析出发,收集某一岗位的典型工作情境编制题目,并不指向特定的构想。近些年来,随着测量领域构想导向的提出以及情境判断测验的发展,人们越来越意识到仅仅满足于传统的开发思路是不够的。于是,有专家开始编制用于测量特定构想的测验,并逐渐得到了理论层面和应用层面的广泛认可(Ascalon,2005;Becket,2005;Mumford et al.,2008)。
针对特定构想开发情境判断测验,一方面有助于其构想效度的研究,另一方面,也有助于对一些构想的测量工具的发展。如,由于传统的人格测验大多采取的是里克特式的自我评定方式,在选拔这样高利害、高竞争压力的情境下使用,难免会遇到作假的问题。于是就有人提出将人格测验情境化,不是直接询问作答者在某个人格维度上的情况,而是通过编制一些反映人格特质的情境判断测验,基于个体在这些测验上的作答,判断其人格特质(Motowidlo et al.,2006)。而且,因为测量的是明确的特定构想。这就有助于基于理论上的关联,针对性地选择与之相应的效标,进而得到更好的效度结果,如,用情境判断测验测量人际交往能力时,测验结果能够更好地预测关系绩效(Christian et al.,2010)。
唐素萍(2004)比较详细地介绍过传统情境判断测验的开发程序,在这里,主要介绍开发特定构想的情境判断测验和传统方法之间的几点区别:
①因为它针对的是某个或某几个具体构想,因此,编制测验的第一步不是针对某个岗位的工作分析,而是基于该构想的理论,收集能够反映出这一构想的典型情境,或者说是能够激发出特定构想的情境:
②传统的情境判断测验的第二步是针对收集到的情境,通过开放式问卷或行为事件访谈(BEI)等方式收集在该情境下的行为反应。这些反应可能是各式各样的;而在开发针对特定构想的测验时,这里要收集的行为反应必须是能够反映出该构想的;
③如果我们选取关键事件专家(SEMS)的方式确定计分键,在传统的情况下,专家是对各个反应的有效性进行评价,而这里则是对各个反应能够反映出所测量构想的程度进行评定。
不难发现,传统的情境判断测验更多关注的是测验的有效性,即预测个体将来工作表现的程度;而针对特定构想的测验则是为了更准确地把握个体在特定构想上体现的程度。
当然,是不是所有维度都适用于情境判断测验这种低保真度的测量形式?如果不是,究竟哪些维度更适合?这还需要更多的研究来进一步探讨。
5.2 结合测量构想使用相应的指导语
已有大量的研究结果表明(McDaniel et al.,2007;McDaniel&Nguyen,2001),不同的指导语类型不仅会影响到情境判断测验的效标关联效度,还会影响到其测量的构想。这就提示我们,在针对特定的构想进行测量时,应该选择适合的指导语。
行为型指导语情境判断测验测量的是个体的惯常行为,即个体习惯的行为方式;知识型指导语情境判断测验测量的是个体的最优行为,即个体是否知道怎么去做。研究结果显示,行为型指导语的情境判断测验与人格测验的关联更高,对认知能力测验的递增效度更大;知识型指导语的情境判断测验与认知能力测验的关联更高,对人格测验的递增效度更大。因此,为了更好的发挥情境判断测验的作用,使题目中的情境能够最大限度地激发出目标维度,当测量的构想属于人格层面时(如,正直、责任心),建议使用行为型的指导语:而当测量的构想属于认知层面时(如,工作知识、工作技能),建议使用知识型的指导语。
5.3 应用作假和培训对效度影响的研究结果指
导实践
情境判断测验和里克特式的自评问卷相比,已经在一定程度上能够降低作假的影响,但是在选拔的情境下,仍然有作假存在。有研究表明,知识型指导语情境判断测验较行为型指导语情境判断测验能够进一步降低作假(Nhung,Biderman,&Michael,2005),详述(elaboration)也在一定程度上降低作假,即在某种程度上,加大测验题目的认知负荷,有利于降低作答者作假(Lievens&Peeters,2008)。但是,这方面的研究还远远不够,一方面体现在已有关于作假对情境判断测验效度影响的研究大多是实验室情境下通过指导语控制被试作假,而不是真实的选拔情境;另一方面,对于作假及其影响因素的本质探讨不够深入;还有就是缺少检验作假、降低作假的有效、易行手段。
此外,随着情境判断测验应用范围的不断扩大,一个新的问题应运而生,即情境判断测验中所涉及关键事件应对方式的培训对测验效度的影响:培训是否会影响作答者的成绩?会产生怎样的影响?是简单地提高了分数还是真正提高了相应的能力?对测验的效度是积极作用还是消极作用?如果假设培训的结果可以提升测验效度,我们应该怎样更好地开发、组织、实施培训?反之,我们有没有什么办法降低其对测验效度的不利影响?而这些方丽的研究,不仅在国内,在整个国际上,都处于起步阶段。总之,为了更好地将情境判断测验应用于实践领域,尤其是人事选拔领域,关于作假和培训对测验效度影响的研究势在必行。
相关热词搜索:述评 情境 测验 情境判断测验的效度研究述评 情境判断测验 情境判断测验法的本质
热点文章阅读