霍兰德测试信效度：专业评估

信效度其实是两个名词的集合，也就是信度与效度的统称，其中信度又被称为可靠性或一致性，实务上来解释就是同一份研究工具（社会科学的研究工具通常就是问卷）在多次施测下，结果是稳定且具有一致性的。而效度则是代表研究的准确性与真实性，在社会科学中，研究的准确性和真实性也通常和问卷息息相关。提供给大家一个信效度的知识：信度和效度其实是有逻辑关系的，信度是效度的必要条件，也就是说，研究工具的效度如果是高的话，那么它的信度必然是高的；但是如果反之，研究工具的信度是高的话，效度却不一定是高的！如果你体重稳定，但在同一个秤上测了多次，体重浮动很大，就是信度不足。换言之，信度是用同一测量工具对同一对象反复测量，所得到的答案的相似度。在问卷调查中，信度通常用来检验量表结果是否可靠。效度指测量工具本身的有效性，也就是能否通过量表找到研究问题的答案。效度也涉及测量工具避免误差（系统误差和随机误差）的程度，也就是测量分数的出入只反应了我们所测量的特性的真正差异，而非系统或随机误差。比如，测量体重的最终目的是衡量自己的胖瘦，如果体重增加能说明体形变宽、脂肪增加，那就具有一定效度。

一、信度的类型

等价形式信度（复本信度）

秤不准还可以换个秤试试。电子体重秤不准，我就换机械体重秤，它们都是用kg表示重量。等价形式信度，就是用等价形式测量工具重测，从而有效避免上文中提到的问题。比如，间隔2-4周后再测试同一组受访者，但使用另一套完全等价的问卷量表。问题在于设计两份数量相等的量表很简单，但测量尺度100%相等几乎不可能。等价量表不仅设计难度大，要投入的金钱和时间等成本也高。

内在一致性信度

内在一致性信度可以弥补上述两种方法的缺点，当量表内部各题间难度相当，且相关性很高时，表示它内在一致性信度很高。内在一致性信度有三种计算方法。

折半信度：折半法可以看做是复本法的特例，它要将量表拆分成均等的两半让同一批被试填写，检验两半份问卷的相关性。一般按照题目的奇偶数拆成均等的两半，题量越大，信度系数越高。但不同的拆分方法会得出不同的结果。

KR20（Kuder & Richardson）信度：这种方法要将每个答案赋予简单分数，答错为0，答对为1。

克朗巴哈α（Cronbach Alpha）系数：这种方法需要计算所有可能的二分情况的信度系数均值，如果某题和其他之间缺乏相关性，则要把它删去。一般来说，计算结果大于0.7是可接受的数值，越大说明相关性越高。而信度系数较低，一般是样本量小、每个维度的题项少导致的。如果问卷设计质量不高，或者样本量太小，那么即使被试都是真实作答，信度也不会好。

分半信度（Split-Half Reliability）：将测量工具分成两半，分别计算每一半的得分，然后比较两半得分的一致性。例如，问卷调查可以将题目分成前后两部分，计算两部分的得分相关性。

二、如何检测信度和效度

重测信度检测：对同一受试者群体在不同时间点进行两次测量，然后计算两次测量结果的相关系数。

内部一致性信度检测：计算克隆巴赫系数来评估测量工具中不同项目之间的一致性。

分半信度检测：将测量工具分成两半，计算两半得分的相关系数。

三、效度的类型

表面效度

当调查似乎没有测量它声称测量的东西时，它的表面有效性就很低。

内容效度

它涉及对调查内容的系统检查——量表足够覆盖了要研究的主题。例如一项对方便面品牌态度的消费者调查，设计者从产品的风味/调料/质地、产品的健康和自然性两个因子设计各类因素，但方便食品的方便性、性价比、广告和交流等重要因素却没有被测量，因此这份量表不具备内容效度。所以调查者在设计问卷时，需要收集大量资料和数据，对测量概念、对象做出精准界定，也可以通过焦点小组访谈、专家座谈会、增加预测试中的开放题等方法集思广益。

准则效度

准则效度分为预测效度和同时效度。预测效度是当前量表可以预测一个准则变量的未来值的程度。比如，入学考试能预测学生新学期的绩点，那么效度合格。同时效度是预测变量和准则变量之间同时段的关系。比如，面向生物学专业大学生一份评估生物知识的综合测试，如果他们的测试分数和绩点存在高度相关性，那么效度合格。

架构效度

如抑郁症之类没有客观实体、不可观测的概念/特征，我们只能通过观察其他指标来衡量，比如悲观程度、精力等。对于这类测试，可以用以下方式测量效度。收敛效度：用不同方式测量同一概念会产生类似的结果。比如被试用自我报告和观察两种测量方法，得出的结果高度相似，说明效度可靠。也可以用不同测试检验效度，比如韦氏智商测试的效度，可以对比斯坦福-比奈版智商测试的结果进行检验。区别效度：如果某品牌忠诚度测试和竞品的品牌忠诚度测试，二者结果之间相关性越低，那么说明测试的效度越高。

同时效度（Concurrent Validity）：测量工具的结果与当前已知的标准一致。例如，一个新的心理测试结果与已有的权威心理测试结果进行比较。

预测效度（Predictive Validity）：测量工具的结果能够预测未来的行为或结果。例如，高中学业成绩能否预测大学学业表现。

结构效度

是指一个测验实际测到所要测量的理论结构和特质的程度，即数据的结构是否符合预期。

测量内的方法：EFA（探索性因子分析）是一项用来找出多元观测变量的本质结构、并进行处理降维的技术。通过EFA，可以判断变量内部的结构是否与理论预期相符。EFA通常用到的地方是在不清楚变量内部结构的情况下确定结构，或在研究预试阶段进行因子分析，对量表题项进行增删或修改，使量表具有良好的效度。CFA（验证性因子分析）测试一个因子与相对应的测度项之间的关系是否符合研究者所设计的理论关系。如果对因子结构有事先的假设和理论基础，通常采用CFA。一般来说当你使用成熟量表时，变量的维度都较为清晰，采用CFA是更好的选择。

测量间的方法：聚合效度——不同的观察变量是否可以用来测量同一变量。检验的标准有：在因子分析中，每个题项因子载荷系数>0.7（表明题项与构念间有很高的相关性）；每个构念的AVE值>0.5（表明方差提取的比例很高）。区分效度——一个测量不会与代表其他构念的测量相关很大。检验的标准有：变量之间的角度（管理学常用做法：计算各变量之间的相关系数和每个变量AVE值的平方根，形成一个表格，对各变量AVE平方根与其所在行或列的相关系数绝对值进行比较，如果前者明显大，则证明区分效度良好；心理学常用做法：将文章中涉及到的所有变量进行合并，形成多个竞争模型，对每个模型的拟合度进行检验，如果发现五因子模型拟合度最优，则证明区分效度良好）；测量项与构念之间的角度（一个测量项与其对应的构念的载荷要明显大于与其他所有构念的交叉因子载荷，也能表明有良好的区分效度）。也有学者提出过用多质多法（MTMM）检验聚合效度和区分效度，但是比较麻烦，有兴趣的同学可以找相应的书学习。

四、如何检测效度

内容效度检测：通过专家评审或焦点小组讨论，评估测量工具是否全面涵盖了所有必要的内容。

结构效度检测：进行因子分析，检验测量工具的各个项目是否能反映所要测量的理论结构。

效标效度检测：将测量工具的结果与外部标准进行比较，计算相关系数或进行回归分析。例如，比较新测试结果与已有标准测试结果的相关性，或使用新测试结果预测未来的表现，并评估预测效果。

五、提高信度和效度的办法

提高信度的方法：增加测量项目数量——通过增加测量项目的数量来提高测量工具的稳定性和一致性；优化测量项目设计——确保每个测量项目的设计清晰明确，避免模糊和歧义；标准化测量过程——在测量过程中严格遵守标准操作流程，减少人为误差。

提高效度的方法：确保内容全面——在设计测量工具时，确保覆盖所有需要测量的内容，避免遗漏；进行预实验——在正式测量前，进行预实验，验证测量工具的效度，并根据反馈进行调整；使用多种测量方法——结合多种测量方法，增加测量结果的有效性和全面性。

理解了信度和效度的内涵，大家就可以去推断二者的关系，主要包括以下几种：

1. 高效度一定高信度——测量准确即可保证测量结果的稳定和可靠。

2. 高信度不一定高效度——测量结果稳定并不能保证结果的准确，如拿高三数学卷子测试小学三年级孩子的数学水平，测试多次结果均为0，信度高，但并不能说小学三年级孩子没有数学能力。

3. 低效度不一定低信度——道理与高信度不一定高效度一致。

4. 低信度一定低效度——测量结果波动很大，稳定性不好，那么结果的准确性就不会很高。

六、研究工具的信度

稳定性是指在不同时间点重复衡量相同的事务或个人，比较两次衡量的相关程度。一致性是指在测量的各个项目之间具有一致性或内部同构型。不同种类的评定量表其信度要求有所不同，一般客观的自陈量表要求较高，而评定异常行为的主观评定量表一般都不太高。信度可以从不同方面来说明量表功能的稳定性、不同时间的稳定性、不同评定者的结果稳定性等。稳定性、内在一致性和等同性是信度的三个主要特征。信度的统计用信度系数（reliability coefficient，r）表示，它包括由0至1的数值。r=0表示完全无信度可言，而r=1则代表完美的信度。

七、信度分析

（1）校正的项总计相关性，也称CITC值，比如某维度对应5个题项，那么此5个题项之间的相关关系情况则使用此指标进行表示，通常此值大于0.4即说明某题项与另外的题项间有着较高的相关性，预测试时通常会使用“校正的项总计相关性”这一指标。

（2）项删除后的克隆巴赫系数，如果某个维度或变量对应着5个题项，那删除掉某题项后余下4个题项的信度系数值即称作“项删除后的克隆巴赫系数”。

（3）克隆巴赫系数，也称信度系数，内部一致性系数，或者Cronbach's Alpha，或者α系数，此值一般大于0.7即可。如果在预测试中使用信度分析，则可能涉及到校正项总计相关性（CITC）和项已删除的α系数这两个指标，用于辅助判断量表题目是否应该进行修正处理。如果是正式数据的分析，通常此两个指标的意义相对较小。

八、效度分析

效度分析的分析步骤为：

① 首先分析KMO值：如果此值高于0.8，则说明效度高；如果此值介于0.7~0.8之间，则说明效度较好；如果此值介于0.6~0.7，则说明效度可接受，如果此值小于0.6，说明效度不佳（如果仅两个题，则KMO无论如何均为0.5）。

② 接着分析题项与因子的对应关系：如果对应关系与研究心理预期基本一致，则说明效度良好。

③ 如果效度不佳，或者因子与题项对应关系与预期严重不符，也或者某分析项对应的共同度值低于0.4（有时以0.5为标准），则可考虑对题项进行删除。删除题项的常见标准：一是共同度值低于0.4（有时以0.5为标准）；二是分析项与因子对应关系出现严重偏差。

④ 重复上述步骤，直至KMO达标，以及题项与因子对应关系与预期基本吻合，最终说明效度良好。

⑤ 对分析进行总结。