模型|用户满意度评估模型搭建和检验方法探讨( 二 )

拿用户一次外出就餐的满意度举例，按用户接触产品的触点可以分为就餐前（选餐厅、查信息、订座等）、就餐中（菜品、服务、环境等）、就餐后（买单）满意度。而按功能模块划分可以分为餐厅信息、评论信息、优惠信息满意度。无论采用哪种先验假设，模型构建都需要遵循“完备互斥”原则，即指标既齐全不遗漏，也没有重复。
5. 指标赋权因为不同评估指标的重要性程度不一样，拿汽车产品的用户满意度评估为例，对普通轿车的满意度评估更看重实用舒适，而对越野车的满意度评估更看重汽车性能。因此在完成评估模型搭建之后，需要赋予评估指标权重，指标赋权的方法按照打权重的人不同可以划分为专家赋权和用户赋权两大类：

用户赋权是根据用户对某个体验点（指标）满意度打分和对产品整体满意度打分之间的关系测算出来的间接赋权方法，体验点满意度分数变化对产品整体满意度分数变化的解释程度越高，体验点对应的指标权重就越大。常用的指标赋权方法有“线性回归”、“因子分析”和“结构方程模型”。
专家赋权是领域专家，如产品、运营、设计等对指标重要性进行主观判断，因此又叫直接赋权法，常见的直接赋权法有“直接评定法”、“分值分配法”和“层次分析法”。“直接评定法”就是专家逐个判断指标重要性，“分值分配法”是预先给定所有指标一个总分，专家把总分分配到各个指标上，“层次分析法”是专家对指标重要性进行两两对比，因为能更好地在对比过程中帮助专家理清指标的相对重要性，层次分析法是专家赋权中更为常用的方法。

文章插图
那么到底应该使用用户赋权还是专家赋权呢？这两类赋权方式具有不同的特点，用户赋权反映了用户对评估指标所反映体验点的需求强度，在初次搭建模型对用户需求强度优先级不明确时可以考虑使用，但用户赋权受产品现状影响较大，产品当下已经成熟和形成规模的方向更容易获得较高权重，而对产品未来重要但目前规模较小的方向权重则可能较小。专家赋权反映专家对产品现状和产品未来方向的综合判断，可以在产品较为成熟或开始尝试创新方向时考虑使用。
三、如何检验用户满意度模型为了衡量用户满意度模型的好坏，完成模型搭建后需要对模型进行检验，模型检验分为「指标内容检验」和「结构归属检验」两类：
1. 指标内容检验指标内容检验关注指标描述对想要评估体验点的符合程度和可理解性，即指标的内容效度。指标内容检验可通过领域专家完成，邀请至少3名以上专家对指标内容有效性、易理解性等维度打分，专家一致评价为符合的指标占比即为模型内容效度（S-CVI）。对于专家认为不符合或专家打分不一致的指标需要咨询专家具体原因并作出适当修改。一般而言专家一致评价符合的指标不应低于80%。常见的指标内容问题包括指标描述未能准确概括体验点、指标描述有歧义、指标定义的体验标准不合适等。

文章插图
2. 结构效度检验结构归属检验是判断评估指标与想要测量概念（归属维度）之间关系的方法，判断归属关系的方式有看同一维度下指标间的相关关系，指标对测量概念的解释程度等。常用的结构归属检验有同质性α信度检验、探索性因子分析和验证信因子分析。

文章插图
每种检验方法都有自己判别指标归属和模型可靠的标准，但是在做指标归属调整和指标删减的时候不应该盲从于统计数据是否达标，还需要充分考虑指标实际意义、是否有助于我们实现评估目标等实际情况进行综合考虑。
四、结语用户满意度模型需要跟随用户需求和产品发展变化而不断迭代更新，保证评估模型能反映用户需求和业务工作。以上是我们在用户满意度模型搭建和检验方面的一点经验，希望能抛砖引玉，欢迎大家交流探讨。
作者：百度MEUX，百度移动生态用户体验设计中心，负责百度移动生态体系的用户/商业产品的全链路体验设计。服务的产品包括百度APP、百度搜索、百度百科、百度网盘、百度贴吧、百度商业产品等。
本文由 @百度MEUX 原创发布于人人都是产品经理，未经许可，禁止转载
【 模型|用户满意度评估模型搭建和检验方法探讨】题图来自Unsplash，基于CC0协议