如何制定和应用CMMI评估中的性能报告?

2021-12-15
浏览次数:
返回列表

从CMMI 2.0版本开始,要求执行CMMI基准评估 (Benchmark Appraisal)、维持性评估(Sustainment Appraisal) 以及行动计划复评 (Action Plan Reappraisal, APR) 时,评估组要制定一份组织的性能报告,基于目标和度量数据,描述组织单元在过去的一个改进周期内的实际改进成果,并与CMMI评估报告等一并交付给组织评估发起人。这份基于目标和度量结果的评估输出,对组织都非常有价值。

首先,从CMMI评估的产出来看,性能报告与CMMI评估报告一起,给Sponsor一个关于组织的改进成果的更加全面的描述。

CMMI评估报告,是从CMMI模型出发,对每一条适用实践域/实践的目标 (Intent)和价值 (Value)在组织实际的流程实施中的满足情况进行判断,识别出相应的强项、弱项和改进机会,并得出成熟度级别/能力度级别的结果。它强调的是模型要求的覆盖。

性能报告,则是从组织的角度出发的:即组织及其发起人所关心的商业目标以及过程性能目标,在过去的改进周期中进展和结果如何。性能报告关注组织实际的改进成果,即改进是否带来了预期的结果。

两份报告是显然是关联的。性能报告是回答CMMI模型中的Intent和Value是否达成的最好佐证。

举个例子,同行评审(Peer Review,PR)实践域的Intent是通过作者的同行或主题专家的评审,发现并解决工作产品的问题;而获得的Value,是通过尽早的发现问题和缺陷,降低成本和减少返工。若CMMI评估中认为组织的同行评审过程实现了PR实践域的Intent和Value,则我们可以理解为组织对工作产品的同行评审过程中发现问题的能力应该不错。这应该表现为高价值的评审缺陷密度维持在比较高的水平,或者更直接的体现在这些工作产品的缺陷截留率应该能维持较高水平,这是满足Intent的表现;同时,组织的开发流程下游的返工成本和总质量成本(Cost of Quality)等相关的指标应该得到改善,以及返工减少带来的按时交付能力的提高等业务层面的获益,这些都应该在性能报告中体现出来。当然,这要看同行评审在这一周期的改进中的贡献是否显著,因为性能报告并不一定要汇报所有的过程改进项。但总的来说,两份报告应该是互相佐证的,给读者(例如Sponsor)一个更完整的图景。

另外,在完成性能报告的过程中,评估组会有机会回顾性能报告和评估发现之间的匹配程度(特别是评估组在填写性能报告中的最后两列的内容时,需要描述和CMMI模型实践和评估发现的关系)。理论上,性能报告上做了明确描述的改进成就或者问题,应该在评估报告中都以比较显著的方式得到体现(例如强项或弱项);反过来如果评估报告中的很多发现(强项、弱项和改进机会),都无法与性能报告的内容进行关联的话,那要么就是性能报告没写好,要么就是评估过程和及其发现没有很好的聚焦于组织关心的领域和目标,也有可能是组织的过程改进投入和组织的需求和目标的确存在不一致,无论那种情况,都是值得注意的。

其次,性能报告还是组织一份很直观的以数据驱动的性能改进计划和跟踪工具。例如,性能报告可以这么使用:

1.计划阶段,列出组织的业务和性能目标和目标值、当前的过程性能水平、与目标水平的差异、改进切入点(改进点和措施)及依据、重要的基础保障条件,以及目标进度的检查点等。

2.改进过程中,在阶段节点记录改进成果,包括关键过程性能指标的改善和商业获益,并分析原因,对性能报告进行持续的维护。

3.在改进周期结束,进行阶段性的评估(如CMMI评估)时,由独立第三方的评估团队对改进成果和相关数据进行验证和评价,结合CMMI评估报告,给Sponsor一个全面的评价结果。

那么怎样制定性能报告呢?

性能报告需要比较多的数据和信息,而且这些数据和信息之间的关联十分紧密,所以性能报告应该尽早准备,实际上最好的方式就是向上面所说的,在年度改进的初始就开始,逐步按照改进的目标计划、跟踪、阶段总结等步骤伴随着过程改进进行维护。在评估节点,组织可以直接将这份性能报告提供给评估组进行补充、验证和确认。如果不能做到这样,至少也应该在评估计划开始的时候,就着手进行相关信息和数据的整理和收集,在现场评估阶段进行验证、完善和交付。

性能报告应由评估组制定,但确实需要组织协助并提供所需的信息和数据,以及进行必要的讨论。那么组织会因为性能报告这一要求而需要大量额外的投入吗?答案是不会的。因为制定性能报告所需的数据和信息,按照CMMI模型能力域(Capability Area)“Improve the performance"中的MPM/PCM/PAD,以及GOV/II等实践域的要求,组织应该已经具备了,否则这些实践域的目标和价值是否能够得到满足就值得商榷了。所以,除了有限的数据收集和整理之外,没有明显的额外工作量,基本上和评估证据的准备工作相当(实际上评估师可以选择采取将此任务分派给负责MPM实践域的评估小组)。如果组织采用上述的建议,将性能报告作为整个改进过程的一个计划和监控工具的话,那么基本不需要花费额外的工作。

性能报告是CMMI 2.0真正转向能力和性能改进模型的最重要的举措和具体体现之一。虽然只在CMMI评估阶段对评估组作出性能报告的交付要求,但却能很好地“拉动”组织在整个改进周期中使用商业和性能目标驱动的过程改进的实践,并且促进基于数据和事实的决策文化,的确是CMMI改进和评估方法论的一个很大的进步。

此文章转载自公众号《CMMI研究院》

了解更多CMMI认证

CMMI文章推荐
热门资质推荐
最新热门政策
常见问题推荐