软件测试管理流程与规范

软件测试管理流程与规范

前 言

目的：为统一软件测试制度，更好的管理软件测试，更好的配合软件工程师软件的下发，特制定。 本标准的附录记录文档是规范性文档。

本标准由万捷科技有限公司TOP测试组提出，TOP测试组归口。 本标准起草部门：万捷TOP测试组。 本标准于2009年4月7日发布。

1、 范围

本标准规定了软件测试的流程。 本标准规范了软件测试的文档。 本标准适用于万捷测试组。

2、 软件测试的流程

2.1软件下发流程

软件方案------→XXX公司TOP组软件测试组组长

软件从发放到测试组进行测试为一个完整周期。一款软件需测试由软件方案方直接下发给万捷TOP组测试组长，方案公司软件负责人需填写一份《软件发布信息表～开发》才能下发至测试组，其表需详细填写机型、版本、改了些什么问题、测试时需注意的事项等，以便软件能有效有质的完成测试。

（《软件发布信息表1》请见附录1）

2.2软件测试周期

软件从发放到测试组进行重点功能点检需半天，全面测试需2天，专项测试需1天，（以上为人员充足情况下的理想状态），在计划时需作好时间的预留。

3、万捷测试组职责分配

万捷TOP测试组

较成熟软件

试产软件

量产软件

万捷TOP测试组负责较成熟软件、试产软件和量产软件的测试，为避免发放到测试组的软件有严重问题引起反复的无效测试，在软件发放到万捷之前软件方案公司需自行进行测试，确认无严重问题再下发给万捷TOP测试组进行测试。对于试产软件某些功能未完善，某些BUG由于时间问题未及时改善，须在软件提交到测试组时，由软件方案公司软件负责人提交相关说明。

每个外发出去的软件版本都需经过测试组测试确认合格；特别是量产软件必须全面测试后才能外发出去。 填写〈软件发布信息表2〉给各部门负责人签字确认，再发出。

（《软件发布信息表2》请见附录2）

4、客户反馈问题的反馈

客户反馈问题------→高威尔客服服务部--→万捷TOP 测试组组长

关于客户反馈的软件问题，由于客户对于问题的描述不清晰或不全面或不是问题的问题直接提交到开发造成开发经常要猜测问题复现路径，对问题出现误解，则须由测试组验证确认后提交到软件方案公司进行修改，不是问题/设计如此的也须由测试组回复一份报告给客服人员到客户，以避免客户再次反馈同样的问题。

5、软件测试问题的反馈

测试组对于每发布的一版软件的测试结果必须详细记录在部门内部Buglist中或BUG管理工具中，待测试完毕后整理，统一发出。若发现严重BUG，可及时随时反馈，发便BUG能及时修改。

测试结果（《软件测试报告》请见附录3

软件测试报告发送给方案公司项目接口人，由该接口人将此报告给相关的开发工程师，由软件方案公司软件开发工程师给出BUG的修改建议，由万捷科技TOP测试组长及软件方案公司接口人共同跟进BUG的解决进度。

若有BUG管理工具，则不需要以下步骤1。 关于测试BUG的整理与共享：

(1)由测试组组长共享一目录给部门项目相关负责人，格式为： Buglist（项目名）Buglist

(2)测试组组长整理好各项目各版本的测试记录。

(3)各项目的每版软件buglist...

测试组组长要整理各种buglist，避免同一BUG提交两次；确保软件方案公司同事，避免同一个已经解决的BUG 出现两次。

对于某些新增功能的测试，由软件方案公司相关开发人员或接口人与万捷科技接口人共同出＊＊新功能测试指导给相关的测试人员；有必要时做＊＊新功能培训。

6、BUGLIST的命名规则:

buglist 的优先级由测试工程师确定,建议再加项其它，用以说明未考虑到的其它情况. 关于BUG的优先级划分请参照文档〈软件黑盒测试评估规范〉。 （《软件黑盒测试评估规范》请见附录4） 例：

7、软件测试工作的评估

软件测试不可能把所有的问题都发现出来只能最大程度上的减少问题的发生。

对于软件测试工作的评估如下：

当外发的软件有严重问题时，则记测试组一次工作失误。

当然，软件方案公司开发人员也要对测试组负责，尽量避免使一些已经解决的BUG重复多次出现。

8、量产版本的评估

万捷TOP测试组

原则上量产软件只有在通过测试组测试且没有A类严重问题后方能用于出货软件。

在出货任务紧急时，须由测试组、软件开发、项目、销售等相关部门评估同意后方能用做出货软件。

9.软件测试计划的制定

开发部门应提前制定测试计划，但由于此计划牵涉到项目部、客户等多种软件部不能决定的因素，根据实际情况，尽可能适当提前告之测试组相关软件测试计划。

10、说明书的编写

每款机型的说明书由软件方案公司相关人员编写，万捷TOP测试组进行审核及整理。客户有关说明书问题的反馈由万捷TOP测试组长跟进，并有效及时给予客户回复。

11、测试SIM卡的使用

测试SIM卡由测试组长统一管理。需要充值时填写“物品申构单”，由公司进行充值。

若公司不统一进行充值，购买充值卡时请索要发票，方便报销。并在充值成功后记录充值时间及卡内余额。测试卡使用时请注意节约话费，避免不必要的开销，严禁将测试卡作为测试工作以外的用途。暂定每张测试卡每次充值最高为人民币一百元，可根据实际情况适当调整。

12、手机测试的相关文档

12.1MTK平台点检表文档：可作功能点检。 （《软件发布点检表》请见附录5）

12.2全面测试（MMI测试）文档：可作手机全面测试文档规范。 （全面测试《MMI测试》文档请见附录6）

12.3通话测试文档：每版输进行全面测试的软件都得进行一次通话测试。 （《通话测试》文档请见附录7）

12.4通话专项测试文档：每款机型至少要进行一次通话专项测试。 （《通话专项测试规范文档》请见附录8）

12.5LCD专项测试文档：手机换屏后需进行LCD专项测试。 （《LCD专项》文档请见附录9）

12.6FLASH-专项测试文档：手机换FLASH后需进行FLASH专项测试。

（《FLASH-专项测试》文档请见附录10） 12.7重点功能测试文档：作重点功能检测。 （《重点功能测试》文档请见附录11）

13、附录文档（软件测试的规范文档），请见后续几页。

附录1：

附录2：

拟制： 审核/批准：

附录3：

附录4：

软件黑盒测试评估规范

总则：

软件问题点评估是以问题点的风险系数作为等级划分的依据，风险系数的评估来源于问题的严重程度，顾客发现问题的可能性两个方面（由于软件问题的特殊性，不涉及可检测性），而顾客发现问题的可能性与问题的复现率、出现问题的路径及用户的使用习惯相关，本规范就是从以上列举的方面对软件问题点评估进行尽可能性的量化，以使软件评估规范及其使用趋于客观、科学。

适用范围：

软件测试问题点风险评估、针对软件问题而设计的专项试验数据风险评估。

不适于故障出现在的路径毫无规律或尚未了解故障出现的路径规律的情况。

对于故障出现路径无规律的情况，有必要组织专项测试。

风险系数：R＝S1*（P1*P2）0.5

即：风险系数R等于问题严重S1乘经路径（情景）使用频率P1和故障出现频率P2乘积的平方根。风险系数越高，风险越大。

问题点分级原则：

S类问题：非常严重缺陷，必然会引起客户投诉，必须要改善以后才可以出货。

A类问题：严重缺陷，引起顾客投诉的可能性非常大，建议改善以后才可用于出货。

B类问题：一般缺陷，引起顾客投诉的可能性比较大，建议改善以后才用于出货。

C类问题：轻微缺陷，引起顾客投诉的可能性比较小，可先出货后续改善。

规定规则：

当S＝9时，不论P1、P2分值为多少，都判定为S类问题；

当S＝8且P1+8及以上时，都判定为S类问题；

当S≤8时，遵循以下的分类判定为S类问题：

50≤R≤81 为S类问题

36≤R≤50 为A类问题

18≤R＜36为B类问题

0＜R＜18为C类问题

评估规则：

S类＞0 软件存在重大缺陷，投诉可能性非常大，出货风险大，不同意作为出货软件版本；

S类＝0且A类＞＝10 软件投诉可能性非常大，出货风险非常大，建议改善后再用于出货软件版本；

S类＝0 且0＞A类＜10，软件存在一定的投诉可能性和出货风险，研发承诺期限改善的条件下，同意作为出货版本软件版本；

S类＝0且A类＝0，B类＞＝30存在较下的投诉可能性和出货风险，但用户满意度可能比较低，同意作为出货软件，同时须积极跟进市场反馈情况；

S类＝0 且A类＝0，0＞B类＞15 同意作为出货版本。

1、 问题点严重程度分级（S）

2、 顾客发现问题的可能性

（1） 路径（功能）或情景出现的可能性评分（P1，本评分规则与顾客使用习惯相关，需不断优化、修正） 定义：

本表内“功能”特指单一功能；

情景：指多于一种功能或操作复合的情况

（2） 故障出现频率评分表（P2，特指相同路径下重复操作故障出现的频率）

附录5：

点检结果

1 软件状态

在点检结果中填写如下信息：

 Pass：表示当前点检项可以通过，没有问题发现

 Fail：表示当前点检项不能通过，有问题发现；当有问题发现时，应同时填写tracker number  不支持：表示手机不支持这个功能

 未测：表示由于客观环境的限制无法测试当前的点检项

2 常规项目点检

3 菜单功能点检

该表以主菜单为项目进行分类，在实际操作中，测试员应该详细遍历每一个子菜单或选项，

4 矩阵项目点检

矩阵点检项目是从“矩阵测试表”中抽取出来的，属于“矩阵测试表”的一个子集。本表点

5 非菜单功能点检

备注：

⑴对于双频机（GSM900/DCS1800），要确认能拨打紧急呼叫号码112；对于三频机（GSM900/1900/DCS1800），要确认能拨打紧急呼

叫号码112和911；对于销往墨西哥的机型，要确认能拨打紧急呼叫号码112、911和08。 ⑵目前测试室这边只有深圳本地的SIM卡，因此IOT测试带有一定的局限性。

6 历史异常点检

附录6：

内 部 作 业 指 导

-------全面测试

式

附录7：

ＧＳＭ双频ＧＰＲＳ功能数字移动电话机 报告编号：

通话测试

测试： 审核：

附录8：

通话专项测试作业规范

1 2

2.1 2.2

范围 ................................................................................................................... 35 概述 ................................................................................................................... 35

测试设备 ............................................................................................................................. 35 注意事项 ............................................................................................................................. 35

3

3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10

通话品质测试 ................................................................................................... 35

手机VS手机...................................................................................................................... 35 手机VS免提...................................................................................................................... 36 手机VS有线耳机 .............................................................................................................. 36 手机VS蓝牙耳机 .............................................................................................................. 36 免提VS免提...................................................................................................................... 37 免提VS有线耳机 .............................................................................................................. 37 免提VS蓝牙耳机 .............................................................................................................. 37 有线耳机VS有线耳机 ...................................................................................................... 38 有线耳机VS蓝牙耳机 ...................................................................................................... 38 蓝牙耳机VS蓝牙耳机 .................................................................................................. 38

4

4.1

4.2 4.3 4.4 4.5 4.6

GSM业务 ......................................................................................................... 39

呼叫等待 ............................................................................................................................. 39 保持与恢复 ......................................................................................................................... 39 双路切换 ............................................................................................................................. 39 三方通话 ............................................................................................................................. 39 通话中使用SMS ................................................................................................................ 40 通话中使用电话本 ............................................................................................................. 40

5

长时间通话静置 ............................................................................................... 40

7 本文档定义了在室内静止状态下的通话测试方法及标准，适用于GSM及CDMA移动通信手机，室外运动状下的通话测试规范请参考路测规范。

8

8.1

 待测手机四部

 移动及联通SIM卡数张  标配电池数块

 标配耳机数个（标配有耳机的必须要测试，无标配耳机的不测）  对比机数部

8.2  必须检查软件版本是否正确  必须对所有待测样机进行射频校准  所有测试样机必须要通过天线耦合测试

9 本测试项目在于检查被测机型相互通话时的音质，考虑四种手持方式的组合，共设计10种场景模式。

9.1 手机VS手机

定义

检查当两部手机之间通话时的音质，是否有噪音、回音及啸叫等问题。

测试步骤

1）被测手机A呼叫被测手机B 2）接通，使A和B处于通话状态 3）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.2 定义

手机A不使用免提，手机B使用免提，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）被测手机A呼叫被测手机B 2）B接听并使用免提 3）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.3

定义

手机A不使用免提，手机B使用有线耳机，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）被测手机A连接耳机，手机B不连接耳机 2）A呼叫B，B接听

3）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.4

定义

手机A不使用免提，手机B使用蓝牙耳机，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）被测手机A连接蓝牙耳机 2）A呼叫B，B接听 3）维持通话状态

期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.5 定义

手机A使用免提，手机B使用免提，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）手机A呼叫手机B 2）手机B接听

3）手机B与手机B都激活免提 4）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.6

定义

手机A使用免提，手机B使用有线耳机，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试结果

1）手机A连接有线耳机 2）A呼叫B，B接听 3）A激活免提

4）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.7

定义

手机A使用免提，手机B使用蓝牙耳机，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）手机A连接蓝牙耳机 2）A呼叫B，B接听 3）B激活免提

4）维持通话状它10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.8 定义

手机A使用有线耳机，手机B使用有线耳机，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）手机A和手机B均连接有线耳机 2）A呼叫B，B接听

3）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.9 定义

手机A使用有线耳机，手机B使用蓝牙耳机，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）手机A连接有线耳机 2）手机B连接蓝牙耳机 3）A呼叫B，B接听

4）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

9.10 定义

手机A使用蓝牙耳机，手机B使用蓝牙耳机，相互通话10分钟，检查有无杂音、噪声、回音及啸叫等严重问题。

测试步骤

1）手机A连接蓝牙耳机 2）手机B连接蓝牙耳机 3）A呼叫B，B接听

4）维持通话状态10分钟 期望结果

通话音质良好，无回音、无杂音、无啸叫等严重问题。

10 10.1 定义

检查当有来电处于等待状态时，手机是否会给出提示。 测试步骤

1）被测手机A的SIM卡激活呼叫等待业务 2）给A呼入一个来电并接听 3）在通话中再给A呼入一个来电 期望结果

当有来电等待时，手机除了在画面上给出提示之外，同时在声音上也应该所有提示（例如轻微的嘟嘟提示音）。

10.2

定义

检查当前的通话是否可以被保持和恢复。 测试步骤

不同的机型可能有所不同，只要该业务能够实现即可，不必严格恪守下面的步骤。 1）被测手机A的SIM卡激活呼叫等待业务 2）手机A呼出或呼入一个电话并保持通话状态 3）保持当前的通话（按SEND键或通过菜单均可） 4）恢复被保持的通话（按SEND键或通过菜单均可） 期望结果

通话可以被保持和恢复。

10.3 定义

检查双路通话切话是否成功。 测试步骤

1）被测手机A的SIM激活呼叫等待业务 2）接听两路电话，一路激活，一路被保持 3）切换两路通话 期望结果

两路通话能够被切换。

10.4 定义

检查三方通话是否成功。

测试步骤

1）被测手机A的SIM卡激活三方通话业务 2）接听两路电话，一路激活，一路被保持 3）激活三方通话 期望结果

能够激活三方通话通话，音质良好。

10.5 定义

检查在通话过程中SMS的发送是否正常。 测试步骤

1）使被测手机A处在通话状态

2）进入通话菜单，发送一个SMS给本机 期望结果

SMS能够成功发送和阅读。

10.6 定义

检查在通话过程中是否能够成功使用电话本功能。 测试步骤

1）使被测手机A处在通话状态 2）存储一个号码到电话本

3）浏览电话本列表（至少150条记录） 4）删除一条记录 期望结果

能够存储记录、浏览记录及删除记录，不影响通话。

11 定义

检查手机在长时间通话静置的状态下是否会出现死机、重启等现象。测试步骤

1）被测手机A和手机B均连接充电器 2）A呼叫B，B接听 3）静置2小时 期望结果

静置过程中手机没有掉线、死机、掉电或重启等异常现象。

附录9：

LCD专项测式

机型： 软件版本： 硬件版本：

更换前LCD厂家： 更换后LCD厂家：

测试人： 测试日期：

附录10：

FLASH－专项测试

————要求手机功能正常

测试人： 测试日期： 审合：

附录11：

重点功能测试点检 ————送客户样机测试报告

测试人： 审合：