系统测试概述

• 系统测试的定义
  • 将已经集成好的软件系统，作为整个计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其它系统元素结合在一起，在实际运行（使用）环境下， - 对计算机系统进行一系列测试活动。
• 根本任务
  • 证明被测系统的功能和结构的稳定性；还要有一些非功能测试：性能测试、压力测试、可靠性测试等等。
• 目的
  • 确保软件产品能够被用户或操作者接受。
• 系统测试属于黑盒测试范畴，不再对软件的源代码进行分析和测试。
• 系统测试的组织
  • 系统测试主要是由质量部门的测试工程师来主导工作。
    • 测试组组长：组织测试；
    • 测试分析员：负责设计和实现测试脚本和测试用例；
    • 测试者：负责执行测试脚本中记录的测试用例。
  • 系统测试员和用户
    • 相似的地方
      • 都是使用软件，一般不接触软件的代码
      • 都是假设软件应该正确实现说明书的功能
    • 不同的地方
      • 使用软件的目的
      • 对待错误
• 系统测试的内容
  • 功能特性的测试：功能测试、用户界面测试、安装/卸载测试、可使用性测试。
  • 非功能特性的测试：性能测试、负载测试、压力测试、疲劳测试、安全测试、恢复测试、兼容性测试、可靠性测试、强度测试、容量测试、配置测试。

功能测试

功能测试（Functional Test）是在规定的一段时间内运行软件系统的所有功能，以验证这个软件系统有无严重错误。

• 目标
  • 检验产品功能是否正确实现
• 内容
  • 正常功能、异常功能、边界测试、界面测试、接口测试、安全测试、错误处理测试等。
• 依据
  • 需求规格说明书
• 方法
  • 黑盒测试
    

性能测试

性能测试（Performance Testing）通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。

• 目标
  • 对产品的性能进行测试，检验是否达标、是否能够保持。
• 工具
  • 在需要大访问量时候尤其需要使用工具。
  • 并发性能测试工具 （load—负载）
    • LoadRunner、 QALoad、 SilkPerformer、 WebLoad
• 用户视角的软件性能
  • 从用户角度来说，软件性能就是软件对用户操作的响应时间。
• 系统管理员视角的软件性能
  • 系统的响应时间；
  • 系统运行时服务器的状态，如CPU利用情况、内存使用情况等；
  • 系统是否能够实现扩展；
  • 系统支持多少用户访问；
  • 系统性能可能的瓶颈在哪里；
  • 系统是否支持7*24小时的业务访问。
• 软件性能指标
  • 并发用户
    • 一给定时间内，某个时刻与服务器同时进行会话操作的用户数。
  • 响应时间
    • 客户端发出请求到得到服务器返回结果的整个过程所经历的时间。
  • 吞吐量
    • 单位时间内系统处理的客户请求的数量
    • 一般来说，吞吐量用请求数/秒或页面数/秒来衡量。
    • 从业务的角度，吞吐量也可以用访问人数/天或处理的业务数/小时等单位来衡量。
    • 从网络的角度来说，也可以用字节数/天等单位来考察网络流量。
  • 资源利用率
    • 指系统资源的使用程度，比如服务器的CPU利用率、内存利用率、磁盘利用率、网络带宽利用率等。
• 软件性能要素
  • 环境要素
    • 软件、硬件、网络
  • 业务要素
    • 用户数、执行功能、数据量
  • 在使用性能指标描述软件的性能特征时，应该给出明确的软件性能要素，否则，所给出的性能指标无法参考。
• 性能测试用例的设计：主要是通过改变模拟的业务因素来测试软件的性能。
  • 并发用户数
    • 精算法
      
    • 估算法
      
    • 经验值
      • 对于一些系统，可以通过同类软件系统的用户数据来估算，这种估算可以通过类似系统的日志分析和问卷调查来进行。
  • 吞吐量
  • 基于业务的设计

负载测试

• 定义
  • 数据在超负荷环境下运行，测试软件系统是否能够承担。这种超负荷主要指多并发用户。
• 方法
  • 人为生成大数据量，并利用工具模拟频繁并发访问
• 工具
  • 一般需要使用自动化工具
• 考察指标
  • 响应时间、交易容量、资源使用率等

压力测试

• 定义
  • 指系统不断施加越来越大的负载（并发，循环操作，多用户，网络流量）的测试。
• 目标
  • 通过确定一个系统的瓶颈或者不能接收的性能点，来确定系统能提供的最大服务级别的测试。

性能测试、压力测试、负载测试的关系

• 性能测试是正常情况下的性能指标；
• 压力测试是测试系统的瓶颈所在；
• 负载测试是指系统重负荷性能指标;
• 性能测试、压力测试、负载测试在广义上讲都是性能测试的内容，建议将三种测试结合起来并行进行。

兼容性测试

• 定义
  • 测试软件在一个特定的硬件、软件、操作系统、网络等环境下系统能否正常运行。
• 目的
  • 检验被测软件对其他应用软件或者其他系统的兼容性。

安全测试

• 定义
  • 安全测试检测系统对非法入侵的防范能力。
• 应用程序级别的安全性测试
• 数据库安全性测试
• 系统级别的安全性测试

健壮性测试

• 定义
  • 又称为容错测试。主要检查系统容错能力。当系统出错时，能否在指定的时间间隔内修正错误并重启系统。
• 方法
  • 容错测试首先要通过各种手段让软件系统强制发生故障，然后验证系统能否快速恢复。

配置测试

• 定义
  • 配置测试将验证软件与其所依赖硬件环境的依赖程度。
• 测试中的硬件环境指进行测试所必需的服务器、客户端、网络连接设备，以及打印机、扫描仪等辅助硬件设备所构成的环境。
• 所有软件都需向用户说明其运行的硬件环境，对于多层结构的软件系统来说，需要分别说明其服务器、客户端以及网络所需的环境。

可用性测试

可用性测试是面向用户的系统测试。让一群有代表性的用户尝试对产品进行典型操作，- - 同时观察员和开发人员在一旁观察，聆听，做记录。

• 系统中是否存在繁琐的功能以及指令；
• 安装过程是否复杂；
• 错误信息提示内容是否详细；
• GUI接口是否标准；
• 登录是否方便；
• 需要用户记住内容的多少；
• 帮助文本是否详细；

文档测试

• 定义
  • 文档测试是对系统提交给文档进行验证，它要求检查系统的文档是否齐全。
• 文档的种类
  • 包括联机帮助文档或用户手册，指南和向导，
  • 安装、设置指南，示例及模板，错误提示信息，
  • 用于演示的图像和声音，
  • 授权/注册登记表及用户许可协议，
  • 软件的包装、广告宣传材料等。