一、主要做法
(一)解决问题思路
建设智能化测试平台是现代软件开发与质量提升的关键战略举措,旨在通过集成先进的自动化、智能化技术,显著提升测试效率、精度与洞察力,进而确保产品质量、强化市场竞争力。
浪潮海岳测试平台inTest,涵盖测试管理、UI自动化、接口自动化、性能测试、精准测试、静态分析、安全测试、性能基线八大模块,全面兼容JMeter、Selenium等主流开源标准,提供各种测试工具集成化、服务化,统一测试指标,实现一站式测试服务集成,可快速协助用户建立测试管理体系,提高测试效率与质量。
图1 测试平台inTest功能架构
(二)实施步骤
研发测试管理模块,提供标准化的测试体系建设能力,做到统一协作、合理分配测试资源。同时对接产品,提供测试用例设计、测试计划的统一设计管理。通过测试管理功能,解决了以前线下管理跟踪测试过程和测试结果的弊端。
研发UI自动化测试模块,提供自动化脚本开发功能和自动化测试运行功能。降低了自动化测试的技术门槛,并且极大地提升了脚本开发效率。自动化测试运行功能支持分布式、无人值守7*24小时运行,可以充分利用机器资源和夜间时间,解决了产品多操作系统、多数据库、多浏览器等兼容性测试重复工作量问题,不仅提升了测试覆盖度,还极大节省了人力成本。
图2 多种部署模式组合
研发接口测试模块,提供API在线测试以及Mock测试功能,充分满足产品接口测试需求。支持通过API文档导入的方式快速创建测试请求,并根据测试请求基于大模型技术自动生成测试用例,显著提升接口测试效率。
研发性能测试模块,可以揭示系统在高负载下的潜在问题和性能瓶颈,如数据库查询慢、内存溢出、CPU过载等问题,支持基于已有的接口自动化测试用例自动创建性能测试场景,避免了重复开发设计。
研发精准测试模块,提供产品修改影响分析功能,可以自动分析出本次修改中各类交付物影响的功能范围,从而指导测试人员进行重点测试。解决了之前因为开发人员未告知修改点、开发未识别到修改影响以及测试经验不足等情况导致的测试遗漏问题。
图3 精准测试流程
研发静态分析模块,提供产品及代码的静态扫描能力,进一步在测试环节严格控制代码质量,弥补了以前测试人员代码能力不够导致无法发现代码bug的问题。可以快速检查出代码的规范性、安全性以及是否有性能隐患等,全面提升开发规范和代码质量,大大节省产品测试过程中全链路的投入成本。
图4 静态分析功能架构
研发安全测试模块,涵盖网络层、操作系统层、应用层等不同方面,提供安全服务工具及测试方法,以发现潜在的安全漏洞和风险为目的,并提供相应的解决方案和建议。
研发性能基线模块,可以记录和监控产品应用系统性能指标,提供衡量系统性能随时间变化的标准,发现性能退化、瓶颈或者异常波动,不断优化系统性能,提高软件产品的整体质量和可用性,提前识别潜在的风险,采取针对性的措施防止性能瓶颈和故障发生,降低业务风险。
二、实施效果
浪潮海岳测试平台的应用,使产品交付关键质量指标显著提升,全面提升全价值链的综合竞争力,提高客户满意度和社会认可度。
(一)自动化程度显著提升
助力产品功能及重点流程测试覆盖度100%,测试用例从21万提升至30万,缺陷检出率突破99.5%,节省人工工作量1438人年,大大降低研发成本,提高产品稳定性。
(二)研发过程和产品质量指标逐步提升
主要测量指标 | 绩效结果 | ||
2021年 | 2022年 | 2023年 | |
编码缺陷密度 | 1.0个/人天 | 0.9个/人天 | 0.86个/人天 |
严重问题占比 | 9.2% | 9.1% | 8.6% |
修改引起问题占比 | 11.8% | 11.8% | 11.2% |
Backlog打回2次及以上占比 | 3.05% | 3.0% | 2.85% |
缺陷检出率 | 98.5% | 98.61% | 98.77% |
项目按期交付率 | 90.7% | 92.3% | 92.5% |
24小时问题响应率 | 98.5% | 99% | 100% |
按初次计划修复率 | 93.8% | 95.6% | 100% |
五工作日缺陷修复率 | 85% | 87.2% | 90% |
表5 研发过程和产品质量关键指标
(三)顾客忠诚度和客户满意度持续提升
客户满意度得分由91.87%提高到94.3%,提高了2.6%;顾客忠诚度由91%提高到95.42%,提高了4.9%。
图6 近三年客户满意度和顾客忠诚度
(四)产品竞争力持续跃升,获得业界广泛认可
1.集团管理软件(高端ERP)市场占有率第一,企业aPaaS市场综合竞争力第一;
图7产品市场地位
2.进入中国SaaS厂商领导者阵营,综合竞争力TOP3
四、经验总结
本案例经验总结主要包括:
(一)全面落地测试自动化技术,涵盖UI自动化测试、接口自动化测试、性能自动化测试、安全自动化测试,不仅降低了各类专项测试的技术门槛,也降低了人力成本,并且极大地提升了测试效率。
(二)创新引入前沿测试技术,借助精准测试技术、代码覆盖率分析技术、流量复制技术等将软件测试数字化,以精准的数据评估测试结果和产品质量,使整个测试过程更加高效、准确、可信。
(三)智能化测试场景赋能,通过集成大模型技术使自动化测试向智能化测试转型,智能生成测试用例、测试数据等,进一步提升测试覆盖度和测试效率。
浪潮海岳 inTest 测试平台入选2023年省属企业数字场景典型应用案例以及2024年山东省全省质量标杆典型经验。公司在2023年获评2022山东省高端品牌培育企业,2022年、2023年山东知名品牌、2023年“好品山东”品牌等多项品牌荣誉。
编辑: 质量标准办公室