返回

数说云测试:AI自动化VS 传统自动化

2020-03-20 10:11用户投稿

自动化测试技术复杂,与操作系统、浏览器、应用开发相关技术耦合性强,导致了自动化测试的应用学习成本高、脚本维护效率低,整体测试效率低于预期,这是很多企业对自动化测试望而却步的原因。

当下,AI技术正在解决“自动化测试成本高,还不如手工测试”的困局。

云测测试正在通过应用机器学习和深度学习算法实现自动化脚本的智能化,节省脚本的录制、维护时间,从智能生成、智能执行,以及测试结果的智能分析等方面,让测试越来越“聪明”,帮助企业达到测试的低投入、高产出。

匹配技术与实际需求场景,为客户解决问题才是关键

云测测试找准测试痛点,将云测试服务与AI相结合,在融合了自然语言处理、文本识别、图标识别等技术后,自动化测试实现了 4 项突破:

1.支持自然语言录入:想实现向下滑动APP,就可以输入“向下滑动”,想实现APP登录,输入“点击登录”即可完成设置,不必写代码。传统的测试脚本需要大量的人工介入,通过手工框选目标控件来实现脚本录制和维护,自然语言脚本大幅降低了脚本录制的难度,也极大提升了产品易用性和脚本维护效率。

2.重视数据积累,打造行业最大数据集:想要支撑自然语言撰写的自动化测试脚本语言的稳定与高效执行,需要高精度、高效率的AI算法提供可靠的识别效果。为了解决识别精度的挑战,云测测试打造了业界最大规模的APP截图的字符识别数据集,并通过算法自动生成上千万条数据用于字符识别模型的构建。

云测测试与英特尔针对如何提升OCR深度学习的效率进行了联合探索,重点从基础设施平台配以工具套件来构建解决方案,用软件加速以及硬件支撑两个角度对OCR方案进行优化。借此,将AI测试中的OCR识别时间从 2 秒降低到0. 3 秒左右,实现性能的大幅提升,且完全不影响测试的效果和结果。

3.以图标来识别和定位控件元素,提升识别效率:图标识别技术是除OCR以外,另外一项支撑AI自动化测试的关键技术。云测测试对简约设计的线条图标的识别进行了集中研究,并且专门设计了图标相似度判别算法,提高了图标识别的准确率和对正负样本的分辨能力,最终的正样本准确率通过率为97.34%,负样本的准确率为97.16%,单个图标识别平均耗时为319ms。

4. 测试脚本支持跨平台,脚本一次编写录制,多处执行:在多个硬件平台上可使用同一个测试脚本,测试相同UI界面上的相同业务逻辑,提高了测试效率和可维护性。以前,需要iOS、Android分别编写和维护两套测试脚本,云测测试通过AI技术实现了跨平台自动化测试。以一个券商的测试脚本实测为例,比现在业界的自动化测试脚本编写和调试时间缩短40%。

云测试 AI自动化

Testin云测总裁徐琨指出,很多的自动化测试工具像孤岛一样,游离在客户的软件管理体系之外。要实现真正的自动化测试,必须建立与客户技术运营环境的联系,将自动化工具与客户技术运营环境相融合。

依据客户的内部系统实际情况,云测测试可提供三种方案,构建与用户管理体系间的桥梁。第一种,通过Jenkins 标准解决方案,云测测试帮助客户建设,客户直接拿来复用即可,减少客户开发成本的同时,增加集成效率。第二种,通过DevOps通用集成方案,云测测试与客户一同探讨,共同建造。第三种,客户通过云测测试的API接口自行搭建,由云测测试提供技术支持。

不同的测试需求,匹配最佳的测试组合

不同类型的客户对自动化测试提出了不同的需求。比如,尚未实施自动化测试的企业,他们虽然还没有引入自动化测试技术,但对测试效率的提升和成本控制有很强的需求。那些应用自动化测试,但还没进入敏捷开发阶段的客户,则主要将自动化用于回归测试,他们对开发过程的控制有很大的需求,期望进一步提升效率、降低成本。而对于采用敏捷开发模式的互联网企业,他们已经开始运用各类自动化测试工具构建CI/CD流程,他们需要的则是更加平台化、集成化的自动化测试服务产品。

对此,徐琨表示,“我们和客户一起分析需求,匹配最佳的测试组合方案。不管客户是互联网公司还是转型中的传统企业,把测试全部交给云测测试,效率至少可以提升50%,成本至少会降低30%。”

金融客户大多希望搭建私有云可视化集成测试平台,在引入前沿互联网测试方案技术的同时,将集团现有测试规程及框架上面进行优化及效率提升。通过采用云测测试的自动化测试服务,某银行客户应对App突发事件的能力大大提升,可迅速调用平台上的设备进行验证,测试流程实现大幅优化,信息质量和传递效率明显提高。同时,自动化测试还大量减少了由于人工引起的设备管理和测试执行错误。该银行利用云测测试的远程真机共享平台,扩展了移动端App的自动化测试能力,为今后的战略目标打下了坚实的基础。

汽车客户的产品迭代比较快,由于测试人力及测试设备不充足,部分版本测试只覆盖了功能修改部分,没有全面回归测试。客户希望引进专业的自动化测试平台,在现有测试规程及能力上面进行补充优化及效率提升,实时监控业务环境的稳定性,先于用户发现问题,解决问题。通过与云测测试合作,利用海量设备大批量的测试执行与产出,提高了产品的兼容及稳定性。专业的测试人员及测试平台使产品需求更新验证及时有效,推动了产品的迭代更新。

写在最后

将频繁的动作由自动化测试来执行,既可以减少人为错误的发生,也可以帮助测试工程师从低效重复的手工测试中解放出来,让他们有更多精力去理解业务,提升自己的测试能力,为企业提供更有价值的测试。此外,使用自动化脚本技术可以只需要做较少的,甚至完全不做修改,就可以实现在不同的测试过程中的复用。

需要注意的是,自动化测试不是万能的,它具有一定的适用场景和局限性。自动化测试适用于相对固定业务场景的人机交互的软件系统,但不适用于视频、直播、游戏类APP等相对不固定的业务流程。

创新的脚步从来不会停止。从人工时代,到工具时代,再到今天的云测试时代,技术创新一次次的为测试行业带来了生产力的突破。徐琨表示,“我们要准确把握人工智能等领先技术的发展态势,将其应用于解决企业的实际测试需求的实践中,通过技术真正降低整个测试行业的成本,提升整个测试行业的生产效率,将技术真正的转化成生产力。”

相关文章 大家在看
云测试
5篇文章
查看