AI /自动化

AI系统的测试要求

在过去,人工智能(AI)研究主要被局限于大型技术公司,并被认为是一种可以模仿人类智力的技术概念。然而,随着数据收集,加工和计算能力的快速进步,AI已成为每项业务的新电力。AI市场在过去几年中跨越了跨越广泛行业的应用。在未来几年中,预计AI的广泛吸收,有助于解锁其真正的潜力,并提高各个领域的效率。

目前,AI系统的性质上是更概率的,并使用复杂的输入模型工作,可以检测可疑或危险的行为。这与使用基于规则的方法的传统IT系统的确定性性质呈现出鲜明对比,并且通常跟随“如果x,则y”模型。因此,AI系统的测试涉及从输出一致性到输入验证的根本偏移,以验证其鲁棒性。

随着AI系统采集动力,越来越需要确保其质量。例如,今天的汽车越来越多地使用具有大约1.5亿行代码的多个智能系统,这远远超过现代战斗机喷气机中使用的。因此,它已经令人遗憾地测试AI系统以确保其鲁棒性。然而,测试AI系统造成某些关键挑战这是可以通过正确的方法克服的。

测试AI系统并非没有挑战

  • 除了创建嘈杂的数据集外,大规模的收集传感器数据呈现存储和分析挑战
  • 人工智能系统依赖于在意外事件中收集的数据,而这些数据非常难以整理,因此给训练带来了挑战
  • AI模型测试场景应配备识别和删除人类偏差,这些偏差通常成为培训和测试数据集的一部分
  • 在AI系统中,缺陷会被放大,这使得修复一个孤立的问题变得极其困难

AI系统测试的关键方面

数据验证

AI系统的有效性在很大程度上取决于培训数据的质量,包括偏见和品种等方面。例如,智能手机助手和汽车导航系统发现很难理解不同的口音。通过培训“Norman”的MIT Media Lab的研究人员,通过将其从Web的黑暗角暴露于数据,通过培训“Norman”的研究人员的实验中的影响。如果常规算法认为一群人站在窗户周围的那里,诺曼看到他们可能跳出窗外。该实验表明,培训数据对于AI系统来说至关重要,以提供所需的输出。

核心算法

AI系统的核心是基于算法构建的,该算法处理数据并生成见解。模型验证,可读性,算法效率和同理化是这种方法的关键特征。

可学习性是指系统随时间学习并改变其行为的能力。一些具有易学性的网站的例子包括Netflix和Amazon,它们了解用户的喜好,并提出适当的建议。另一个例子是像Siri或Cortana这样的语音识别系统,它能识别语言网站的语义。然而,随着Cortana现在用国家家庭暴力热线的电话号码回应“我被虐待了”,对聊天机器人进行理解如讽刺和语气的测试是很重要的。

最近2018年3月的优步坠机,自行车汽车杀死行人是软件失败的结果。汽车的传感器确实检测到受害者,但遗憾的是没有将她识别为施加制动器的触发器。区分真实和虚幻对象是开发自动驾驶汽车软件的主要挑战以及核心算法的模型验证的经典典范。

非功能性:性能和安全测试

性能和安全测试是AI系统的组成。这还包括法规遵从性等方面。最近,汇丰的语音识别系统被客户的非相同双人突破,他们能够访问余额和最近的交易,甚至可以在账户之间转移金钱。不正当的测试可能导致聊天被操纵泄露业务敏感信息。

系统集成测试

人工智能系统的设计是为了在其他系统的更大背景下运行,并解决特定问题。这需要对人工智能系统进行全面评估。因此,当具有冲突目标的多个AI系统被部署在一起时,集成测试是最重要的。

在美国的阿肯萨斯州,根据一项医疗补助豁免计划,由评估人驱动的面谈将被用来决定适用于受益人的看护服务的时间和频率。当医疗保健行业转向自动化以提高业务效率时,分配给受益人的服务时间在许多情况下大幅减少。没有向受益人发出通知,通知他们这一变化导致申诉增加。受益者的呼吁没有得到任何回应,因为所设立的自动化系统太复杂,无法用一般用语来表示。

根据领先的分析师公司,预计2018年均达到AI的全球商业价值,从2017年达到1.2万亿美元,从2017年增加了70%。该市场预计将增加到2022年的3.9万亿美元。随着越来越多的系统吸收AI特征。,重要的是他们经过彻底测试。Infosys正在进行这个空间中创建多个资产和解决方案的旅程,也在加强其人民技能。