越来越多的银行正在部署生成式人工智能,将其用于汇总信息、辅助专家判断和自动执行知识密集型任务。虽然这项新技术能够显著提高生产力,但也从根本上改变了模型风险的性质。与产生确定性数值输出的传统模型不同,生成式人工智能系统会基于概率输出看似可信的描述、建议和解释 ,即使这些信息并不完整、带有偏见或有违事实。
本文为银行业生成式人工智能模型的验证提供了一套结构化、可落地的实操方法。具体包括:
- 识别形成生成式人工智能模型验证监管原则的合规与伦理驱动因素;
- 阐释为何传统验证技术不适用于生成式人工智能模型的验证;
- 提出了毕马威对生成式人工智能模型验证的框架,该框架以现有模型验证实践为基础进行扩展,充分考虑生成式人工智能自身的特定风险,如幻觉问题、提示敏感性、以及第三方依赖性和不当使用等风险。