GlobalSign 博客

探索LLM和生成式AI长期存在的有害偏见

关于生成式人工智能的讨论在日常商业话语中变得越来越普遍,以至于它们的影响现在已成为现实,而不仅仅是猜测。人工智能系统已经变得如此先进和广泛使用,据估计,全球有35%的公司以某种方式使用它们。可以肯定地说,就自动化、 身份验证和网络安全而言,它标志着整个行业的组织发生了巨大影响和变革性的转变。

然而,在深入研究生成式人工智能的可能性和潜力时,至关重要的是要研究底层的大型语言模型(LLM),这些模型被证明对这项技术的持续发展具有如此大的影响。偏见、错误信息和有害的刻板印象只是一些例子,这些例子可能会被不知情的用户永久化——通常是在不知不觉中。 因此,组织必须制定指导方针和政策,以确保这些LLM项目在道德数据集上进行训练,并且负责任地部署人工智能,以便他们不会因任何可能损害其品牌和声誉的危险言论而受到指责。

人工智能造成的偏见和幻觉的影响也超出了有害内容和损害组织声誉的影响。通过训练数据集传输的幻觉和认知偏差也会造成安全漏洞,影响人工智能准确识别威胁的能力

LLM在神经网络中的transformer模型上运行,使得叙事创作、语言翻译和生成“人类式”内容的任务几乎是本能的。LLM还可以分析组织基础设施中的大量非结构化数据,从数字到系统,以收集对公司网络风险敞口的见解。 有人认为,LLM可以证明在增强企业的威胁检测和响应步骤方面发挥着关键作用,但我们绝不能被无限的可能性所迷惑,而应该评估一个非常复杂和真实的现实。 

下面的简短指南概述了LLM延续有害和有毒偏见和幻觉的技术原因、它们在现实世界中的影响以及引导LLM走向更具包容性和积极未来的负责任做法。

探索LLM中的幻觉和偏见 

首先,重要的是要将LLM和AI中的特定考虑因素隔离开来,将它们彼此区分开来,因为这两个术语通常可以互换使用。

  1. AI幻觉:ChatGPT和Bard等AI聊天机器人可以通过在其输出中混合统计数据和多余的想法来生成伪造的内容。问题在于,用户可以引导人工智能分发与他们提供的提示相一致的内容(即使这是有意或无意地编造的),并且由于其训练数据的局限性,该工具无法直观地将事实与虚构区分开来。如果没有监控和监督,幻觉可以操纵固有的有缺陷、歪曲和夸大的数据,呈现虚假的叙述,鉴于人类对LLM的理解相对有限,这些叙述可能会使话语永久化,而这些话语很容易被视为表面上的事实。
  2. AI偏见:LLM可以在固有的有偏见的训练数据上进行训练,这可以通过多种方式表现出来。无论是传播刻板印象、偏见还是恐惧症,如果允许这些内容和数据在无人监督和监督的情况下分发给公众 ,这都会带来重大的道德和社会问题。在医疗保健、新闻、教育和金融等敏感且受到高度监管的行业,组织无法承受有偏见的数据永久化,这只会加剧社会的政治和社会分歧。

了解AI中偏见的出现方式

人工智能偏见以多种方式发生,但下面重点介绍一些最常见的偏见。

  • 有偏见的训练数据:如果用于训练AI模型的数据包含偏见或有限的数据,这些偏见或数据将固有地反映和投射到工具的任何输出中。例如,包含对某些群体的刻板印象或偏见描述的文本数据可能会导致语言模型生成有偏见的文本,几乎没有过滤。
  • 糟糕的数据集管理:许多数据集包含无意中的历史偏见,其中许多缺乏足够的多样性、包容性和平等性。在没有仔细管理和平衡的情况下使用这些数据集可能会传播可能有害的偏见。
  • 缺乏社会背景:人工智能系统缺乏人类的社会背景、经验和常识来识别有害的叙述或话语。语言模型可能仅基于提示中的模式匹配而产生看似合理但不道德的输出,而没有内在地理解文本的更广泛和社会政治含义。
  • 缺乏透明度:复杂AI模型的黑匣子性质使得审计系统是否存在偏差变得困难。如果对输出的生成方式不透明,偏见可能会在未被发现的情况下溜走。这强调了对已经集成到业务运营中的人工智能系统进行更严格、有条理和定期的监督、审查和调整的必要性。

鉴于到2030年,全球人工智能市场预计将增长20倍,估值将达到约2万亿美元,因此组织以合乎道德和有条不紊的方式利用该技术是再合适不过的了。

实施合乎道德的AI原则

从表面上看,制定高质量的数据集(类似于DatologyAI正在做的事情)可以成为遏制有害AI文本无限生成的最大和最有效的解决方案。然而,考虑到时间和资源密集型数据验证和清理的程度,这并不总是可行的。虽然这应该始终是一个长期目标,但组织应该同时采取关键步骤,在其运营中开发一个更负责任、更具包容性和通用性的人工智能模型,无论哪个部门。

  • 确立道德原则:在包容性、透明度、公平性、问责制和尊重人类自主性原则的指导下,制定明确的人工智能指导方针和政策。
  • 建立对伤害的认识:对AI技能提升的团队进行各种类型的算法危害和缓解方法的培训,以便他们在自主使用工具时能够识别问题。人类用户有责任在任何业务环境中管理和指导人工智能的部署和持续使用。
  • 实践透明度:就数据源、模型决策流程和绩效差异进行公开沟通,以在所有部门和外部用户之间建立信任。强调需要突出一些用户可能遗漏或未能发现的偏见,并在内部解决问题。
  • 实现人工监督:在实际部署之前,让所有团队都参与评估模型输出的循环,以检测偏差。在受模型影响的用户之间建立反馈循环,以快速识别问题,并利用它来培养开放和以人为本的文化。
  • 对不公平绩效的审计:持续测试AI模型,以发现不同用户人口统计数据中出现不公平性能差异的迹象。定期验证任何AI生成的输出,并通过彻底审查,评估用户对内容的监督和指导热情程度。

指导负责任的生成式人工智能使用

生成式人工智能和LLM是一个强大的新兴人工智能类别,具有巨大的滥用潜力,在部署过程中需要高度的管理和监督。匆忙和被动地将这些模型部署到任何现有的业务基础设施和组织中,而没有对工具的有效性进行尽职调查,只会让有害的偏见横向传播。

然而,通过对任何人工智能系统升级的道德和有条不紊的以人为本的策略,组织可以减轻更多可能来自消费者、供应商、供应商和利益相关者的潜在损害和审查。人工智能的持续进步和演变给企业带来了大量复杂的风险,但从一开始就建立道德原则、政策和保障措施将使他们能够防止更明显的损害被广泛延续。

近期博客