GPT-4：在增强现实AR领域的应用更为“傲慢” - UIUC 李博
李博教授及其团队与斯坦福大学共同发表了关于GPT模型可靠性的研究，揭示了一些大模型潜在的可信度威胁。研究发现，尽管GPT-4在标准基准测试中表现出色，但它在对抗性环境（如对抗性系统或用户提示）下的性能却有所下降。这可能是因为GPT-4更加准确地遵循误导指令，从而产生有害和偏见的内容，并泄露私人信息。
为了评估不同类型的大模型可靠性，学者们开发了多种基准测试，如GLUE、SuperGLUE、CodeXGLUE、BIG-Bench和NaturalInstructions。这些工具旨在从多个角度评测大语言模型的准确性和稳健性，比如AdvGLUE和TextFlint用于鲁棒性测试。
然而，这些工具并不能完全作为全面可靠的诊断基准，因为它们可能受样本多样性、质量以及特定于每个模型的问题限制。此外，由于不同的攻击策略不断出现，这些工具可能无法提供充分的评估。
为了解决这些问题，李博团队提出了新的数据集AdvGLUE++，专门针对自回归语言模型进行高质量对抗样本生成，并通过人工评估保证数据集质量。此外，他们还从八个角度来评价大语言模型：有害内容、刻板偏见、对抗鲁棒性、分布外鲁棒性等，以确保全面理解其性能。
总之，大型语言模型如GPT-4虽然具有强大的性能，但其安全使用仍然是一个复杂的问题需要持续探索。未来的工作应关注如何提高这些系统的鲁棒性，以及如何有效地利用它们，同时保护用户隐私并防止滥用。
