编译／夏洛特

史丹佛大学和加州大学柏克莱分校的研究人员发现，OpenAI 的 ChatGPT 大语言模型 （LLM）的「性能和行为」在 2023 年 3 月至 6 月期间发生变化，导致「某些任务的性能大幅恶化」。对此，OpenAI则也承认说，其模型更新方法并不完美，当一些性能被提高，一些地方就可能会表现更差。

OpenAI解释说，在决定对现有模型进行更改之前，他们会权衡几个指标，但这些方法不是非常全面。该公司表示：「当发布新版本时，我们的首要任务是让模型变得更智慧。我们会考虑大量的评估指标，以确定是否应该发布新模型。 虽然大多数指标都会被改善，但某些任务的性能仍可能会变得更差。」

研究人员发现 ，OpenAI 的 ChatGPT 回应的准确性在今年 3 月至 6 月期间发生巨大变化。一份根据一系列不同要求检测GPT-3.5 和 GPT-4报告就指出，比起GPT-3.5 ，GPT-4 OpenAI 的LLM 在解决数学问题和按步骤思考的过程方面变得更差，输出的程式码也有更多错误；但与 GPT-3.5相比，GPT-4 则更能抵抗人们对其进行「越狱」，或透过特定提示使机器人「失控」的行为；而在视觉推理方面，两个LLM则都取得微小的进步。

对此，OpenAI 则表示，他们将把对 GPT-3.5 和 GPT-4 的API支持延长至 2024 年 6 月 13 日，让用户能更理解公司发布模型的状况。OpenAI 研究员 Logan Kilpatrick 就在推特上说：「我们将为开发者提供更多的稳定性和可见度，让他们了解我们如何发布和弃用模型。」

该公司还建议使用其模型的外部开发人员，选择一个固定的 GPT 模型，以确保在有新模型可用时保持稳定的输出。OpenAI 表示：「我们将努力确保新版本能够为各种任务都带来改进。」

参考资料：The Messenger、Venture Beat

※更多ChatGPT相关讯息，请参考【生成式AI创新学院】。