近日，OpenAI开发的Whisper语音转写工具因其在生成文本时出现严重的“幻觉”现象而引发广泛关注。根据AP近日的报道称，Whisper在转写过程中不仅会凭空生成虚假的信息，甚至包括涉及种族歧视、暴力行为，或伪造的医疗建议，这一问题令行业内专家和学者深感不安。
Whisper作为一款先进的语音转写工具，其利用深度学习、自然语言处理等技术，为用户提供快速、准确的转录服务。然而，近期的报告表明，这款工具的运行并非毫无瑕疵。在超过十位软件工程师及学术研究人员的调查中，Whisper在较高的比例上生成了与实际音频内容不符的虚假信息。
例如，密歇根大学的一位研究人员在分析公共会议的录音时发现，在检查的十份转录中，有八份包含虚构内容。另一位机器学习工程师在对超过100小时的Whisper转录进行审查时发现，几乎一半的内容存在“幻觉”问题。更令人震惊的是，有开发者在其使用Whisper生成的26000份转录中，几乎每一份都带有不实信息。
Whisper的广泛应用涵盖了多个行业，包括翻译、访谈内容转录、字幕生成等，尤其是在医疗领域，一些医疗机构尚在使用基于Whisper的记录工具以保存医生与患者的咨询记录，然而，这无疑是一个潜在的巨大风险。OpenAI虽然已明确警示不应在高风险领域使用其产品，但当前行业中的用例似乎并未完全遵循这一建议。
这一问题的严重性在于，AI幻觉不仅影响了信息的准确传达，还可能导致误导性结果的传播。计算机科学家的最新研究显示，他们审查的13000多段清晰音频片段中，有187段出现了幻觉现象，这意味着在数百万条录音中可能出现数以万计的错误转录。
从技术角度来看，Whisper基于大型语言模型，结合了深度学习与生成对抗网络(GAN)等先进算法，理论上应该能保证高质量的转录结果。但在实际操作中，模型的泛化能力及如何处理不确定信息可能是导致幻觉问题的核心原因。研究者指出，这要求开发团队开展深入的算法优化与训练，以尽量减少误传的可能性。
OpenAI的发言人表示，该团队正在积极研究以降低幻觉现象的影响，并承诺将在未来的模型更新中吸纳用户反馈，改善Whisper的性能和可靠性。然而，面对如此重大的技术缺陷，行业及用户对于什么是“合理的使用范围”的疑问仍需得到解答。
在AI技术迅猛发展的今天，类似Whisper这种工具的推出必然带来便利，然而背后隐藏的风险也不容忽视。用户在使用任何AI工具，特别是涉及高风险领域时，必须保持警惕，审慎选择。此外，行业内的标准与监管也亟待提升，以保障信息传递的准确性与安全性。
在自媒体创业的推动下，越来越多的个体与小团队开始借助AI工具提升内容创作的效率。简单AI作为一款用户友好的生成式AI产品，提供了强大的写作与视觉创作功能，能够帮助用户在保持创作质量的同时，显著缩短创作时间，适应日益竞争的市场环境。
总而言之，Whisper的“幻觉”现象凸显了AI技术在实际应用中的挑战，用户在享受AI带来的便捷时，更应对其可能产生的后果保持警觉，并不断探索以更加合理的方法利用AI服务。提升AI工具的可靠性和安全性，是行业发展所必须面对的课题，唯有如此，才能让智能科技更好地服务于社会。返回搜狐，查看更多
责任编辑：