纽约市的“MyCity”人工智能聊天机器人开局不顺。市政府五个月前推出了这项技术，试图帮助有兴趣在纽约创业的居民找到有用的信息。
虽然机器人会很高兴地回答你的问题，表面上看起来是合法的答案，但the Markup的一项调查发现，机器人会撒谎——很多。例如，当被问及雇主是否可以从员工的小费中抽成时，机器人会说可以，尽管法律规定老板不能收员工的小费。当被问及建筑物是否需要使用第8条代金券时，机器人的回答是否定的，尽管房东不能根据潜在租户的收入来源进行歧视。当被问及你是否可以让你的商店无现金化时，机器人说可以，而实际上，自2020年初以来，纽约市已经禁止无现金场所——当它说，“纽约市没有规定要求企业接受现金作为一种支付方式，”它全是废话。
值得称赞的是，该网站确实警告用户不要仅仅依靠聊天机器人的回答来代替专业建议，并通过提供的链接来验证任何陈述。问题是，有些答案根本不包含链接，这使得检查机器人所说的是否准确变得更加困难。这就引出了一个问题:这项技术是为谁服务的?
AI有产生幻觉的倾向
对于关注人工智能最新发展的人来说，这个故事不会让他们感到震惊。事实证明，聊天机器人有时只是在胡编乱造。这被称为“幻觉”:人工智能模型经过训练，可以响应用户的查询，它们会根据训练数据自信地想出一个答案。由于这些网络非常复杂，很难确切地知道机器人何时或为什么会选择编造一段虚构的故事来回答你的问题，但这种情况经常发生。
纽约市的聊天机器人产生幻觉，以为你可以不给员工小费，这并不是纽约市的错:他们的机器人运行在微软的Azure人工智能平台上，这是一个通用的人工智能平台，AT&T、Reddit和大众汽车等企业都在使用该平台提供各种服务。纽约市很可能花钱使用微软的人工智能技术，为他们的聊天机器人提供动力，真诚地帮助有兴趣创业的纽约人，结果却发现，这个机器人在回答重要问题时产生了非常错误的幻觉。
幻觉什么时候会停止?
这些不幸的情况可能很快就会过去:微软有一个新的安全系统，可以捕捉并保护客户免受人工智能的阴暗面的影响。除了帮助阻止黑客利用你的人工智能作为恶意工具和评估人工智能平台内部潜在的安全漏洞的工具外，微软还推出了接地检测，它可以监控潜在的幻觉，并在必要时进行干预。(“不接地气”是幻觉的另一种说法。)
当微软的系统检测到一种可能的幻觉时，它可以让客户将当前版本的人工智能与部署之前存在的版本进行测试;指出幻觉陈述，然后要么对其进行事实核查，要么进行“知识库编辑”，这可能允许你编辑基础训练集来消除问题;在将幻觉语句发送给用户之前重写它;或者在使用合成训练数据生成新的合成数据之前对其质量进行评估。
微软的新系统运行在一个名为自然语言推理(NLI)的独立法学硕士上，该法学硕士根据源数据不断评估人工智能的主张。当然，既然对法学硕士进行事实核查的系统本身就是法学硕士，那么NLI就不能对自己的分析产生幻觉吗?(可能!我开玩笑，我开玩笑。有点)。
这可能意味着，像纽约市这样使用Azure人工智能为其产品提供动力的组织，可能会有一个实时的幻觉破坏法学硕士。也许当MyCity聊天机器人试图说你可以在纽约经营无现金业务时，NLI会迅速纠正这一说法，所以你作为最终用户看到的将是真实、准确的答案。
微软刚刚推出了这款新软件，所以目前还不清楚它会有多好。但现在，如果你是纽约人，或者任何使用政府运营的聊天机器人来寻找合法问题答案的人，你应该对这些答案持保留态度。我不认为“MyCity聊天机器人说我可以!”会在法庭上站得住脚。
