CRA砸$1800万搞聊天机器人，66%答案都答错！

加拿大税务局（CRA）斥资 1800 万加元开发并运营的一款税务信息聊天机器人，被联邦审计长指出66%的回答并不准确。

这款名为 “Charlie” 的聊天机器人，最初于 2020 年 2 月由时任国家税务部长黛安·勒布希耶（Diane Lebouthillier）高调推出。她当时表示，该工具将帮助纳税人更好地理解和应对加拿大复杂的税务体系。

CRA 当时也提醒公众，Charlie 只能回答一般性报税问题，而且“仍在学习如何理解 CRA”。

审计长：六个问题只答对两个

五年过去后，联邦审计长凯伦·霍根（Karen Hogan）在一份针对 CRA 呼叫中心和数字服务的严厉报告中指出，这款目前仍出现在 13 个 CRA 官网页面上的聊天机器人，表现依然不理想。

“Charlie 的回答往往非常简短，缺乏背景解释，也几乎没有补充信息。”霍根在今年 10 月发布的报告中写道。

审计团队向 Charlie 提出了 6 个问题，结果发现仅有 2 个回答是准确的。

而其他公开可用的网页对话式 AI 工具，6个问题中答对了5个。

这一结果令自由党议员 安东尼·豪斯法瑟（Anthony Housefather）当场震惊。他质问审计长：“为什么政府为 CRA 专门开发的工具，反而比任何普通公众都能随手使用的工具还要差？”

成本高昂：纳税人已为 Charlie 买单$1800万

尽管 Charlie 自推出之初评价平平，但其开发和维护成本却并不低廉。

本周提交给国会的新文件显示，自 2018-2019 财政年度以来，纳税人已为 Charlie 的开发和运营支付了 超过 1800 万加元，其中大部分支出集中在 2021-2022 年正式大规模上线之后。

CRA 表示：1367 万加元用于支付项目相关员工薪资（不包括福利和差旅成本）,321 万加元用于聘请 IT 顾问.

保守党国家税务事务评论员杰拉尔德·德尔泰尔（Gérard Deltell）直言：“这显然是一大笔纳税人的钱。只有 33% 的准确率，完全不能接受。”

七百万次对话，错误仍频发

CRA 数据显示，自 Charlie 上线以来,已与用户进行 700 多万次对话,回答了 1800 多万个问题.

但官方文件也承认，该聊天机器人长期无法提供稳定、准确的信息。

CRA 表示，在某一阶段，Charlie 的“准确率门槛”为 70%，也就是说，在内部测试中，仍有约 30% 的回答是错误的。

今年 11 月，CRA 将 Charlie 升级为生成式 AI 聊天机器人（更接近 ChatGPT），以应对更多、更复杂的问题。

CRA 称，升级前的测试显示，新版本的准确率“约为 90%”。但同时也承认：“如果不对所有交互记录进行全面审查，无法精确判断生成式 AI 聊天机器人到底答对了多少问题。”

用户问题五花八门，甚至被当“闲聊对象”

CRA 向议员提交的数据还显示，用户向 Charlie 提出的问题类型极其广泛。

仅在今年报税季（2 月至 4 月）：Charlie 收到 数十万条个人所得税相关问题,另有 43 万多条关于 CRA “电子服务”的咨询.

此外，还有大量问题涉及：

• 商业所得税

• 福利与税务抵免

• 个人信息更新

• 税务余额与付款

• 如何联系 CRA

值得一提的是，2024 年 Charlie 收到近 18 万次被归类为“闲聊（chit chat）”的互动。

官方称服务“有所改善”，但拒答成本质疑

本周四，CRA 公布了财政部长 尚庞（François-Philippe Champagne）要求的“100 天服务改进计划”成果。

CRA 表示，通过重新雇佣或延长 1200 多名呼叫中心员工的合同，并改善包括 Charlie 在内的部分数字服务，机构的响应能力在秋季“翻了一倍”。

CRA 新闻稿称：“生成式 AI 聊天机器人测试版现在可以回答更广泛的问题，包括涉及税务抵免和合规信息等更复杂的商业问题。”

不过，CRA 发言人未在截稿前回应有关成本的提问。外界也指出，在生成式 AI 技术日益普及、成本持续下降的背景下，1800 万加元的投入显得格外刺眼。

《国家邮报》记者甚至直接询问 Charlie：为什么这个聊天机器人要花费 1800 万加元来开发和维护？

Charlie 的回答是：“当前提供的背景信息中，并未包含有关 CRA 生成式 AI 聊天机器人测试版或其他系统 1800 万加元成本的具体信息。建议联系 CRA 以获取更多说明。”