米奇·丹尼尔斯擅长计算，擅长削减成本。本世纪初，在时任美国总统乔治?w?布什(George W. Bush)任内，他曾试图控制国会支出，但以失败告终。因此，当丹尼尔斯2005年就任印第安纳州州长时，他准备再次为财政纪律而争论。他想要整顿印第安纳州政府，因为他认为该州政府功能失调。他从福利制度着手。他后来说:“那个部门受到了一系列刑事指控的冲击，骗子和社会工作者串通，偷走了本该给穷人的钱。”

　　丹尼尔斯的解决方案是与IBM签订一份价值13亿美元的10年合同。他对这个始于2006年的项目雄心勃勃，声称它将改善印第安纳州居民的福利服务，同时打击欺诈行为，最终为纳税人节省数十亿美元。

　　但这份合同是一场灾难。它在三年后被取消，IBM和印第安纳州花了十年的时间打了一场法律战，争论谁应该为此负责。丹尼尔斯将IBM对系统的全面重新设计和自动化描述为缺陷——该系统负责决定谁有资格获得从食品券到医疗保险的一切。不过，他坚持认为，将技术项目外包给有专业知识的公司是正确的选择。“它被过度设计了，”他说。“理论上很好，但实践起来太复杂了。”IBM拒绝置评请求。

　　本文是Lighthouse Reports和WIRED联合调查的一部分。阅读该系列的其他故事，请点击这里。

　　2012年7月，马里昂县高等法院(Marion County Superior Court)法官戴维·德瑞雷尔(David Dryer)裁定，印第安纳州未能证明IBM违反了合同。但他也对这个系统本身做出了严厉的裁决，称它是一个未经检验的实验，用电脑和电话取代了社会工作者。“双方都不应该赢得这场官司，”他说。“这个故事代表了政府政策被误导和企业野心过度的‘完美风暴’。”

　　这可能是福利国家自动化蓬勃发展的早期丧钟。相反，这个行业爆发了。如今，此类欺诈系统已成为模糊的“政府科技”行业的重要组成部分。该行业围绕着一些公司向政府出售新技术，并承诺新的IT技术将使公共管理更容易使用、更高效。2021年，该市场在欧洲估计价值1160亿欧元(1200亿美元)，全球价值4400亿美元。不仅是企业希望从这波科技浪潮中获利，政府也相信现代化的it系统可以节省大量资金。早在2014年，咨询公司麦肯锡(McKinsey)就估计，如果政府数字化达到“全部潜力”，每年可以节省1万亿美元。

　　世界各地的承包商都在向政府承诺，欺诈追踪算法可以帮助他们收回公共资金。但追踪这些系统传播的研究人员认为，这些公司往往薪酬过高，监管不足。研究人员说，关键问题是问责制。当私人部门开发复杂的机器学习模型或更简单的算法时，定义谁被指控欺诈或不被指控的计算机代码通常被归类为知识产权。因此，这样的系统做出决定的方式是不透明的，而且不受审问。即使这些算法黑洞因所谓的偏见而卷入高风险的法律斗争，要求答案的人也很难得到答案。

　　在英国，一个名为“大曼彻斯特残疾人联盟”(Greater Manchester Coalition of disability People)的社区组织正试图确定，残疾人被调查欺诈的模式是否与政府自动化项目有关。在法国，数字权利组织La Quadrature du Net四个月来一直在试图查明欺诈系统是否歧视在其他国家出生的人。而在塞尔维亚，律师们想知道为什么新制度的引入导致数百个罗姆人家庭失去了他们的福利。纽约大学(New York University)数字福利国家项目负责人维多利亚?阿德尔曼特(Victoria Adelmant)表示:“模型始终是保密的。”“如果你没有透明度，甚至很难挑战和评估这些系统。”

　　自动化官僚机构的推出迅速而悄悄地进行，但随之而来的是一连串丑闻。在密歇根州，2013年至2015年期间使用的一个计算机系统错误地指控3.4万人诈骗福利。2015年至2019年间，澳大利亚也发生了类似的事情，但规模更大:政府公司的社会保障部门开始使用所谓的机器人债务算法自动发出罚款，随后该公司指控40万人存在福利欺诈或错误。