纽约客:人工智能欠下的智力债务,谁来偿还?

  • 日期:08-29
  • 点击:(1293)


生成大数据摘要

纽约人莫达非尼是一种常用的唤醒增强剂,用于治疗睡眠障碍,发作性睡病等。如果你仔细阅读说明书,你会发现内容非常辛苦和无聊,也就是说,像许多药物一样,市场上常见的Provigil是用小纸盒包装的。

纸箱中的大部分内容用于说明,包括使用说明和注意事项,以及药物分子结构的示意图。然而,在“行动机制”部分,有一个可怕的词 - “药物行动机制”的一小部分,特别是具体的描述可能使人们默默地想要入睡 - “相关的莫达非尼保持人民的机制醒着还不清楚!“

莫达非尼没有一些神秘的药物。尽管许多药物已经得到监管机构的批准并被广泛使用,但实际上没有人知道它们是如何起作用的。

这个谜团源于通过反复试验的药物开发过程。每年对人工培养的细胞或动物进行新药测试,并在人体中测试最好和最安全的药物。在某些情况下,该药物的成功将有助于新的研究来解释该药物的作用机制。例如,阿司匹林于1897年问世,但直到1995年才有人真正解释它是如何起作用的。

在医学领域,这种现象比比皆是。深部脑刺激需要将电极插入患有特定活动性障碍(例如帕金森病)的患者的大脑中。这种方法已经被广泛使用了20多年,有些人认为应该扩大使用它,如提高一般认知能力。但是,没有人能够解释其行动机制。

这种找到答案然后解释它的方法称为“智力债务”。

在某些情况下,我们会立即偿还这笔知识产权债务。但是,在其他情况下,我们可能很难证明几十年来使用的方法论。

新的人工智能技术改善了我们的“智力债务”

在过去,知识债务仅限于需要反复试验的领域,例如医学。但现在这种情况发生了变化。

随着新的人工智能技术的出现,特别是机器学习,我们的“智力信用额度”得到了改善。机器学习系统识别数据海洋中的模式,并使用这些模式来解决一些模糊的开放问题。例如,为了提供关于猫和其他非猫科动物的标记图像数据集,机器学习系统已经学会了如何识别猫。类似地,通过让系统访问医疗记录,它可以尝试预测新患者被诱入死亡的可能性。

但是,大多数机器学习系统都没有找到因果机制。基于统计相关引擎的机器学习系统无法解释为什么他们认为某些患者更容易死亡,因为他们不考虑数据的含义,而只是提供结果。当我们将这些系统整合到我们的日常生活中时,我们将分享越来越多的智力债务。

制药业的发展表明,在某些情况下,智力债务是不可或缺的。我们不理解的干预措施挽救了数百万人的生命。很少有人拒绝服用阿司匹林等拯救生命的药物,因为他们不知道自己的作用机制。

然而,知识产权债务的增加也可能导致不良后果。随着具有未知作用机制的药物的增加,检测不良反应所需的测试数量呈指数增长。

如果您了解药物的作用机制,您可以预测其不良反应。在实践中,药物之间的相互作用通常在新药上市后发现,形成一个循环。在这个循环中,药物首先上市,然后放弃,同时采取集体行动。

通常,与新药相关的知识产权债务是合理的。但智力债务不是孤立存在的。理论上不基于不同领域的发现和部署的答案可能以不可预测的方式相互复杂化。

通过机器学习产生的智力债务风险已经超过了过去的试错法修正的风险。因为大多数机器学习模型没有提供做出判断的理由,如果他们没有对所提供的答案做出独立判断,那么他们就不知道什么时候会犯错误。训练有素的系统很少会出错,但如果有人知道提供给系统的数据并故意犯错误,那么情况就非常糟糕。

以图像识别为例。十年前,计算机无法轻易识别图像中的物体。今天,图像搜索引擎,就像我们今天与之交互的许多系统一样,都是基于极其强大的机器学习模型。

谷歌的图像搜索依赖于名为Inception的神经网络。 2017年,麻省理工学院的本科生和研究生研究小组LabSix改变了猫形象的像素(虽然它仍然是猫眼中的猫的形象),给出了99.99%的感觉。鳄梨酱。

系统中存在未知漏洞,为攻击者提供了巨大的机会

Inception系统显然无法解释哪些特征可以确定猫是否真的是猫,因此很难预测系统在向系统提供特制或损坏的数据时是否会出错。这些系统准确性中未知的漏洞无疑给了攻击者一个机会。

这些差距伴随着机器学习系统产生的知识的使用。一些医学AI已经过训练,可以判断皮肤肿瘤是良性还是恶性。

然而,哈佛医学院和麻省理工学院的研究人员可以利用这些漏洞通过改变系统的像素来做出错误判断来实施保险欺诈。

在人工智能系统预测能力的诱惑下,我们可能会放弃自己的判断。但系统有可能被劫持,我们没有简单的方法来验证其答案的正确性。

在这种情况下,我们能否为知识债务创建资产负债表以跟踪理论知识的使用?

如果AI生成新的披萨配方,那么即使您喜欢它也不需要说什么。但是,当我们想要将AI用于医疗保健的预测建议时,我们希望获得足够的信息。

如何建立智力债务资产负债表

为整个社会建立和维护智力债务资产负债表可能要求我们改进商业秘密和其他知识产权的处理。在城市,建筑法规要求业主公开披露他们的装修计划。同样,我们也可以要求图书馆或大学接受托管和公开常用的隐藏数据集和相关算法。这使研究人员能够探索我们将依赖的这些AI的模型和基础数据,并在我们的知识债务漏洞和漏洞“到期”之前建立相关理论。

机器学习模型变得越来越普遍,几乎每个人都可以创建一个。虽然这会使会计变得非常困难。但计算我们的智力债务至关重要。

仅机器学习系统将继续产生有用的结果,但这些系统不是孤立存在的。这些AI收集和提取来自整个世界的数据,以及他们自己的数据,其中很大一部分被其他机器学习系统使用。就像具有未知机制的药物有时会相互作用一样,带有智力债务的算法也是如此。

不要低估这些债务堆栈的影响,因为即使是简单的交互也会导致问题。

2011年,一位名叫Michael Eisen的学生通过他的一名学生发现,最便宜的“飞翔的制作”:动物设计的遗传,是亚马逊上出售的所有旧书中最便宜的,价格为170万美元。另加$ 3.99运费。第二个更便宜的副本价格为210万美元。

赞美,当艾森访问该书的亚马逊页面好几天后,他发现价格会定期继续上涨。 A卖家的价格总是B卖家价格的99.83%,而B卖家的价格总是卖家价格的127.05%。艾森推测卖家确实有副本,所以它总是比第二便宜卖家的价格低一点;而B卖家没有副本,所以价格会设置得更高。如果有人在B卖家处订购该书,则B卖家可以从A卖家购买该商品然后将其出售。

每个卖方策略的设定都非常合理。但正是他们的算法的相互作用产生了不合理的结果。成千上万的机器学习模型在没有监督的情况下进行交互的结果甚至更难以预测。已经部署了复杂的机器学习系统的金融市场是这些问题的温床。

去年秋天,J。P. Morgan分析师Marko Kolanovic认为金融市场的崩溃很容易再次发生,因为目前的交易主要基于自动化系统。知识产权债务在这些系统的相互作用下积累,尽管有时它们并不是正式相关的。如果没有资产负债表这样的东西,我们无法预测或追溯这些知识产权债务是否值得。

智力债务的增加也可能改变我们对基础科学和应用技术的思考方式。与政府支持并由学术研究机构运营的大型资本项目(如粒子加速器)不同,机器学习工具很容易被私人公司或学术界使用。

事实上,与计算机科学或统计相关的部门相比,谷歌和Facebook更有可能获得产生有用预测的数据集。商人喜欢这些无法解释但有用的知识,但知识债务也增加了。它由公司持有,使致力于减少知识产权债务的学术研究人员难以联系。

人们很容易认为,由于机器学习知识的可用性,真正试图理解机器学习背后的理论基础的研究人员很难获得经济支持。去年12月,蛋白质折叠研究员Mohammed AlQuraishi撰写了关于他所在领域最新进展的文章:比研究人员更准确地预测蛋白质折叠机器学习模型的建立。与此同时,AlQuraishi感到遗憾的是,研究结果已失去理论支持。

“与本文相比,提出新理论假设的概念论文或论文的声望要低得多,”他在接受采访时说。在加速发现的机器学习时代,那些理论家看起来如此微不足道,甚至是多余的。与创建机器学习模型的专业知识相比,对特定领域知识的重视程度自然降低。

金融债务将控制权从借款人转移到贷款人,并从未来转移到过去。增加智力债务也可能转移控制权。充满难以理解的知识的世界变成了一个没有明显因果关系的世界,我们只能依靠我们的数据管家来告诉我们该做什么以及何时做。例如,大学招生委员会可能会将费力且不确定的筛选移交给机器学习模型。这种方法可以优化新一代,不仅可以促进学业成功,还可以促进和谐的人际关系和校友的慷慨捐赠。此外,我们理解世界的唯一方式可能是使用我们的AI系统通过神经网络微调我们的社交媒体数据,以便我们可以完全“融入”社会。

也许所有这些技术都是可行的,但反过来,它们也会带来相应的问题。目前对人工智能的大多数批评都集中在它可能出错的方式上:它产生或复制偏见;它出错了;它可以在不适当的地方使用.

但是,我们也应该担心当人工智能看起来非常正确时我们将面临哪些问题。

相关报道:

生成大数据摘要

纽约人莫达非尼是一种常用的唤醒增强剂,用于治疗睡眠障碍,发作性睡病等。如果你仔细阅读说明书,你会发现内容非常辛苦和无聊,也就是说,像许多药物一样,市场上常见的Provigil是用小纸盒包装的。

纸箱中的大部分内容用于说明,包括使用说明和注意事项,以及药物分子结构的示意图。然而,在“行动机制”部分,有一个可怕的词 - “药物行动机制”的一小部分,特别是具体的描述可能使人们默默地想要入睡 - “相关的莫达非尼保持人民的机制醒着还不清楚!“

莫达非尼没有一些神秘的药物。尽管许多药物已经得到监管机构的批准并被广泛使用,但实际上没有人知道它们是如何起作用的。

这个谜团源于通过反复试验的药物开发过程。每年对人工培养的细胞或动物进行新药测试,并在人体中测试最好和最安全的药物。在某些情况下,该药物的成功将有助于新的研究来解释该药物的作用机制。例如,阿司匹林于1897年问世,但直到1995年才有人真正解释它是如何起作用的。

在医学领域,这种现象比比皆是。深部脑刺激需要将电极插入患有特定活动性障碍(例如帕金森病)的患者的大脑中。这种方法已经被广泛使用了20多年,有些人认为应该扩大使用它,如提高一般认知能力。但是,没有人能够解释其行动机制。

这种找到答案然后解释它的方法称为“智力债务”。

在某些情况下,我们会立即偿还这笔知识产权债务。但是,在其他情况下,我们可能很难证明几十年来使用的方法论。

新的人工智能技术改善了我们的“智力债务”

在过去,知识债务仅限于需要反复试验的领域,例如医学。但现在这种情况发生了变化。

随着新的人工智能技术的出现,特别是机器学习,我们的“智力信用额度”得到了改善。机器学习系统识别数据海洋中的模式,并使用这些模式来解决一些模糊的开放问题。例如,为了提供关于猫和其他非猫科动物的标记图像数据集,机器学习系统已经学会了如何识别猫。类似地,通过让系统访问医疗记录,它可以尝试预测新患者被诱入死亡的可能性。

但是,大多数机器学习系统都没有找到因果机制。基于统计相关引擎的机器学习系统无法解释为什么他们认为某些患者更容易死亡,因为他们不考虑数据的含义,而只是提供结果。当我们将这些系统整合到我们的日常生活中时,我们将分享越来越多的智力债务。

制药业的发展表明,在某些情况下,智力债务是不可或缺的。我们不理解的干预措施挽救了数百万人的生命。很少有人拒绝服用阿司匹林等拯救生命的药物,因为他们不知道自己的作用机制。

然而,知识产权债务的增加也可能导致不良后果。随着具有未知作用机制的药物的增加,检测不良反应所需的测试数量呈指数增长。

如果您了解药物的作用机制,您可以预测其不良反应。在实践中,药物之间的相互作用通常在新药上市后发现,形成一个循环。在这个循环中,药物首先上市,然后放弃,同时采取集体行动。

通常,与新药相关的知识产权债务是合理的。但智力债务不是孤立存在的。理论上不基于不同领域的发现和部署的答案可能以不可预测的方式相互复杂化。

通过机器学习产生的智力债务风险已经超过了过去的试错法修正的风险。因为大多数机器学习模型没有提供做出判断的理由,如果他们没有对所提供的答案做出独立判断,那么他们就不知道什么时候会犯错误。训练有素的系统很少会出错,但如果有人知道提供给系统的数据并故意犯错误,那么情况就非常糟糕。

以图像识别为例。十年前,计算机无法轻易识别图像中的物体。今天,图像搜索引擎,就像我们今天与之交互的许多系统一样,都是基于极其强大的机器学习模型。

谷歌的图像搜索依赖于名为Inception的神经网络。 2017年,麻省理工学院的本科生和研究生研究小组LabSix改变了猫形象的像素(虽然它仍然是猫眼中的猫的形象),给出了99.99%的感觉。鳄梨酱。

系统中存在未知漏洞,为攻击者提供了巨大的机会

Inception系统显然无法解释哪些特征可以确定猫是否真的是猫,因此很难预测系统在向系统提供特制或损坏的数据时是否会出错。这些系统准确性中未知的漏洞无疑给了攻击者一个机会。

这些差距伴随着机器学习系统产生的知识的使用。一些医学AI已经过训练,可以判断皮肤肿瘤是良性还是恶性。

然而,哈佛医学院和麻省理工学院的研究人员可以利用这些漏洞通过改变系统的像素来做出错误判断来实施保险欺诈。

在人工智能系统预测能力的诱惑下,我们可能会放弃自己的判断。但系统有可能被劫持,我们没有简单的方法来验证其答案的正确性。

在这种情况下,我们能否为知识债务创建资产负债表以跟踪理论知识的使用?

如果AI生成新的披萨配方,那么即使您喜欢它也不需要说什么。但是,当我们想要将AI用于医疗保健的预测建议时,我们希望获得足够的信息。

如何建立智力债务资产负债表

为整个社会建立和维护智力债务资产负债表可能要求我们改进商业秘密和其他知识产权的处理。在城市,建筑法规要求业主公开披露他们的装修计划。同样,我们也可以要求图书馆或大学接受托管和公开常用的隐藏数据集和相关算法。这使研究人员能够探索我们将依赖的这些AI的模型和基础数据,并在我们的知识债务漏洞和漏洞“到期”之前建立相关理论。

机器学习模型变得越来越普遍,几乎每个人都可以创建一个。虽然这会使会计变得非常困难。但计算我们的智力债务至关重要。

仅机器学习系统将继续产生有用的结果,但这些系统不是孤立存在的。这些AI收集和提取来自整个世界的数据,以及他们自己的数据,其中很大一部分被其他机器学习系统使用。就像具有未知机制的药物有时会相互作用一样,带有智力债务的算法也是如此。

不要低估这些债务堆栈的影响,因为即使是简单的交互也会导致问题。

2011年,一位名叫Michael Eisen的学生通过他的一名学生发现,最便宜的“飞翔的制作”:动物设计的遗传,是亚马逊上出售的所有旧书中最便宜的,价格为170万美元。另加$ 3.99运费。第二个更便宜的副本价格为210万美元。

赞美,当艾森访问该书的亚马逊页面好几天后,他发现价格会定期继续上涨。 A卖家的价格总是B卖家价格的99.83%,而B卖家的价格总是卖家价格的127.05%。艾森推测卖家确实有副本,所以它总是比第二便宜卖家的价格低一点;而B卖家没有副本,所以价格会设置得更高。如果有人在B卖家处订购该书,则B卖家可以从A卖家购买该商品然后将其出售。

每个卖方策略的设定都非常合理。但正是他们的算法的相互作用产生了不合理的结果。成千上万的机器学习模型在没有监督的情况下进行交互的结果甚至更难以预测。已经部署了复杂的机器学习系统的金融市场是这些问题的温床。

去年秋天,J。P. Morgan分析师Marko Kolanovic认为金融市场的崩溃很容易再次发生,因为目前的交易主要基于自动化系统。知识产权债务在这些系统的相互作用下积累,尽管有时它们并不是正式相关的。如果没有资产负债表这样的东西,我们无法预测或追溯这些知识产权债务是否值得。

智力债务的增加也可能改变我们对基础科学和应用技术的思考方式。与政府支持并由学术研究机构运营的大型资本项目(如粒子加速器)不同,机器学习工具很容易被私人公司或学术界使用。

事实上,与计算机科学或统计相关的部门相比,谷歌和Facebook更有可能获得产生有用预测的数据集。商人喜欢这些无法解释但有用的知识,但知识债务也增加了。它由公司持有,使致力于减少知识产权债务的学术研究人员难以联系。

人们很容易认为,由于机器学习知识的可用性,真正试图理解机器学习背后的理论基础的研究人员很难获得经济支持。去年12月,蛋白质折叠研究员Mohammed AlQuraishi撰写了关于他所在领域最新进展的文章:比研究人员更准确地预测蛋白质折叠机器学习模型的建立。与此同时,AlQuraishi感到遗憾的是,研究结果已失去理论支持。

“与本文相比,提出新理论假设的概念论文或论文的声望要低得多,”他在接受采访时说。在加速发现的机器学习时代,那些理论家看起来如此微不足道,甚至是多余的。与创建机器学习模型的专业知识相比,对特定领域知识的重视程度自然降低。

金融债务将控制权从借款人转移到贷款人,并从未来转移到过去。增加智力债务也可能转移控制权。充满难以理解的知识的世界变成了一个没有明显因果关系的世界,我们只能依靠我们的数据管家来告诉我们该做什么以及何时做。例如,大学招生委员会可能会将费力且不确定的筛选移交给机器学习模型。这种方法可以优化新一代,不仅可以促进学业成功,还可以促进和谐的人际关系和校友的慷慨捐赠。此外,我们理解世界的唯一方式可能是使用我们的AI系统通过神经网络微调我们的社交媒体数据,以便我们可以完全“融入”社会。

也许所有这些技术都是可行的,但反过来,它们也会带来相应的问题。目前对人工智能的大多数批评都集中在它可能出错的方式上:它产生或复制偏见;它出错了;它可以在不适当的地方使用.

但是,我们也应该担心当人工智能看起来非常正确时我们将面临哪些问题。

相关报道: