今日的人力智能体系可能看起来像是能够在各式任务中击败人类同好的智力强者。然则，实是上，当今最领先进步的AI代理商的智力能力是狭隘和局限的。以AlphaGo为例。尽管它可能是棋盘游戏Go的全球冠军，但这根本上是体系擅长的独一任务。

自然，另有AlphaZero。该算法掌握了众多不同的游戏，从和世界象棋到Go。因而，它比众多当代AI代理商更有能力和动态;可是，AlphaZero没有办法轻松将其智能利用于全部难题。它不行像人类一样从一种任务搬动到另一种任务。

全部其它当前的人力智能体系都可行说同样的事宜 - 它们的认知能力是局限的，并未高于它们组建的详细任务。这便是为何人力智能(AGI)是众多探讨人士的长久指标的原因。

AGI体系被广大以为是人力智能探讨的“圣杯”，是具备广大解决难题能力的人力智能代理，使它们能够应对在设置阶段未考量的挑战。与专注于一项特定技巧的惯例AI体系不同，AGI体系能够有用地解决它们碰到的全部难题，达成各式任务。

假如技艺可以实现，它将用没有数种形式让人类受益。斯坦福大学(Stanford University)经济学家马歇尔•伯克(Marshall Burke)预测，AGI体系终归将能够构建大范围的协调体制，以帮助缓和(甚而消除)咱们最紧迫的少许难题，如饥饿和贫困。然则，在社会能够从这点AGI体系中获益此前，DeepMind的AGI平安探讨员Ramana Kumar指明，AI设置师终归须要解决自咱改进难题。

自咱改进适合AGI

在当前的AI体系中曾经存留早期的自咱改良方式。“在寻常的机器学习进程中会产生一个自咱改进，”库马尔解释说。“即，该体系在其培训进程中能够很好地执行任务或一系列任务。”

然则，Kumar断言他会将这类方式的机器学习与真实的自咱改良区别开来，由于体系没有办法从基本上改变本人的设置，成为新的东西。为了实现显着改良 - 包涵新技巧，用具或组建更顶级AI代理的改良 - 当前的AI体系须要人为它们提供新代码和新的训练算法等。

然则，理论上可行组建一种能够真实自咱改良的AI体系，Kumar说这类自咱改良的机器是AGI更合乎道理的门径之一。

探讨人士以为，自咱改良的机器终归可能导致AGI，由于这种进程被称为“递归自咱改良”。根本思想是，随着人力智能体系接着运用递归自咱改良使本人变得更聪明，它会越来越好地使本人变得更聪明。这将快速导致其智力的指标数据增添，并因而终归可能导致AGI。

库马尔说，这类概况十足合乎道理，并解释说，“为了实现这一指标，咱们须要少许差不多无争议的假设：理论上存留这类高度称职的代理人，而且可行经过一系列局部改良寻到他们。”在这类水平上，递归自咱提高是一种概念，它是咱们如何从今日的中庸智能机器到超智能AGI的少许理论的焦点。然则，库马尔澄清说，这非是AI超等智能的独一潜在门径。

人类可行经过各式方法发觉如何构建高度胜任的AGI体系。这可能是“经过扩展现存的机器学习方法，比如，运用更快的硬件。或许可行经过在表征学习，转嫁学习，鉴于模子的强化学习或其它方向上发展渐进的探讨进展来实现。比如，咱们可能在脑部扫描和仿真方面取得充足的进展，以复制和提速特定人类的智能，“Kumar解释道。

然则，他也很快澄清递归自咱改进是AGI的先天特征。“即便循环自咱提升是无必需制订游刃有余的人力坐席放到首位，准确自咱改善将依然有可能对那一些代理商，”库马尔说。

因而，尽管探讨人士可能会发觉AGI的门径不涉及递归的自咱改进，但它依然是须要认真探讨的人力智能的属性。

自咱改进AI的平安性

当体系最初自咱修改时，咱们必需能够信任全部修改皆是平安的。这意指着咱们须要理解全部可能的修改。可是，假如无人能够提早预测修改是甚么，咱们怎么才能保证修改是平安的?

库马尔指明，这种难题有两个显著的解决方案。第一个抉择是节制体系制造其它AI代理的能力。然则，正如库马尔简练地总结的那样，“咱们不愿经过禁止自咱改进来解决平安的自咱改进难题!”

因而，第二种抉择是仅应允被以为充足平安的局限方式的自咱改良，比如软件革新或料理器和内存进级。然则，库马尔解释说，检查这点方式的自咱改进是平安和不平安的依然十分繁杂。实是上，他说，防止一个特定类别的修改的建立是如许繁杂，以至于“须要深入理解自咱改良所涉及的内容，这可能足以解决十足平安的自咱改进难题”。

值得注意的是，即便新的进步只应允局限方式的自咱改进，库马尔也显示这非是一条可行采用的公路，由于它回避了咱们想要解决的自咱改进的焦点难题。“咱们期望构建一种可行构建另一种AI代理的代理，其代理能力如许之大，以至于咱们没有办法提早干脆推断其平安性......咱们期望委托少许对于平安的理由，而且能够信任父母这类推理能否正确，“他断言。

终归，这是一种极端繁杂的难题，仍处于全新生阶段。因而，日前的多数事业都聚集在测试各式技艺解决方案，并见到可行取得进展的位置。“关于这点难题，依然存留好多概念上的混淆，因而少许最有效的事业涉及在各式环境中尝试不同的概念，并观看结果能否连贯，”Kumar解释说。

不论终归解决方案是甚么，Kumar断言成功克服自咱改进的难题取决于AI探讨人士密切合作。“[测试这种难题的解决方案]的要害是准确假设，而且为了向其它人解释，准确与咱们终归关注的现实全球平安AI难题的联系。”

在涉及人力智能时，经常会显露对于甚么组成“平安”和“不平安”举止的争论。作为拉玛纳库马尔，在AGI平安探讨员DeepMind，笔记，术语是主观的，“只能相关于AI体系的运用者和受益者的值来定义。”

幸运的是，在面临与组建平安AI代理相干的技艺难题时，这点难题许多可行回避，由于这点难题与辩别正确或道德适当的难题没有关。相反，从技艺方位来看，术语“平安”最佳定义为一个AI代理，它始终采用导致预期结果的行动，而不论这点预期结果如何。

在这方面，Kumar解释说，在组建一种负责改良本身的AI代理时，“建立平安代理的技艺难题在相当大水平上独立于'平安'意指着甚么，由于难题的相当大一部分是如何构建一种能够可靠地做某事的代理人，不论那是甚么东西，以这类形式接着事业，即便所考量的代理人越来越有能力。“

简而言之，制作一种“平安”的AI代理商不应当与制订“道德”AI代理商混为一谈。各自的条款全在讨论不同的事宜。

通常而言，回避道德的平安定义让得AI技艺事业变得愈加简单它应允探讨在道德难题的辩论演变的同一时间推行。比如，优步的自动驾驭车子曾经上街，虽然咱们尚未便是否应当庇护驾驭员或行人的构架完成绝对。

然则，当涉及到组建一种能够自咱改良的强盛而平安的AI体系时，技艺事业变得愈加难题，而且该范畴的探讨仍处于全新生阶段。这最重要的是由于咱们不单料理一种AI代理;咱们正好料理几代未来的自咱改进代理人。

库马尔澄清说，“当一种AI代理人自咱提高时，可行将概况视为涉及两个代理人：'种子'或'父母'代理人和父母自咱修改的'子代理人'......及其总数对全球的作用将包括其后代所采用的行动的作用。“因而，为了晓得咱们曾经构建了一种平安的AI代理人，咱们须要理解可能来源第一种代理人的全部可能的子代理人。

而且认证全部未来AI代理商的平安性归结为解决称为“自咱引用推理”的难题。

了解自咱指涉难题

经过依据其两个最重要的构成部分定义术语，最简单了解自引用推理的难题：自引用和推理。

自咱引用：指某人(或某些东西，如计算机程序或书籍)引用本身的实例。全部提到本人的人或事物都被称为“自咱指涉”。

推理：在人力智能体系中，推理是一种进程，经过这种进程，代理人构建对于全球的“信仰”，比如特定举止能否平安或特定推理体系能否合乎道理。“良没有问题信仰”是鉴于现存证据的合乎道理或可信的信仰。运用术语“信仰”而非是“常识”，由于代理人以为的事物可能非是实是真正的而且可能随着时间而改变。

因而，与AI相干，术语“自引用推理”指的是运用推理进程来构建对于统一推理进程的信仰的代理。因而，当涉及到自咱改良时，“自引用难题”如是：代理人正好运用本人的推理体系来确定其推理体系的未来版本能否平安。

为了以另一个形式解释难题，Kumar指明，假如AI代理人组建了一种孩童代理来帮助它实现指标，那末在运用它此前，它会想要构建少许对于儿童平安的信仰。这势必涉及经过辩论儿童的推理进程是没有问题来声明对儿童的信仰。然则，儿童的推理进程可能与原始代理人的推理进程类似甚而拉伸。终归，AI体系没有办法运用本人的推理来确定其推理能否良好。

从技艺方位来看，难题归结为Godel的第二个不完善性定理，Kumar解释说，“这表达无充足强盛的声明体系可行声明其本身的绝对性，因而代理人不容易声明它们的继承者已被声明是平安的举止是实是上，平安。“

考查解决方案

迄今为止，曾经提议了针对该难题的多个部分解决方案;可是，咱们日前的软件无充足的自咱参照推理扶持，使解决方案易于实行和探讨。因而，为了提升咱们对实行自咱推理推理的挑战的了解，Kumar和他的团队旨在运用曾经提议的少许部分解决方案来实现AI代理的玩具模子。

详细而言，它们探讨了在详细环境(特别是Botworld)中实行自咱参考难题的一个特定方法的可以性，此中可行审查全部细节。抉择的方法是模子多态性。模子多态性不要声明操作对全部未来用例皆是平安的，却是仅须要对从声明体系中抽象出去的任意数量的环节(或延续操作)声明是平安的。

Kumar指明，全体指标终归是“理解理论与事业实现之中的差距，并加深对模子多态性方法的了解。”这可行经过在HOL中组建一种声明定理来实现(更高阶描画概况的逻辑)定理声明者。

为了简单化这一丝，实际上，定理声明是计算机程序，他们有助于数学正确性声明的进行。这点数学正确性声明是该范畴中最高的平安准则，表达计算机体系总是为全部给定的输入发生正确的输出(或响应)。定理声明经过运用方式化的数学方法来声明或反驳体系底层操控算法的“正确性”，从而组建了这样的声明。特别是HOL定理声明是一系列交互式定理声明体系，有助于高阶逻辑理论的建立。高阶逻辑扶持对函数，集合，集合等的量化，比其它逻辑更具体现力，应允使用者以高抽象等级编写正规语句。

记忆起来，库马尔说，试图在HOL定理声明器中声明对于自咱反思的若干环节的定理是一项艰巨的任务。虽然如许，他断言，在解决自咱指涉难题时，团队前进迈进了几步，并指明它们构建了“众多必需的根基设备，并更好地理解了如何声明它以及它须要甚么。将鉴于模子多态性建立原型代理。“

Kumar补充说，MIRI(机器智能探讨所)的逻辑电感器也可行提供令人称心的正规自引用推理版本，从而为自引用难题提供解决方案。