机器学习(ML)算法曾经能够比它们正好为之事业的人更好地辩别形式。这使它们能够在各式高风险概况下生成预测并做出决策。比如，电工运用IBM Watson的预测功效来预测消费者的要求;优步的自动驾驭体系确定哪条路线能够让乘客最快到达目的地;和Insilico Medicine应用其药物发觉引擎确定新药的门径。

随着数据驱动的学习体系不停进行，依据技艺改良定义“成功”是很简单的，比如增添算法可行合成的数据量，从而提升其形式辩别的效能。然则，要使ML体系真实成功，它们须要理解人类的价格观。更要紧的是，它们须要能够权衡咱们的竞争欲望和请求，理解咱们最重视的结果，并采用相应的行动。

了解价格观

为了突出该种咱们的ML体系曾经具备竞争伦理决策，凯伊Sotala，在芬兰的探讨人士对事业的根基性探讨所，转变为流量剖析和自动驾驭车子。能否应当运用收费道路以降低通勤五分钟，或许为了省钱而采用更长的路线会更好吗?

回答这种难题其实不像看起来那末简单。

比如，A人可能更喜爱消费5美元的收费道路，假如它可行节省5分钟，但假如消费10美元，它们可能不愿走收费道路。另一方面，B人可能总是喜爱采纳最短的路线，而不论价值如何，由于它们重视时间超出一切。

在这类概况下，索塔拉指明，咱们终归请求ML体系确定人类更重视甚么：时间或金钱。因而，关于迅速采用甚么样的公路来讲，仿佛是一种容易的难题就变成了对竞争价格的繁杂剖析。“有人可能会想，'好吧，驾车方向不过对于效能。咱会让AI体系叮嘱咱最佳的方法。但另一种人可能会感觉采纳不同的方法有必定的价格，“他说。

尽管ML体系必需权衡咱们的价格并在全部决策中做出权衡，但索塔拉指明，日前这非是一种难题。体系正好料理的任务十分容易，探讨人士能够手动输入必需的价格消息。然则，随着AI代理人的繁杂性增添，Sotala解释说它们须要能够本人解释和权衡咱们的价格观。

理解鉴于作用的代理

在谈到整合价格观时，Sotala指明难题归结为智能代理商如何做出决策。比如，恒温器是一个反射剂。它晓得什么时候最初加热房屋，由于设定的预定温度 - 恒温器在低于某一温度时开启加热体系，当温度超越必定温度时关闭加热体系。另一方面，鉴于指标的代理商依据实现特定指标做出决策。比如，指标是购置购物清单上的全部商品的代理商将接着搜索，直到寻到每件商品。

鉴于作用的代理是鉴于指标的代理的一种环节。它们可行料理之下权衡：得到牛奶比今日换新鞋更要紧。然则，咱离杂货店比鞋店更近，两家商店将要关闭。咱更有可能及时得到鞋子而非是牛奶。“在每个决策点，鉴于指标的代理商都会见到它们必需抉择的少许选择。每个选择都与特定的“作用”或奖励相干联。为了实现指标，代理商遵循第一大化总奖励的决策路径。

从技艺方位来看，鉴于作用的代理依托“作用函数”来做出决策。这点是体系用于合成数据，平衡变量和第一大化奖励的公式。终归，赐予最多回报的决策路径是体系被教育抉择以达成其任务的决策路径。

尽管这点实用程序擅长于查找形式和响应奖励，但Sotala声称当前鉴于作用的代理程序假设一组固定的领先级。因而，当涉及未来的AGI体系时，这点方法是不够的，AGI体系将自动行动，因而须要愈加繁杂地理解人类的价格什么时候产生浮动和转变。

比如，一种人可能总是重视走更长的路线以避开快速道路并省钱，但假如它们心脏病发作并试图去急诊室则不会。当咱们的时间和金钱价格产生浮动时，AI代理人应当如何预测和了解?这种难题愈加繁杂，由于正如索塔拉指明的那样，大家经常重视事物，不论它们能否有持续的，有形的奖励。有时，人类甚而会重视可能在某些方面形成伤害的事物。考量一种重视隐私的成年人，但其医生或治疗师可能须要访问亲密且深切的私人消息 - 这点消息可能会挽救寿命。AI代理人能否应当显露个人消息?

终归，Sotala解释说，鉴于作用的代理太容易了，并未寻到人类举止的根源。“作用函数描画的是举止而非是举止的原因...。他们更像是一个描画性模子，假设咱们曾经大致晓得了这种人的抉择。”尽管描画模子可能会认识到乘客更乐意存钱，但它不会了解为何，是以它没有办法预测或打算其它价格什么时候掩盖“省钱”。

AI代理组建女王

Sotala的焦点是重申，根本难题是保证人力智能体系能够发觉治理咱们价格观的模子。这将应允它们运用这点模子来确定在碰到新的和未预想到的概况时如何应对。正如索塔拉所解释的那样，“人力智能将须要有模子，使它们能够在十足新颖的概况下粗略地弄明白咱们的估价，人类可能不会事先晓得这点概况可能显露的价格概况。”

在某些范畴，人力智能体系经过在无人为输入的概况下揭示咱们的全球模子而让人类感觉惊讶。作为一种早期的例子，Sotala引用了“单词镶嵌”的探讨，此中AI体系的任务是将句子分类为有用或没有效。为了达成该分类任务，体系辩别出某些单词之中的关连。比如，当AI代理注意到男性/女性对单词的维度时，它组建了一个关连，应允它从“王”变为“女王”，反之亦然。

从当时起，曾经有体系学习了更繁杂的模子和关联。比如，OpenAI最近的GPT-2体系曾经过培训，可行阅读少许写作，接下来编写可能跟随它的文本。当提醒“今日的家族作业，请描画内战的原因”时，它写的东西相似于对于内战的高中文章。当获得“Legolas和Gimli在兽人身上向前，用令人痛苦的战争口号提高武器”的提醒时，它会在其输出中写出听起来像指环王的小说，包括Aragorn，Gandalf和Rivendell等名字。 。

索塔拉指明，在这两种概况下，人力智能代理“全没有尝试像人类一样学习，可是它试图用全部有用的方法来达成它的任务，结果声明它结构了一种十分相似于人类了解的方法。全球。”

AI体系有显著的好处，能够自动学习更没有问题数据显示形式，并在此进程中开发出适合人类价格观的模子。当人类没有办法确定如何映射和随后建模值时，AI体系可行辩别形式并本人组建适当的模子。然则，相反的概况也可能产生 - 一种AI代理人可行建立少许仿佛是人类关联和价格观的明确模子，但实质上是危险的错位。

比如，假设AI代理人理解到人类想要快乐，而且为了第一大限制地提升人类的美满感，它将咱们的大脑接连到提供电刺激的计算机上，这点电脑会让咱们感触到持续的快乐。在这类概况下，体系了解人类重视美满，但它无适当的模子来显示美满如何与其它竞争价格如自由相对应。“从某种意义上说，它让咱们快乐并消除全部痛苦，但与此同一时间，大家会感觉'不，这非是咱所说的人力智能应当让咱们开心的意思，'”索塔拉指明。

因而，咱们不行依赖代理人发觉形式的能力，并从这类形式中组建一种明确的人类价格模子。关于AI体系，探讨人士须要能够对人类价格发展建模并对其发展精准建模。

制订更没有问题定义

基于咱们的竞争要求和偏好，不容易对全部一种人的价格发展建模。联合并同意普及适用于全部人的价格，接下来成功地为AI体系建模，仿佛是一项不可能达成的任务。然则，曾经提议了几种解决方案，比如反强化学习或试图推断人类道德进行的未来。然则，索塔拉指明，这点解决方案不足。正如他在最近的一篇论文中所阐述的那样，“这点建议中无一种提供了对人类价格究竟是甚么的令人称心的定义，这关于全部试图构建旨在学习这点价格观的人力智能体系的尝试皆是一种惨重的缺点。”

为理解决这种难题，Sotala开发了一种替代的人类价格初步定义，可用于设置价格学习代理。在他的论文中，索塔拉以为，价格观不应当被定义为静态概念，而应当被定义为在人类改变，成长和接纳“奖励”的众多概况下单独和独立地考量的变量。

Sotala断言，在进化理论和强化学习方面，咱们的偏好终归可能会获得更没有问题了解。为了声明这一推理的合乎道理性，他解释说，在人类历史流程中，大家进化为追求可能导致某些结果的运动 - 这点结果常常会改进咱们祖先的健康情况。今日，他指明人类依然更喜爱这点结果，即便它们没再能够第一大化咱们的健康。在这方面，随着时间的推移，咱们也学会享受和渴望仿佛可能导致高回报状况的心思状况，即便它们不这样做。

因而，咱们的偏好非是干脆映射到奖励的特定值，却是映射到咱们对奖励的希望。

Sotala声称这种定义在尝试将人类价格观编入机器时很有效，由于经过这类人类心思模子得知的价格学习体系会了解新体会可行改变一种人的大脑分类为“可能导致奖励”的状况。 Sotala的事业，机器智能探讨所概述了这类构架的好处。它们说：“将相关人类心思动态的这点实是考量在内的价格学习体系可能会更好地考量咱们未来的偏好，而非是仅针对日前的偏好发展改良。”

Sotala承认，这类建模价格方式其实不完美。起首，本文不过对人类价格观发展定义的初步尝试，这依然为未来的探讨留住了众多细节。探讨人士依然须要回答与价格如何随时间演变和浮动等相干的经历难题。一朝全部的经历难题获得解答，探讨人士就须要应对那一些无客观谜底的哲学难题，例如这点价格应当如何解释，以及他们应当如何指导AGI的决策。

在解决这点哲学难题时，索塔拉指明，向前的公路可能不过为了得到尽可能多的共识。“咱偏向于以为无全部真实的实是，哪些价格观是正确的，以及将他们组合起来的正确方法是甚么，”他解释道。“咱们应当努力寻觅尽可能多的人能够完成共识的形式，而非是试图寻到客观正确的方法。”

自从发表这篇论文以来，Sotala一直在探讨一个不同的人类价格建模方法，这类方法鉴于将人类视为多智能体制统的前提。这类方法已被发表为一系列不太错误的文章。Future of Humanity Institute的Stuart Armstrong另有一种相干但独立的探讨议程，其要点是将人类偏好概括成更繁杂的作用函数。