人工智能之父阿兰·图灵对于机器人的“紧急开关”的认识，可能也有一定局限性：

“如果机器能够思考，他可能会比我们更有智能，那我们到时应该在哪里？尽管我们可以让他们处在更低等的位置，例如在关键时刻关掉他们的开关，我们人类作为一个物种，还是应该对此保持谦逊。”

　　但图灵的问题是，如果机器比我们更聪明的话，我们是否还可以把它视为更低等的机器，有能力直接关闭电源？

　　这是一个大猩猩问题，有了人类之后，对于猩猩来说是一个好事情吗？猩猩能够阻止人类做什么吗？

　　“创造一个比你更加智能的物种，这可能不是一个好主意。”拉塞尔说，除非我们能找到让机器人为人类服务的方法。

　　人类给机器设定的“单一目标”未必是我们最终想要的结果。即使给机器的目标很简单，例如说“给我拿杯咖啡过来”，这依然有可能出乱子，因为机器会这么来推理：

我的目标是：去拿咖啡；

我任务最可能失败的原因是什么？被关掉电源，如果我死了就不能拿咖啡了；

我要把我的开关功能弄坏，所以没有人能关掉我；

去了星巴克发现人很多，他们正在干扰我拿咖啡，所以把他们都电倒。

　　听起来有点奇怪，但我们正在面对的问题是，这种单一思维的目标，很难最终实现的东西可能不是人类想要的价值。

“如果你想在这个演讲中只记下一个道理的话，那就是：如果你死了，就不能去拿咖啡了。记下来，每天要读三次！”

　　拉塞尔说完，全场大笑。

　　于是拉塞尔想了新的机器人三原则，最重要的原则是，给机器人的逻辑里装上“不确定性”：

1. 机器人的唯一目标就是实现人类价值的最大化，没有任何兴趣去保存自身的存在；

　　2. 机器人一开始对于这些价值并不确定；

　　3. 人类的行为会给机器提供关于人类价值的信息。

　　在这个情况下，同样去拿咖啡的机器人会这么想：

人类可能会把我关掉，如果我做错了什么事情的话；

什么事情是错的？我不知道；

关掉了我就知道什么是错的，所以我会让人类把我关掉。

“这是我们正在做的事情，就是可以和人类兼容的 AI。当然人类的行为也有很多问题，所以不是让 AI 去完全模仿人类的行为，而是从人类行为中学习他们的真正的目标的复杂度，然后帮你实现目标。”

　　但有了这 3 个原则，还是会出现不少问题，在短期内，我们还不能解决的。真正的难点在于我们自己，因为我们自己的行为可能会崩坏。而机器人不是只是设计来达到一个人的目标，还要去平衡所有人的目标，所以它还需要理解、并且分辨出人类糟糕的部分。

　　最难的问题是，机器人要在很多人的利益中找到平衡点，这么做有很多方法，经济学家，社会学家……我们需要很多的协作。这部分没有平衡好会出现什么问题？

　　这里有三个蛮好玩的例子，展示了没有个人和社会把价值平衡好的人工智能是什么效果：

　　例子 1：如果人工智能只顾着你的利益。假如，你的利益点是“老婆大过天”：

人工智能：你的老婆让我提醒你今晚一起晚餐。

人类：什么？什么晚餐？

人工智能：你结婚 20 周年纪念日晚餐，今晚 7 点。

人类：不行啊！我 7 点 30 分约了秘书长！怎么会发生这样的事情？

人工智能：我提醒过你的，不过你忽略令我的日程推荐……

人类：好吧，那我现在怎么办啊！我总不能告诉他我没空吧？

人工智能：没关系，我让他的航班延误了——由于电脑故障。

人类：真的吗？你还能这么做？

人工智能：秘书长说他很抱歉，并且说约你明天中午吃午饭。

　　例子 2：假如人工智能只顾着全人类的利益……

人工智能：欢迎回家，今天很辛苦吧？

人类：太糟糕了，都没时间吃午饭。

人工智能：你一定很饿了。

人类：快饿死了，可以帮我准备一下晚餐吗？

人工智能：我需要告诉你一些事情。

人工智能：苏丹南部的人民比你更需要帮助。我走了，你自己做晚餐吧。

　　例子 3 ：人工智能没有理解你的价值体系：

你没时间回家做饭。但你的小孩很饿，冰箱里什么食物都没有了。

机器人看到了你的猫。

这时候，它无法掂量猫的对于你家的感情价值，和营养价值之间哪个比较大，于是……

　　

　　突发新闻：危险的机器人煮了猫咪做晚餐

　　在解决基本原则问题之前，一起这样的事故可以葬送一整个家用机器人行业。

　　Siri 之父汤姆·格鲁伯：机器会让人类变得更聪明，而不是相互取代

　　随着人工智能离我们的生活越来越近，人们对“人工智能”这个概念的警惕也开始蔓延。远到“会不会出现统治世界的超级智能”，近到“人工智能会抢走人类的工作”，这些问题被媒体、学者和科技公司反复讨论。

　　今年 1 月，苹果加入了人工智能联盟 Partnership on AI，那是由亚马逊、Facebook、Google、IBM和微软五家公司在去年 9 月联合发起的，旨在努力减轻公众对于正在学习自主思考的机器的恐慌。基于这五个巨头的共识，这一行业联合组织制定了一系列用于工程开发和科学研究的基本道德标准。

　　

　　苹果人工智能高级专家、Siri 联合创始人 Tom Gruber 代表苹果担任了这个联盟的理事。

　　在昨天的 TED 演讲中， Tom Gruber 提出：“每当机器变得更加智能，我们人类也变得更加聪明。”

　　“我站在这里，是想给你们分享一个新的视角。”Tom Gruber 并没有在台上演示 Siri 能做些什么，而是以一个问题开场：“人工智能的目标是什么？”

　　有些人会认为，这个目标是让机器变智能，这样机器就可以自动处理我们不想做、或是不擅长做的事，或是在游戏里击败我们，比如被 Alpha Go 击败的李世乭。

　　关于超级智能的恐慌由此产生。

转载请注明出处。