那么，人工智能本身会带来的主要风险是什么呢？我认为最大的风险不是智能或超级智能，而是自主权。换而言之，我最为担忧的是人们将尚未达到完全智能的计算机系统视为智能，并赋予其控制其他机器，自行做出决定的权力。我认为，真正危险的就是让不具备常识的系统做出需要依靠常识判断的决定。
当然，现在的很多系统都已具备一定程度的自主权。“智能汽车”能够自行停放于停车场，我们无须再进行刹车操作。“智能手机”能够在日历中添加会议安排，我们无须最后进行审查确认。而且，在不久的将来，我们就能乘坐更为智能的汽车直接去超市购物。所以，未来出现智能私人助理，代表我们做出重要决定并非天方夜谭。
问题又回到了可靠性和可预见性上。在近期人工智能领域的研究中，注重博学的GOFAI已被注重培训的AML取而代之。
危险就在于将良好的培训视为决定因素。我们可能经常听到如“4年无重大事故”这种说法。那么，这里必须回顾一下本书第7章中谈到的长尾现象。毫无疑问，虽然绝大多数情况都是遵循常规出现的，可以按照预案进行有效处置，但是可能还有一些情况分布在尾部，很少出现。即使是训练有素的人工智能系统，在遇到这种极为罕见的情况时也会因为缺乏常识而不知所措。这时，我们就不得不问自己：出现培训失败的情况时，系统该怎么做？如果系统对于此类问题没有合适的应对方案，我们就应该主动介入，不能让系统处于无人监督、自作主张的状态。