文/陈小平
来源：文化纵横（ID:whzh_21bcr）
【导读】自“阿尔法狗事件”以来，人工智能成了一个脍炙人口的热词。事实上，人工智能诞生迄今已有 70 年，期间有过三次发展高潮。但中国只参与了当下第三波发展，且短短几年内对人工智能的关注被不断放大，因此社会上普遍缺乏对其成熟的理解。许多人认为不久以后人工智能技术将超越某个临界点，然后指数级地超越人类能力。也有观点认为，现有人工智能技术只是“人工弱智”，有多少人工就有多少智能，实际并不智能。这些误区是中国人工智能发展的主要思想障碍。长期从事人工智能与机器人交叉研究的中科大陈小平教授基于对 70 年来人工智能技术成果的总结梳理，分析了人工智能到底如何运作、到底有多智能等问题，并提出了理解人工智能的“封闭性准则”。他认为，在封闭性场景中，我们不仅可以规避人工智能技术失控的风险，而且可以推动现有人工智能技术在未来 10-15 年内中国产业升级中发挥关键作用，为产业发展带来新的广阔空间。
本文原发表于《文化纵横》2020 年第 1 期，仅代表作者观点，特此编发，供诸君思考。
封闭性场景：人工智能的产业化路径
目前，社会上对于人工智能技术的讨论可谓众说纷纭，莫衷一是。有观点认为，人工智能技术已经或即将全面超越人类的能力水平，已经可以无条件应用，因而也会产生严重的伦理危机；也有观点认为，现有人工智能技术只是“人工弱智”，“有多少人工就有多少智能”，因而无法应用，也就根本不存在伦理风险。但如果依据前一种看法从现在开始就限制人工智能的发展，或者基于后一种看法完全放弃对人工智能伦理风险的监管，都是不明智的。
本文立足于对 70 年来人工智能的技术成果进行总结梳理，根据对现有人工智能成果的技术本质的理解，提出人工智能封闭性和强封闭性准则，形成观察人工智能的一种新视角，进而得出以下观察：第一，在满足强封闭性准则的场景中，现有人工智能技术可以大规模应用，而在不满足该准则的场景中难以获得成功应用；第二，受强封闭性准则的制约，短期内不存在人工智能技术失控的风险，而未来长期风险也是可控的；第三，在强封闭性准则的有效范围内，人工智能的主要风险来自技术误用和管理失误。脱离人工智能技术本质的政策，将难以避免“一管就死、一放就乱”的监管困境。
▍人工智能应用与治理的迫切需求
人工智能迄今已有约 70 年历史，出现了三次浪潮，每次浪潮经历大约 20 年。也有人将以往的人工智能技术归结为两代，每代的发展经历了 30~40 年。由于本轮产业升级的窗口期只有 10~15 年，而一代新技术从诞生到成熟往往需要几十年，所以本轮产业升级依靠的人工智能技术，将主要是现有人工智能技术的工程化落地，而不是等待下一代新技术的成熟。于是，下列问题尖锐地呈现在全社会面前：10~15 年内，现有人工智能技术能否以及如何在我国产业升级中发挥关键作用？如果我们不能从现有人工智能技术的本质出发回答这个问题，人工智能国家战略必将落空，与此有关的产业升级也必将受到极大影响。
在西方发达国家中，人工智能的前三次浪潮均引起普遍关注，因而社会各界对人工智能的了解是长期的，也较容易形成较为客观的看法。但在我国，由于社会上普遍关心的只有人工智能的第三次浪潮，而且在短短几年之内这种关注又被放大，故而普遍存在着对人工智能技术真相了解不够，甚至误将国外影视作品当作现实的现象。而我国人工智能领域的专家学者，又极少介入社会上的讨论，极少参与伦理风险研究和政策制定。因而，如果相关政策建议不能如实反映人工智能技术本质、应用条件和发展态势，必将隐含着管理失误的巨大风险。
▍人工智能三次浪潮的技术进展
人工智能研究已形成了至少几千种不同的技术路线，其中最成功、影响最大的有两种，被称为人工智能的两种经典思维：“基于模型的暴力法” 与“基于元模型的训练法”。这两种思维虽然不能代表人工智能的全部，但它们已经不是停留在单个技术的层面，而是上升到“机器思维”的高度，因而它们在近期应用中发挥关键作用，最值得关注。
第一种人工智能经典思维是“基于模型的暴力法”，其基本设计原理是：第一，构建问题的一个精确模型；第二，建立一个表达该模型的知识表示或状态空间，使得推理或搜索在计算上是可行的；第三，在上述知识表示或状态空间中，用推理法或搜索法穷举所有选项，找出问题的一个解。因此，暴力法包含推理法和搜索法两种主要实现方法，它们具有共同的基本前提：待解问题存在良定义的、精确的符号模型。
在推理法中，通常采用逻辑形式化、概率形式化或决策论形式化作为知识表达的手段。以逻辑形式化为例，一个 AI 推理系统由一个知识库和一个推理机组成，推理机是一个执行推理的计算机程序，往往由专业团队长期研发而成，而知识库则需要由不同应用的研发者自行开发。推理机根据知识库里的知识进行推理，回答提问。
基于形式化逻辑系统的推理机的研制以对应逻辑的“保真性”为标准，因此推理机本身是“可证正确的”—只要推理机使用的知识库是“正确的”，则对知识库有效范围内的任何问题，推理机给出的回答都是正确的。然而，一个知识库的“正确性”以及相对于一个应用领域的充分性，至今没有形成公认的、可操作的标准，只能通过测试进行实验检验。
（订阅 2020 年《文化纵横》杂志，赠文化纵横电子刊 6 个月 VIP 权限，免费畅读、畅听所有出刊杂志）
第二种人工智能经典思维是“基于元模型的训练法”，其基本设计原理是：第一，建立问题的元模型；第二，参照元模型，收集训练数据并进行人工标注，选择一种合适的人工神经网络结构和一个监督学习算法；第三，依数据拟合原理，以带标注的数据，用上述监督学习算法训练上述人工神经网络的连接权重，使得网络输出总误差最小。训练好的人工神经网络可以对任意输入快速计算出对应的输出，并达到一定的准确性。例如，针对给定的图像库，一些经过训练的深层神经网络，可以对输入的图片进行分类，输出图片中物体的种类，分类准确性已超过人类。然而，训练法目前没有可证正确性，甚至没有可解释性。
在训练法中，只有监督学习算法和带标注的数据是不够的，还必须对学习目标、评价准则、测试方法、测试工具等进行人工选择。本文将这些人工选择汇集在一起，用“元模型”概括它们。因此，训练法绝不是只要有训练数据和训练算法就行的，人工智能已具备独立于人类的“自我学习”能力的说法更是毫无根据的。
训练法和暴力法都存在“脆弱性”问题：如果输入不在知识库或训练好的人工神经网络的覆盖范围内，将产生错误的输出。针对实际应用中无处不在的感知噪声，美国麻省理工学院做过一个测试。先用一个著名的商业机器学习系统训练出一个深层神经网络，该网络可以从照片中识别各种枪支，并达到很高的正确识别率。然后，人为修改了这些照片上的少量像素（代表感知噪声），这些修改对人眼识别没有任何影响，可是训练好的深层神经网络却不能正确识别修改后的照片，而且会发生离奇的错误。自 20 世纪 80 年代以来，脆弱性已成为制约现有人工智能技术成功应用的主要瓶颈。
除了脆弱性之外，暴力法和训练法还存在其他短板。工程上，训练法的主要短板是需要对大量原始数据进行人工标注，费时费力，且难以保证标注质量；暴力法的主要短板是需要人工编写知识库或制定搜索空间，而这两项工作对于绝大多数开发者而言是十分困难的。因此，尝试将暴力法和训练法取长补短，以消除或减少它们各自的短板，一直是人工智能的一个研究课题。
AlphaGo Zero 采用了四项人工智能技术，包括两项暴力法技术—简化的决策论模型和蒙特卡洛树搜索，用这两项技术进行自博（自己和自己下棋），自动产生训练数据和标注，而且不仅下了人类下过的很多棋，也下了人类没下过的很多棋；另外两项是训练法技术——残差网络和强化学习，强化学习算法用自博产生的全部训练数据及标注对残差网络进行训练，不断改进残差网络，最终训练出一个网络，其下棋水平远远超过了人类。这也表明，认为 AlphaGo Zero 仅仅是深度学习的胜利，是一个巨大的误解。正是由于暴力法和训练法的结合，使得 AlphaGo Zero 完全不需要人工标注和人类围棋知识（除了规则）。
根据规则，围棋一共可以下出大约 10 的 300 次方局不同的棋。AlphaGo Zero 通过 40 天自博，下了 2900 万局棋（不到 10 的 8 次方），仅仅探索了所有围棋棋局中的一个极小部分，所以 AlphaGo Zero 的下棋水平还有巨大的提升空间。这表明，在现有人工智能技术的有效工作范围内，人工智能系统的能力已经远远超过了人类，“多少人工多少智能”的说法是没有根据的，也是不符合事实的。
以上分析表明，社会上流行的两种极端说法都是不成立的。那么，现有人工智能技术的真实能力到底如何？
▍现有人工智能技术的能力边界—封闭性
有人认为：围棋是最难的问题，既然 AlphaGo 在最难的问题上超过了人类，当然人工智能已全面超过了人类。但事实上，对人工智能而言，围棋是最容易的一类问题，比围棋更难的问题不仅有，而且非常多，而在这些问题上，现有人工智能技术远远达不到人的能力水平。
因此，我们需要某种准则，以便客观地判断：哪些场景中的应用是现有人工智能技术能够解决的，哪些问题是不能解决的。这个准则就是封闭性。为了便于理解，这里给出封闭性的一种尽可能通俗的描述。
一个应用场景具有封闭性，如果下列两条件之一得到满足：(1) 存在一个可计算的和语义完全的模型，并且所有提问在该模型的可解范围内；(2) 存在有限确定的元模型，并且代表性数据集也是有限确定的。
封闭性条件(1) 和条件(2) 是分别针对暴力法和训练法而言的。一个应用场景如果不满足条件(1) 或条件(2) 中的任何一个要求，则该场景应用就不能用暴力法或训练法解决。例如，假设一个场景具有可计算的和语义完全的模型，但某些提问不在该模型的可解范围内，那么就不能保证智能系统对这些提问的回答都是正确的，这时就出现了脆弱性。
因此，封闭性给出了一个场景中的应用能够被暴力法或训练法解决的理论上的必要条件，也就是说，不满足这些条件的场景应用是不可能用现有人工智能技术实现的。但是，实际场景往往是非常复杂的，理论上的必要条件与工程实际之间存在一定距离。例如，用训练法进行图像分类时，不保证分类误识别率为零，而且错误的性质可能非常严重，无法满足用户的需求。为了尽可能缩小理论与实际之间的距离，本文引入强封闭性准则如下。
（订阅 2020 年《文化纵横》杂志，赠文化纵横电子刊 6 个月 VIP 权限，免费畅读、畅听所有出刊杂志）
一个场景具有强封闭性，如果下列条件全部得到满足：(1) 该场景具有封闭性；(2) 该场景具有失误非致命性，即应用于该场景的智能系统的失误不产生致命的后果；(3) 基础条件成熟性，即封闭性包含的要求在该应用场景中都得到实际满足。
基础条件成熟性包含的内容较多，下面介绍两种重要的典型情况。
第一种情况是，满足要求的模型理论上存在，工程上构建不出。封闭性准则中的条件(1) 要求，存在一个可计算的和语义完全的模型，而这里所谓“存在”只要理论上成立就行。但对于一项具体的工程项目来说，仅仅在理论上存在这样的模型是不够的，必须能够在该项目要求的施工期限内，实际地构建出一个这样的模型。可是有些场景过于复杂，无法在项目期限内实际构建出它的模型。于是，这样的场景虽然符合封闭性准则，却在项目实施中无法成功。基础条件成熟性要求：在项目施工期限内可以实际构建出所需的模型，因而强封闭性准则反映了工程可行性。
第二种情况是，代表性数据集理论上存在，工程中得不到。封闭性准则的条件(2) 要求保证找到一个复杂问题的代表性数据集，即使理论上可以证明存在这样的代表性数据集。因此，目前主要在环境变化可忽略或可控的场景中运用训练法，因为代表性数据集在这种场景中是可以得到的。这里的“环境变化可忽略或可控”就是强封闭性准则的一项具体要求，而封闭性准则不包含这项要求。
当一个应用场景出现以上两种情况时，怎么处理才能符合强封闭性准则？对于多数企业特别是中小企业来说，最有效的办法是进行场景裁剪，比如缩小场景规模、舍弃场景中难以建模的部分、舍弃场景中环境变化不可控或不可忽视的部分，使得裁剪后的场景符合强封闭性准则。
另外，人工智能技术在实际应用中往往起“画龙点睛”的作用，而不是单打独斗地解决一个行业的全部技术问题。因此，通常是在其他条件都已具备，却仍然无法实现预期工程目标的情况下，引入人工智能技术以攻克难点，从而发挥关键性作用。这也是基础条件成熟性的要求之一。例如，传统制造业的信息化和自动化、大面积高标准农田的实施，分别为我国传统制造业和现代农业的智能化提供了重要的、决定性的基础条件。
▍现有人工智能技术在实体经济中的落地路径
在实体经济特别是制造业中，大量场景的自然形态非常复杂，难以通过场景裁剪使之符合强封闭性准则。针对这种情况，可以采取场景改造的办法。目前至少有如下三条场景改造策略，可以作为现有人工智能技术在实体经济中的落地路径。
第一条落地路径：封闭化。具体做法是将一个自然形态下的非封闭场景加以改造，使得改造后的场景具有强封闭性。场景改造在制造业中是常见的，也是成功的。例如汽车制造业，原始的生产过程是人工操作的，其中包含大量不确定性，不是封闭性场景。建设汽车自动化生产线的本质，是建立一个物理的三维坐标系，使得生产过程中出现的一切（如车身、零件、机器人和其他装备）都在这个坐标系中被精确定位，误差控制在亚毫米级以下，从而把非封闭的场景彻底改造为封闭的（这种改造在工业上称为“结构化”），于是各种智能装备和自动化设备都可以自动运行，独立完成生产任务。这种封闭化/结构化策略正在越来越多地应用于其他行业，而且智能化程度不断提升。
第二条落地路径：分治法。一些复杂的生产过程难以一次性地进行封闭化，但可以从整个生产过程中分解出一些环节，对这些环节进行封闭化，使之符合强封闭性准则；而不能封闭化的环节继续保留传统生产模式，各个环节之间通过移动机器人进行连接。这种策略已被奥迪等大型企业采纳，其实对较小型企业也是适用的。
第三条落地路径：准封闭化。在服务业和人机协作等场合，普遍存在着大量无法彻底封闭化的场景，这时可考虑采取“准封闭化”策略：将应用场景中可能导致致命性失误的部分彻底封闭化，不会出现致命性失误的部分半封闭化。举一个运输业的例子，高铁系统的行车部分是封闭化的，而乘客的活动不要求封闭化，在遵守相关规定的前提下可自由活动。对于服务业的很多场景，只要满足失误非致命性条件，就可以放宽封闭性程度要求，因为适当条件下，这些场景中的人可以弥补人工智能系统的不足。
因此，强封闭性准则并非简单地要求一个场景在自然形态下满足该准则，而是指出一个目标方向，并通过场景裁剪或场景改造，只要裁剪/改造后的场景符合强封闭性准则，就可以在该场景中应用现有人工智能技术，实现产业升级。
不满足强封闭性准则（包括无法通过场景裁剪或场景改造满足准则）的场景也是大量存在的，现有人工智能技术在这些场景中难以实用化。一个典型例子是开放领域的人机对话。由于这种对话的提问集不是有限确定的，无法收集、标注所有代表性提问数据，也无法写出足够的规则描述提问或对应的回答，因而无法用现有人工智能技术完全实现开放领域的人机对话。
尤其值得注意的是，目前国内外人工智能应用都没有充分体现强封闭性准则，具体表现是：一方面选择了自然形态下不符合强封闭性准则的应用场景，另一方面又没有进行充分的场景裁剪或场景改造。因此，人工智能应用的现实情况不容乐观。近来，国外媒体开始注意到人工智能初创企业发展不顺的情况，却只报道现象，没有分析深层原因。本文的观察是直截了当的：人工智能技术落地不顺利的原因不是现有人工智能技术不具备应用潜力，而是因为这些落地项目没有通过充分的场景裁剪或场景改造，以确保符合强封闭性准则的要求。
▍人工智能的风险分析
人工智能技术具有正、反两方面的作用，在造福于人类的同时，也存在各种风险。理论上可能存在四种风险：技术失控、技术误用、应用风险、管理失误。从封闭性准则的视角分析这些风险，可以得出更符合实际的观察。对四种风险的具体分析简述如下。
风险1：技术失控。技术失控指的是技术的发展超越了人类的控制能力，甚至人类被技术控制，这是很多人最为担忧的风险。上面的分析表明，现有人工智能技术仅在满足强封闭性准则的条件下，才可发挥其强大功能；在非封闭的场景中，现有人工智能技术的能力远远不如人类，而现实世界的大部分场景是非封闭的。所以，目前不存在技术失控风险，并且未来只要依据封闭性准则做到以下三点，仍然可以避免技术失控。第一，在封闭化改造中，不仅考虑产业或商业需求，也考虑改造后场景的可控性，这种考虑不应局限于单个场景，而应通过行业标准批量式地制定和落实。第二，在对适用于非封闭性场景的人工智能新技术的研发中，不仅考虑技术性能，也考虑新技术的伦理风险及其可控性。第三，在对具有特殊需求的人工智能新技术的研发中，不仅考虑特殊需求的满足，也考虑新技术的伦理风险和应用条件，并严格控制这些技术的实际应用。
风险2：技术误用。与信息技术相关的技术误用包括数据隐私问题、安全性问题和公平性问题等，人工智能技术的应用可以放大这些问题的严重程度，也可能产生新的技术误用类型。在现有条件下，人工智能技术本身是中性的，是否出现误用完全取决于技术的使用。因此，对人工智能技术误用的重视和风险防范应提上议事日程。值得注意的是，根据封闭性准则，现有人工智能技术仅在封闭性场景中有效，而对于这种场景中的技术误用，至少理论上是有办法应对的，所以应该积极对应，无须恐惧。不仅如此，应用自动验证等现有技术，可以消除或减轻某些技术误用的风险。
风险3：应用风险。应用风险指的是技术应用导致负面社会后果的可能性。目前人们最担心的是人工智能在某些行业中的普遍应用导致工作岗位的大量减少。应用风险是由技术的应用引起的，因此关键在于对应用的掌控。根据强封闭性准则，人工智能技术在实体经济中的应用往往需要借助于场景改造，而场景改造完全处于人类的控制之下，做多做少取决于相关的产业决策。因此，在强封闭性条件下，应用风险是可控的；同时也意味着，产业决策及相关的风险预测是应用风险防范的重点。
风险4：管理失误。人工智能是一项新技术，它的应用是一项新事物，社会缺乏管理经验，容易陷入“一管就死，一放就乱”的局面。为此，更需要深入理解人工智能现有成果的技术本质和技术条件，确保监管措施的针对性、有效性。封闭性准则刻画了现有人工智能技术的能力边界，从而为相关治理措施的制定提供了依据。同样，当未来人工智能技术超越了强封闭性条件，那时人类就需要某种把握未来人工智能技术本质的新准则（如封闭性准则 2.0）。还应看到，人工智能伦理问题不是一个单纯的风险管控问题，而需建设一个将监管与发展融为一体的完整伦理体系。
以上分析表明，封闭性准则帮助我们形成对各种风险的更具体、更明确、更贴近实际的认识，三点主要观察概括如下。第一，短期内不存在技术失控风险；对长期风险来说，应关注适用于非封闭性场景的新技术，而强封闭性准则为保证这种技术的风险可控性提供了初步指导。第二，技术误用和管理失误是目前的主要风险来源，应重点关注，着力加强研究。第三，应用风险尚未出现，未来出现的可能性、形态及应对手段需提早研判。
▍结语
本文认为目前关于人工智能存在这三种认识误区：
第一种误区：人工智能已经无所不能，因此现有人工智能技术可以无条件地应用。根据强封闭性准则，现有人工智能技术远未达到无所不能的程度，应用是有条件的。因此，在产业应用中亟须加强对强封闭性准则的认识，加强场景裁剪和场景改造，避免违反强封闭性准则的盲目应用，而这种盲目目前在国内外都十分普遍，不仅浪费资源，更严重的是干扰了有希望成功的应用。
第二种误区：现有人工智能技术不能大规模实际应用，因为现有人工智能技术依赖于人工标注，并不智能。本文指出，现有人工智能技术并不局限于深度学习，而暴力法和训练法的结合可以避免人工标注，而且符合强封闭性准则的应用场景可以有效地实施数据采集和人工标注。目前一些应用不成功的原因在于违反了强封闭性准则，而不是因为现有人工智能技术不能应用。这个误区往往发生在对人工智能技术有一定了解而认识不到位的情况下。与第一种误区一样，这种误解会严重影响我国人工智能产业应用的进度。
第三种误区：在未来 20~30 年内，人工智能技术发展将超越某个临界点，之后人工智能将不受人类控制自由发展。根据强封闭性准则和全球人工智能研究现状，这种“奇点说”在技术范围内没有任何科学依据。封闭性准则包含的一些条件，如模型的语义完全性、代表性数据集的有限确定性，通常需要借助于强封闭性准则要求的人工措施的辅助才可以满足。假想未来有可能突破这些限制，与人工智能目前已具备突破这些限制的能力，完全是两回事。即使将来突破了某种限制，还会有新的限制加以约束。这一类说法无形中假定，可以存在脱离具体条件的人工智能技术。这种技术是否可能存在，目前并没有任何科学证据的支持，有待于未来的观察和研判。
这三种误区是我国人工智能发展的主要思想障碍。封闭性和强封闭性准则立足于现有人工智能技术本质，为消除这些误区提供了依据，也为观察、思考和研究人工智能发展的其他问题，避免重复以往人为放大“周期性起伏”的干扰，提供了一种新的视角。