一、人工智能的概念
人工智能作为一门前沿交叉学科，其定义一直存有不同的观点：《人工智能 ——一种现代方法》中将已有的一些人工智能定义分为四类：像人一样思考的系 统、像人一样行动的系统、理性地思考的系统、理性地行动的系统。维基百科上定义“人工智能就是机器展现出的智能”，即只要是某种机器，具有某种或某些 “智能”的特征或表现，都应该算作“人工智能”。大英百科全书则限定人工智 能是数字计算机或者数字计算机控制的机器人在执行智能生物体才有的一些任 务上的能力。百度百科定义人工智能是“研究、开发用于模拟、延伸和扩展人的 智能的理论、方法、技术及应用系统的一门新的技术科学”，将其视为计算机科 学的一个分支，指出其研究包括机器人、语言识别、图像识别、自然语言处理和 专家系统等。
本白皮书认为，人工智能是利用数字计算机或者数字计算机控制的机器模拟、 延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、 方法、技术及应用系统。
人工智能的定义对人工智能学科的基本思想和内容作出了解释，即围绕智能活动而构造的人工系统。人工智能是知识的工程，是机器模仿人类利用知识完成 一定行为的过程。根据人工智能是否能真正实现推理、思考和解决问题，可以将 人工智能分为弱人工智能和强人工智能。
弱人工智能是指不能真正实现推理和解决问题的智能机器，这些机器表面看 像是智能的，但是并不真正拥有智能，也不会有自主意识。迄今为止的人工智能 系统都还是实现特定功能的专用智能，而不是像人类智能那样能够不断适应复杂 的新环境并不断涌现出新的功能，因此都还是弱人工智能。目前的主流研究仍然 集中于弱人工智能，并取得了显著进步，如语音识别、图像处理和物体分割、机 器翻译等方面取得了重大突破，甚至可以接近或超越人类水平。
强人工智能是指真正能思维的智能机器，并且认为这样的机器是有知觉的和 自我意识的，这类机器可分为类人（机器的思考和推理类似人的思维）与非类人 （机器产生了和人完全不一样的知觉和意识，使用和人完全不一样的推理方式） 两大类。从一般意义来说，达到人类水平的、能够自适应地应对外界环境挑战的、 具有自我意识的人工智能称为“通用人工智能”、“强人工智能”或“类人智能”。 强人工智能不仅在哲学上存在巨大争论（涉及到思维与意识等根本问题的讨论）， 在技术上的研究也具有极大的挑战性。强人工智能当前鲜有进展，美国私营部门 的专家及国家科技委员会比较支持的观点是，至少在未来几十年内难以实现。
靠符号主义、连接主义、行为主义和统计主义这四个流派的经典路线就能设 计制造出强人工智能吗？其中一个主流看法是：即使有更高性能的计算平台和更 大规模的大数据助力，也还只是量变，不是质变，人类对自身智能的认识还处在 初级阶段，在人类真正理解智能机理之前，不可能制造出强人工智能。理解大脑 产生智能的机理是脑科学的终极性问题，绝大多数脑科学专家都认为这是一个数 百年乃至数千年甚至永远都解决不了的问题。
通向强人工智能还有一条“新”路线，这里称为“仿真主义”。这条新路线 通过制造先进的大脑探测工具从结构上解析大脑，再利用工程技术手段构造出模 仿大脑神经网络基元及结构的仿脑装置，最后通过环境刺激和交互训练仿真大脑 实现类人智能，简言之，“先结构，后功能”。虽然这项工程也十分困难，但都 是有可能在数十年内解决的工程技术问题，而不像“理解大脑”这个科学问题那 样遥不可及。
仿真主义可以说是符号主义、连接主义、行为主义和统计主义之后的第五个 流派，和前四个流派有着千丝万缕的联系，也是前四个流派通向强人工智能的关 键一环。经典计算机是数理逻辑的开关电路实现，采用冯诺依曼体系结构，可以作为逻辑推理等专用智能的实现载体。但要靠经典计算机不可能实现强人工智能。要按仿真主义的路线“仿脑”，就必须设计制造全新的软硬件系统，这就是 “类脑计算机”，或者更准确地称为“仿脑机”。“仿脑机”是“仿真工程”的 标志性成果，也是“仿脑工程”通向强人工智能之路的重要里程碑。
二、人工智能的特征
（1）由人类设计，为人类服务，本质为计算，基础为数据。从根本上说， 人工智能系统必须以人为本，这些系统是人类设计出的机器，按照人类设定的程 序逻辑或软件算法通过人类发明的芯片等硬件载体来运行或工作，其本质体现为 计算，通过对数据的采集、加工、处理、分析和挖掘，形成有价值的信息流和知 识模型，来为人类提供延伸人类能力的服务，来实现对人类期望的一些“智能行 为”的模拟，在理想情况下必须体现服务人类的特点，而不应该伤害人类，特别 是不应该有目的性地做出伤害人类的行为。
（2）能感知环境，能产生反应，能与人交互，能与人互补。人工智能系统 应能借助传感器等器件产生对外界环境（包括人类）进行感知的能力，可以像人 一样通过听觉、视觉、嗅觉、触觉等接收来自环境的各种信息，对外界输入产生 文字、语音、表情、动作（控制执行机构）等必要的反应，甚至影响到环境或人 类。借助于按钮、键盘、鼠标、屏幕、手势、体态、表情、力反馈、虚拟现实/ 增强现实等方式，人与机器间可以产生交互与互动，使机器设备越来越“理解” 人类乃至与人类共同协作、优势互补。这样，人工智能系统能够帮助人类做人类 不擅长、不喜欢但机器能够完成的工作，而人类则适合于去做更需要创造性、洞 察力、想象力、灵活性、多变性乃至用心领悟或需要感情的一些工作。
（3）有适应特性，有学习能力，有演化迭代，有连接扩展。人工智能系统 在理想情况下应具有一定的自适应特性和学习能力，即具有一定的随环境、数据 或任务变化而自适应调节参数或更新优化模型的能力；并且，能够在此基础上通 过与云、端、人、物越来越广泛深入数字化连接扩展，实现机器客体乃至人类主体的演化迭代，以使系统具有适应性、鲁棒性、灵活性、扩展性，来应对不断变化的现实环境，从而使人工智能系统在各行各业产生丰富的应用。
三、人工智能参考框架
目前，人工智能领域尚未形成完善的参考框架。因此，本章基于人工智能的 发展状况和应用特征，从人工智能信息流动的角度出发，提出一种人工智能参考框架，力图搭建较为完整的人工智能主体框架，描述人工智能系 统总体工作流程，不受具体应用所限，适用于通用的人工智能领域需求。
人工智能参考框架提供了基于“角色—活动—功能”的层级分类体系，从 “智能信息链”（水平轴）和“IT 价值链”（垂直轴）两个维度阐述了人工智 能系统框架。“智能信息链”反映从智能信息感知、智能信息表示与形成、智能 推理、智能决策、智能执行与输出的一般过程。在这个过程中，智能信息是流动 的载体，经历了“数据—信息—知识—智慧”的凝练过程。“IT 价值链”从人 工智能的底层基础设施、信息（提供和处理技术实现）到系统的产业生态过程， 反映人工智能为信息技术产业带来的价值。此外，人工智能系统还有其它非常重 要的框架构件：安全、隐私、伦理和管理。人工智能系统主要由基础设施提供者、 信息提供者、信息处理者和系统协调者 4 个角色组成。
（1）基础设施提供者
基础设施提供者为人工智能系统提供计算能力支持，实现与外部世界的沟通， 并通过基础平台实现支撑。计算能力由智能芯片（CPU、GPU、ASIC、FPGA 等 硬件加速芯片以及其它智能芯片）等硬件系统开发商提供；与外部世界的沟通通 过新型传感器制造商提供；基础平台包括分布式计算框架提供商及网络提供商提 供平台保障和支持，即包括云存储和计算、互联互通网络等。
（2）信息提供者
信息提供者在人工智能领域是智能信息的来源。通过知识信息感知过程由数 据提供商提供智能感知信息，包括原始数据资源和数据集。原始数据资源的感知 涉及到图形、图像、语音、文本的识别，还涉及到传统设备的物联网数据，包括 已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
（3）信息处理者
信息处理者是指人工智能领域中技术和服务提供商。信息处理者的主要活动 包括智能信息表示与形成、智能推理、智能决策及智能执行与输出。智能信息处 理者通常是算法工程师及技术服务提供商，通过计算框架、模型及通用技术，例 如一些深度学习框架和机器学习算法模型等功能进行支撑。
智能信息表示与形成是指为描述外围世界所作的一组约定，分阶段对智能信 息进行符号化和形式化的智能信息建模、抽取、预处理、训练数据等。
智能信息推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据 推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能 是搜索与匹配。
智能信息决策是指智能信息经过推理后进行决策的过程，通常提供分类、排 序、预测等功能。
智能执行与输出作为智能信息输出的环节，是对输入作出的响应，输出整个 智能信息流动过程的结果，包括运动、显示、发声、交互、合成等功能。
（4）系统协调者
系统协调者提供人工智能系统必须满足的整体要求，包括政策、法律、资源和业务需求，以及为确保系统符合这些需求而进行的监控和审计活动。由于人工 智能是多学科交叉领域，需要系统协调者定义和整合所需的应用活动，使其在人 工智能领域的垂直系统中运行。系统协调者的功能之一是配置和管理人工智能参 考框架中的其他角色来执行一个或多个功能，并维持人工智能系统的运行。
（5）安全、隐私、伦理 安全、隐私、伦理覆盖了人工智能领域的其他 4 个主要角色，对每个角色都 有重要的影响作用。同时，安全、隐私、伦理处于管理角色的覆盖范围之内，与 全部角色和活动都建立了相关联系。在安全、隐私、伦理模块，需要通过不同的 技术手段和安全措施，构筑全方位、立体的安全防护体系，保护人工智能领域参 与者的安全和隐私。
（6）管理 管理角色承担系统管理活动，包括软件调配、资源管理等内容，管理的功能 是监视各种资源的运行状况，应对出现的性能或故障事件，使得各系统组件透明且可观。
（7）智能产品及行业应用 智能产品及行业应用指人工智能系统的产品和应用，是对人工智能整体解决 方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智 能制造、智能交通、智能家居、智能医疗、智能安防等。
四、人工智能关键技术
1 机器学习
机器学习（Machine Learning）是一门涉及统计学、系统辨识、逼近理论、 神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科，研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识 结构使之不断改善自身的性能，是人工智能技术的核心。基于数据的机器学习是 现代智能技术中的重要方法之一，研究从观测数据（样本）出发寻找规律，利用 这些规律对未来数据或无法观测的数据进行预测。根据学习模式、学习方法以及 算法的不同，机器学习存在不同的分类方法。
（1）根据学习模式将机器学习分类为监督学习、无监督学习和强化学习等。
监督学习
监督学习是利用已标记的有限训练数据集，通过某种学习策略/方法建立一 个模型，实现对新数据/实例的标记（分类）/映射，最典型的监督学习算法包括 回归和分类。监督学习要求训练样本的分类标签已知，分类标签精确度越高，样 本越具有代表性，学习模型的准确度越高。监督学习在自然语言处理、信息检索、 文本挖掘、手写体辨识、垃圾邮件侦测等领域获得了广泛应用。
无监督学习
无监督学习是利用无标记的有限数据描述隐藏在未标记数据中的结构/规律， 最典型的非监督学习算法包括单类密度估计、单类数据降维、聚类等。无监督学 习不需要训练样本和人工标注数据，便于压缩数据存储、减少计算量、提升算法 速度，还可以避免正、负样本偏移引起的分类错误问题。主要用于经济预测、异 常检测、数据挖掘、图像处理、模式识别等领域，例如组织大型计算机集群、社 交网络分析、市场分割、天文数据分析等。
强化学习
强化学习是智能系统从环境到行为映射的学习，以使强化信号函数值最大。 由于外部环境提供的信息很少，强化学习系统必须靠自身的经历进行学习。强化 学习的目标是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环 境最大的奖赏，使得外部环境对学习系统在某种意义下的评价为最佳。其在机器 人控制、无人驾驶、下棋、工业控制等领域获得成功应用。
（2）根据学习方法可以将机器学习分为传统机器学习和深度学习。
传统机器学习
传统机器学习从一些观测（训练）样本出发，试图发现不能通过原理分析获 得的规律，实现对未来数据行为或趋势的准确预测。相关算法包括逻辑回归、隐 马尔科夫方法、支持向量机方法、K 近邻方法、三层人工神经网络方法、Adaboost 算法、贝叶斯方法以及决策树方法等。传统机器学习平衡了学习结果的有效性与 学习模型的可解释性，为解决有限样本的学习问题提供了一种框架，主要用于有 限样本情况下的模式分类、回归分析、概率密度估计等。传统机器学习方法共同 的重要理论基础之一是统计学，在自然语言处理、语音识别、图像识别、信息检索和生物信息等许多计算机领域获得了广泛应用。
深度学习
深度学习是建立深层结构模型的学习方法，典型的深度学习算法包括深度置 信网络、卷积神经网络、受限玻尔兹曼机和循环神经网络等。深度学习又称为深 度神经网络（指层数超过 3 层的神经网络）。深度学习作为机器学习研究中的一 个新兴领域，由 Hinton 等人于 2006 年提出。深度学习源于多层神经网络，其实 质是给出了一种将特征表示和学习合二为一的方式。深度学习的特点是放弃了可 解释性，单纯追求学习的有效性。经过多年的摸索尝试和研究，已经产生了诸多 深度神经网络的模型，其中卷积神经网络、循环神经网络是两类典型的模型。卷 积神经网络常被应用于空间性分布数据；循环神经网络在神经网络中引入了记忆和反馈，常被应用于时间性分布数据。深度学习框架是进行深度学习的基础底层 框架，一般包含主流的神经网络算法模型，提供稳定的深度学习 API，支持训练 模型在服务器和 GPU、TPU 间的分布式学习，部分框架还具备在包括移动设备、云平台在内的多种平台上运行的移植能力，从而为深度学习算法带来前所未有的 运行速度和实用性。目前主流的开源算法框架有 TensorFlow、Caffe/Caffe2、CNTK、 MXNet、Paddle-paddle、Torch/PyTorch、Theano 等。
（3）此外，机器学习的常见算法还包括迁移学习、主动学习和演化学习等。
迁移学习
迁移学习是指当在某些领域无法取得足够多的数据进行模型训练时，利用另 一领域数据获得的关系进行的学习。迁移学习可以把已训练好的模型参数迁移到 新的模型指导新模型训练，可以更有效的学习底层规则、减少数据量。目前的迁 移学习技术主要在变量有限的小规模应用中使用，如基于传感器网络的定位，文 字分类和图像分类等。未来迁移学习将被广泛应用于解决更有挑战性的问题，如 视频分类、社交网络分析、逻辑推理等。
主动学习
主动学习通过一定的算法查询最有用的未标记样本，并交由专家进行标记， 然后用查询到的样本训练分类模型来提高模型的精度。主动学习能够选择性地获 取知识，通过较少的训练样本获得高性能的模型，最常用的策略是通过不确定性 准则和差异性准则选取有效的样本。
演化学习
演化学习对优化问题性质要求极少，只需能够评估解的好坏即可，适用于求 解复杂的优化问题，也能直接用于多目标优化。演化算法包括粒子群优化算法、 多目标演化算法等。目前针对演化学习的研究主要集中在演化数据聚类、对演化 数据更有效的分类，以及提供某种自适应机制以确定演化机制的影响等。
2 知识图谱
知识图谱本质上是结构化的语义知识库，是一种由节点和边组成的图数据结 构，以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体 —关系—实体”三元组，以及实体及其相关“属性—值”对。不同实体之间通过 关系相互联结，构成网状的知识结构。在知识图谱中，每个节点表示现实世界的 “实体”，每条边为实体与实体之间的“关系”。通俗地讲，知识图谱就是把所有不同种类的信息连接在一起而得到的一个关系网络，提供了从“关系”的角度 去分析问题的能力。
知识图谱可用于反欺诈、不一致性验证、组团欺诈等公共安全保障领域，需 要用到异常分析、静态分析、动态分析等数据挖掘方法。特别地，知识图谱在搜 索引擎、可视化展示和精准营销方面有很大的优势，已成为业界的热门工具。但 是，知识图谱的发展还有很大的挑战，如数据的噪声问题，即数据本身有错误或 者数据存在冗余。随着知识图谱应用的不断深入，还有一系列关键技术需要突破。
3 自然语言处理
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，研究能 实现人与计算机之间用自然语言进行有效通信的各种理论和方法，涉及的领域较 多，主要包括机器翻译、机器阅读理解和问答系统等。
（1）机器翻译
机器翻译技术是指利用计算机技术实现从一种自然语言到另外一种自然语 言的翻译过程。基于统计的机器翻译方法突破了之前基于规则和实例翻译方法的 局限性，翻译性能取得巨大提升。基于深度神经网络的机器翻译在日常口语等一 些场景的成功应用已经显现出了巨大的潜力。随着上下文的语境表征和知识逻辑 推理能力的发展，自然语言知识图谱不断扩充，机器翻译将会在多轮对话翻译及 篇章翻译等领域取得更大进展。
目前非限定领域机器翻译中性能较佳的一种是统计机器翻译，包括训练及解 码两个阶段。训练阶段的目标是获得模型参数，解码阶段的目标是利用所估计的 参数和给定的优化目标，获取待翻译语句的最佳翻译结果。统计机器翻译主要包 括语料预处理、词对齐、短语抽取、短语概率计算、最大熵调序等步骤。基于神 经网络的端到端翻译方法不需要针对双语句子专门设计特征模型，而是直接把源 语言句子的词串送入神经网络模型，经过神经网络的运算，得到目标语言句子的 翻译结果。在基于端到端的机器翻译系统中，通常采用递归神经网络或卷积神经 网络对句子进行表征建模，从海量训练数据中抽取语义信息，与基于短语的统计 翻译相比，其翻译结果更加流畅自然，在实际应用中取得了较好的效果。
（2）语义理解
语义理解技术是指利用计算机技术实现对文本篇章的理解，并且回答与篇章 相关问题的过程。语义理解更注重于对上下文的理解以及对答案精准程度的把控。 随着 MCTest 数据集的发布，语义理解受到更多关注，取得了快速发展，相关数 据集和对应的神经网络模型层出不穷。语义理解技术将在智能客服、产品自动问 答等相关领域发挥重要作用，进一步提高问答与对话系统的精度。
在数据采集方面，语义理解通过自动构造数据方法和自动构造填空型问题的 方法来有效扩充数据资源。为了解决填充型问题，一些基于深度学习的方法相继 提出，如基于注意力的神经网络方法。当前主流的模型是利用神经网络技术对篇章、问题建模，对答案的开始和终止位置进行预测，抽取出篇章片段。对于进一 步泛化的答案，处理难度进一步提升，目前的语义理解技术仍有较大的提升空间。
（3）问答系统
问答系统分为开放领域的对话系统和特定领域的问答系统。问答系统技术是 指让计算机像人类一样用自然语言与人交流的技术。人们可以向问答系统提交用 自然语言表达的问题，系统会返回关联性较高的答案。尽管问答系统目前已经有 了不少应用产品出现，但大多是在实际信息服务系统和智能手机助手等领域中的 应用，在问答系统鲁棒性方面仍然存在着问题和挑战。
自然语言处理面临四大挑战：一是在词法、句法、语义、语用和语音等不同 层面存在不确定性；二是新的词汇、术语、语义和语法导致未知语言现象的不可 预测性；三是数据资源的不充分使其难以覆盖复杂的语言现象；四是语义知识的 模糊性和错综复杂的关联性难以用简单的数学模型描述，语义计算需要参数庞大 的非线性计算。
4 人机交互
人机交互主要研究人和计算机之间的信息交换，主要包括人到计算机和计算 机到人的两部分信息交换，是人工智能领域的重要的外围技术。人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科。传统的人与计算机之间的信息交换主要依靠交互设备进行，主要包括键盘、鼠标、 操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等输入设备，以及打印机、绘图仪、显示器、头盔式显示器、音箱等输出设备。人机交互技术 除了传统的基本交互和图形交互外，还包括语音交互、情感交互、体感交互及脑 机交互等技术，以下对后四种与人工智能关联密切的典型交互手段进行介绍。
（1）语音交互
语音交互是一种高效的交互方式，是人以自然语音或机器合成语音同计算机 进行交互的综合性技术，结合了语言学、心理学、工程和计算机技术等领域的知 识。语音交互不仅要对语音识别和语音合成进行研究，还要对人在语音通道下的 交互机理、行为方式等进行研究。语音交互过程包括四部分：语音采集、语音识 别、语义理解和语音合成。语音采集完成音频的录入、采样及编码；语音识别完 成语音信息到机器可识别的文本信息的转化；语义理解根据语音识别转换后的文 本字符或命令完成相应的操作；语音合成完成文本信息到声音信息的转换。作为 人类沟通和获取信息最自然便捷的手段，语音交互比其他交互方式具备更多优势， 能为人机交互带来根本性变革，是大数据和认知计算时代未来发展的制高点，具 有广阔的发展前景和应用前景。
（2）情感交互
情感是一种高层次的信息传递，而情感交互是一种交互状态，它在表达功能 和信息时传递情感，勾起人们的记忆或内心的情愫。传统的人机交互无法理解和 适应人的情绪或心境，缺乏情感理解和表达能力，计算机难以具有类似人一样的 智能，也难以通过人机交互做到真正的和谐与自然。情感交互就是要赋予计算机 类似于人一样的观察、理解和生成各种情感的能力，最终使计算机像人一样能进 行自然、亲切和生动的交互。情感交互已经成为人工智能领域中的热点方向，旨 在让人机交互变得更加自然。目前，在情感交互信息的处理方式、情感描述方式、 情感数据获取和处理过程、情感表达方式等方面还有诸多技术挑战。
（3）体感交互
体感交互是个体不需要借助任何复杂的控制系统，以体感技术为基础，直接 通过肢体动作与周边数字设备装置和环境进行自然的交互。依照体感方式与原理 的不同，体感技术主要分为三类：惯性感测、光学感测以及光学联合感测。体感 交互通常由运动追踪、手势识别、运动捕捉、面部表情识别等一系列技术支撑。与其他交互手段相比，体感交互技术无论是硬件还是软件方面都有了较大的提升， 交互设备向小型化、便携化、使用方便化等方面发展，大大降低了对用户的约束， 使得交互过程更加自然。目前，体感交互在游戏娱乐、医疗辅助与康复、全自动 三维建模、辅助购物、眼动仪等领域有了较为广泛的应用。
（4）脑机交互
脑机交互又称为脑机接口，指不依赖于外围神经和肌肉等神经通道，直接实 现大脑与外界信息传递的通路。脑机接口系统检测中枢神经系统活动，并将其转 化为人工输出指令，能够替代、修复、增强、补充或者改善中枢神经系统的正常 输出，从而改变中枢神经系统与内外环境之间的交互作用。脑机交互通过对神经 信号解码，实现脑信号到机器指令的转化，一般包括信号采集、特征提取和命令 输出三个模块。从脑电信号采集的角度，一般将脑机接口分为侵入式和非侵入式 两大类。除此之外，脑机接口还有其他常见的分类方式：按照信号传输方向可以 分为脑到机、机到脑和脑机双向接口；按照信号生成的类型，可分为自发式脑机 接口和诱发式脑机接口；按照信号源的不同还可分为基于脑电的脑机接口、基于 功能性核磁共振的脑机接口以及基于近红外光谱分析的脑机接口。
5 计算机视觉
计算机视觉是使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类 提取、处理、理解和分析图像以及图像序列的能力。自动驾驶、机器人、智能医 疗等领域均需要通过计算机视觉技术从视觉信号中提取并处理信息。近来随着深 度学习的发展，预处理、特征提取与算法处理渐渐融合，形成端到端的人工智能 算法技术。根据解决的问题，计算机视觉可分为计算成像学、图像理解、三维视 觉、动态视觉和视频编解码五大类。
（1）计算成像学
计算成像学是探索人眼结构、相机成像原理以及其延伸应用的科学。在相机 成像原理方面，计算成像学不断促进现有可见光相机的完善，使得现代相机更加 轻便，可以适用于不同场景。同时计算成像学也推动着新型相机的产生，使相机 超出可见光的限制。在相机应用科学方面，计算成像学可以提升相机的能力，从 而通过后续的算法处理使得在受限条件下拍摄的图像更加完善，例如图像去噪、去模糊、暗光增强、去雾霾等，以及实现新的功能，例如全景图、软件虚化、超 分辨率等。
（2）图像理解
图像理解是通过用计算机系统解释图像，实现类似人类视觉系统理解外部世 界的一门科学。通常根据理解信息的抽象程度可分为三个层次：浅层理解，包括 图像边缘、图像特征点、纹理元素等；中层理解，包括物体边界、区域与平面等； 高层理解，根据需要抽取的高层语义信息，可大致分为识别、检测、分割、姿态 估计、图像文字说明等。目前高层图像理解算法已逐渐广泛应用于人工智能系统， 如刷脸支付、智慧安防、图像搜索等。
（3）三维视觉
三维视觉即研究如何通过视觉获取三维信息（三维重建）以及如何理解所获 取的三维信息的科学。三维重建可以根据重建的信息来源，分为单目图像重建、 多目图像重建和深度图像重建等。三维信息理解，即使用三维信息辅助图像理解 或者直接理解三维信息。三维信息理解可分为，浅层：角点、边缘、法向量等； 中层：平面、立方体等；高层：物体检测、识别、分割等。三维视觉技术可以广 泛应用于机器人、无人驾驶、智慧工厂、虚拟/增强现实等方向。
（4）动态视觉
动态视觉即分析视频或图像序列，模拟人处理时序图像的科学。通常动态视 觉问题可以定义为寻找图像元素，如像素、区域、物体在时序上的对应，以及提 取其语义信息的问题。动态视觉研究被广泛应用在视频分析以及人机交互等方面。
（5）视频编解码
视频编解码是指通过特定的压缩技术，将视频流进行压缩。视频流传输中最 为重要的编解码标准有国际电联的 H.261、H.263、H.264、H.265、M-JPEG 和 MPEG 系列标准。视频压缩编码主要分为两大类：无损压缩和有损压缩。无损压 缩指使用压缩后的数据进行重构时，重构后的数据与原来的数据完全相同，例如 磁盘文件的压缩。有损压缩也称为不可逆编码，指使用压缩后的数据进行重构时， 重构后的数据与原来的数据有差异，但不会影响人们对原始资料所表达的信息产 生误解。有损压缩的应用范围广泛，例如视频会议、可视电话、视频广播、视频监控等。
目前，计算机视觉技术发展迅速，已具备初步的产业规模。未来计算机视觉 技术的发展主要面临以下挑战：一是如何在不同的应用领域和其他技术更好的结 合，计算机视觉在解决某些问题时可以广泛利用大数据，已经逐渐成熟并且可以 超过人类，而在某些问题上却无法达到很高的精度；二是如何降低计算机视觉算 法的开发时间和人力成本，目前计算机视觉算法需要大量的数据与人工标注，需 要较长的研发周期以达到应用领域所要求的精度与耗时；三是如何加快新型算法 的设计开发，随着新的成像硬件与人工智能芯片的出现，针对不同芯片与数据采 集设备的计算机视觉算法的设计与开发也是挑战之一。
6 生物特征识别
生物特征识别技术是指通过个体生理特征或行为特征对个体身份进行识别 认证的技术。从应用流程看，生物特征识别通常分为注册和识别两个阶段。注册 阶段通过传感器对人体的生物表征信息进行采集，如利用图像传感器对指纹和人 脸等光学信息、麦克风对说话声等声学信息进行采集，利用数据预处理以及特征 提取技术对采集的数据进行处理，得到相应的特征进行存储。识别过程采用与注 册过程一致的信息采集方式对待识别人进行信息采集、数据预处理和特征提取， 然后将提取的特征与存储的特征进行比对分析，完成识别。从应用任务看，生物 特征识别一般分为辨认与确认两种任务，辨认是指从存储库中确定待识别人身份 的过程，是一对多的问题；确认是指将待识别人信息与存储库中特定单人信息进 行比对，确定身份的过程，是一对一的问题。
生物特征识别技术涉及的内容十分广泛，包括指纹、掌纹、人脸、虹膜、指 静脉、声纹、步态等多种生物特征，其识别过程涉及到图像处理、计算机视觉、 语音识别、机器学习等多项技术。目前生物特征识别作为重要的智能化身份认证 技术，在金融、公共安全、教育、交通等领域得到广泛的应用。下面将对指纹识 别、人脸识别、虹膜识别、指静脉识别、声纹识别以及步态识别等技术进行介绍。
（1）指纹识别 指纹识别过程通常包括数据采集、数据处理、分析判别三个过程。数据采集 通过光、电、力、热等物理传感器获取指纹图像；数据处理包括预处理、畸变校正、特征提取三个过程；分析判别是对提取的特征进行分析判别的过程。
（2）人脸识别 人脸识别是典型的计算机视觉应用，从应用过程来看，可将人脸识别技术划 分为检测定位、面部特征提取以及人脸确认三个过程。人脸识别技术的应用主要 受到光照、拍摄角度、图像遮挡、年龄等多个因素的影响，在约束条件下人脸识 别技术相对成熟，在自由条件下人脸识别技术还在不断改进。
（3）虹膜识别 虹膜识别的理论框架主要包括虹膜图像分割、虹膜区域归一化、特征提取和 识别四个部分，研究工作大多是基于此理论框架发展而来。虹膜识别技术应用的 主要难题包含传感器和光照影响两个方面：一方面，由于虹膜尺寸小且受黑色素 遮挡，需在近红外光源下采用高分辨图像传感器才可清晰成像，对传感器质量和 稳定性要求比较高；另一方面，光照的强弱变化会引起瞳孔缩放，导致虹膜纹理 产生复杂形变，增加了匹配的难度。
（4）指静脉识别 指静脉识别是利用了人体静脉血管中的脱氧血红蛋白对特定波长范围内的 近红外线有很好的吸收作用这一特性，采用近红外光对指静脉进行成像与识别的 技术。由于指静脉血管分布随机性很强，其网络特征具有很好的唯一性，且属于 人体内部特征，不受到外界影响，因此模态特性十分稳定。指静脉识别技术应用 面临的主要难题来自于成像单元。
（5）声纹识别 声纹识别是指根据待识别语音的声纹特征识别说话人的技术。声纹识别技术 通常可以分为前端处理和建模分析两个阶段。声纹识别的过程是将某段来自某个 人的语音经过特征提取后与多复合声纹模型库中的声纹模型进行匹配，常用的识 别方法可以分为模板匹配法、概率模型法等。
（6）步态识别 步态是远距离复杂场景下唯一可清晰成像的生物特征，步态识别是指通过身 体体型和行走姿态来识别人的身份。相比上述几种生物特征识别，步态识别的技术难度更大，体现在其需要从视频中提取运动特征，以及需要更高要求的预处理 算法，但步态识别具有远距离、跨角度、光照不敏感等优势。
7 虚拟现实/增强现实
虚拟现实（VR）/增强现实（AR）是以计算机为核心的新型视听技术。结合 相关科学技术，在一定范围内生成与真实环境在视觉、听觉、触感等方面高度近 似的数字化环境。用户借助必要的装备与数字化环境中的对象进行交互，相互影响，获得近似真实环境的感受和体验，通过显示设备、跟踪定位设备、触力觉交互设备、数据获取设备、专用芯片等实现。
虚拟现实/增强现实从技术特征角度，按照不同处理阶段，可以分为获取与 建模技术、分析与利用技术、交换与分发技术、展示与交互技术以及技术标准与 评价体系五个方面。获取与建模技术研究如何把物理世界或者人类的创意进行数 字化和模型化，难点是三维物理世界的数字化和模型化技术；分析与利用技术重 点研究对数字内容进行分析、理解、搜索和知识化方法，其难点是在于内容的语 义表示和分析；交换与分发技术主要强调各种网络环境下大规模的数字化内容流 通、转换、集成和面向不同终端用户的个性化服务等，其核心是开放的内容交换 和版权管理技术；展示与交换技术重点研究符合人类习惯数字内容的各种显示技 术及交互方法，以期提高人对复杂信息的认知能力，其难点在于建立自然和谐的 人机交互环境；标准与评价体系重点研究虚拟现实/增强现实基础资源、内容编目、信源编码等的规范标准以及相应的评估技术。
目前虚拟现实/增强现实面临的挑战主要体现在智能获取、普适设备、自由 交互和感知融合四个方面。在硬件平台与装置、核心芯片与器件、软件平台与工 具、相关标准与规范等方面存在一系列科学技术问题。总体来说虚拟现实/增强 现实呈现虚拟现实系统智能化、虚实环境对象无缝融合、自然交互全方位与舒适化的发展趋势。
本文节选自中国电子技术标准化研究院等编写的《人工智能标准化白皮书2018》。
010-57804780