实现SAE Level 4及SAE Level 5的难点在于需要在任何环境下且在没有任何限制的条件下安全地操控汽车，例如，需要在没有绘制过地图的地区或者没有车道线及重要基础设施和环境特征的道路上行驶。因此，由于工程师必须要覆盖和测试的应用场景（Use Cases）数量呈指数级增长，建立一个可在（大部分）无限制环境中运行的系统将需要花费更多的精力。例如，在没有车道标记或车辆行驶在未铺设石板/柏油的道路上，系统必须能够判断出哪些区域是可行驶区域。这是一个困难的计算机视觉技术问题，特别是如果路面与周围环境没有显着差异时，例如道路被大雪所覆盖时间。

　　实现全自动驾驶可能需要花费10年以上的时间

　　鉴于目前的发展趋势，未来10年内完全自动驾驶汽车（SAE Level 4及以上级别）将难以真正实现，其中主要的障碍在于开发满足SAE Level 4及以上级别要求的软件。虽然硬件方面的技术创新能够提供所需的计算能力，而且价格（特别是传感器）会下降（注：由于反摩尔定律的作用），但软件仍将是关键的技术瓶颈。

　　图2 自动驾驶汽车上所使用的各类传感器

　　事实上，硬件的性能已经接近达到使高度优化后的自动驾驶汽车软件（Well-Optimized AV Software）顺畅运行所需的水平，目前的技术应该能够很快达到自动驾驶汽车所需的计算能力，不论是图形处理器（Graphics Processing Units，GPU）还是中央处理器。

　　目前摄像头已经能够满足测试距离、分辨率和视场等方面的性能要求，但在恶劣天气条件下也面临显着的局限性。毫米波雷达在技术上已经准备就绪，它是恶劣天气及路况条件下进行探测的最佳选项。提供最佳视场的是激光雷达，它可以极高的精度探测车辆周围360度内的环境状况。虽然目前市场上出售的激光雷达的价格还非常昂贵，但一些商业上可行的小型廉价产品应该会在未来一两年内进入市场。几家高科技公司声称可将激光雷达的成本降低到500美元以下，另一家公司已经推出了一种售价约为10000美元的能够实现完全自动驾驶的系统（大约有十几个传感器）。从商业化的角度来看，企业需要了解SAE Level 5汽车所需的最佳的传感器数量，以控制整车的成本。（注：例如，以色列固态激光雷达创业公司Innoviz在5月23日刚刚推出的固态激光雷达产品InnovizPro的售价将低于7000美元）

　　令人头疼的软件方面的问题仍然存在

　　开发出与自动驾驶汽车硬件所具备的全部潜力相配且能充分利用之的软件仍然需要较长时间，鉴于问题的复杂性和目前以科研为导向的属性，工程开发方面的时间进度表基本已处于停滞状态。

　　一个关键的问题是，自动驾驶汽车必须在道路上有其他自动驾驶汽车以及人类驾驶员的情形下，学习如何与之协商驾驶方式（注： Chris Urmson在4月份CMU的讲座中也指出这是一个令人头疼的博弈难题）。此外，使用易出错的GPS传感器来对车辆进行高精度定位是另一个待解决的复杂问题。解决上述难题不仅需要大量的前期研发，而且还需要经过长时间的测试和验证。

　　3种类型的问题更具体地说明了软件问题。首先是物体分析（Object Analysis），即探测到物体并理解它们所代表的含义，对自动驾驶汽车至关重要。例如，该系统应该以不同的方式处理静止停放的摩托车和在路边骑自行车的人。因此，必须在物体分析阶段就捕捉到两者之间关键性的差异。

　　物体分析问题中的初步挑战是物体探测，考虑到一天中不同的时间段、环境背景和任何可能的运动，这项任务可能会变得很困难。此外，考虑到传感器所采集的各数据类型（来自激光雷达的点云数据，来自雷达的对象列表以及来自相机图像数据）之间的差异，确认物体的存在性及其类型所需的传感器融合算法在技术上实现起来是极具挑战性的。

　　第2个问题决策系统（Decision-Making Systems）的设计。为了模仿人类的决策，它们必须历经大量应用情景并进行密集且全面的“训练”。理解和标注收集的不同的场景和收集到的图像对于自动驾驶系统而言是一个运用普通方法所难以解决的问题，创建全面的、能够覆盖到自动驾驶汽车所能遇到的所有场景的“if-then”规则库是行不通的。但是，开发人员可以先构建一个“if-then”的规则数据库，然后在此基础上利用机器学习引擎来对其进行补充，因为后者能够在特定场景中进行智能推理并采取相应行动，而创建一个这样的引擎是一项非常艰巨的任务，需要完成大量的开发、测试和验证工作。

　　最后，该系统还需要一个故障安全机制（Fail-Safe Mechanism），该机制能确保在汽车发生故障时不会让车上的乘客和周围的人员陷于险地。目前尚无方法来检查每一个可能的软件状态及其所造成的结果，建立防护措施以防止最坏结果的发生同时控制车辆以使其安全地停车仍是待解决的难题。因此，冗余设计和长时间的测试工作将是必须的。

　　在实现全自动驾驶的道路上披荆斩棘

　　随着各企业推出软件包（software envelope）来尝试创建第一批全自动驾驶汽车，它们需要解决与图2中所列因素相关联的技术难题。

　　图3 自动驾驶汽车系统的组成元件

　　感知技术、定位技术以及测绘技术

　　为了完善自动驾驶汽车，参与该领域的企业正在用不同的技术路线来解决自动驾驶汽车在感知、测绘及定位等方面遇到的技术难题。

　　感知技术（Perception）：目标是以最少的测试及验证里程来达到可靠的感知水平，目前存在两种技术路线：