它。

萨。

萨姆。

它。

范围萨姆它。

萨。

萨。

比赛。

萨。

萨。

萨。

萨姆。

萨。

萨姆。

萨。

它。

萨姆。

萨。

萨姆。

它。

萨。

萨姆萨。

萨姆。

萨。

萨。

萨。

萨。

它。

萨姆。

萨。

萨。

萨姆。

萨。

萨。

萨。

它。

萨姆。

萨。

萨姆。

萨。

它。

萨。

大家好。很抱歉我迟到了。欢迎参加我们首次举办的自动驾驶分析师日。我真的希望今后能更定期地举办这样的活动，让大家及时了解我们在自动驾驶方面所做的开发。大约3个月前，我们正与埃隆和其他相当多的高管一起为第四季度财报电话会议做准备。我告诉团队的一件事是，根据我经常与投资者进行的所有交流，我所看到的公司内部情况与外界认知之间最大的差距，是我们在自动驾驶方面的能力。

这也算合乎情理，因为过去几年里，我们一直都在谈论Model 3的产能爬坡。而且，你们知道，很多争论都围绕着Model 3展开，但实际上，许多事情一直在幕后发生。我们一直在开发新的完全自动驾驶芯片。我们对用于视觉识别等功能的神经网络进行了全面彻底的改造。因此，现在我们终于开始生产完全自动驾驶计算机了，我们认为揭开面纱、邀请大家进来，并谈谈过去2年里我们一直在做的一切，是个好主意。

所以大约3年前，我们想要使用，我们想要找到用于完全自动驾驶的最佳芯片。我们发现，没有任何芯片是从头开始专为神经网络设计的。因此，我们邀请了我的同事、硅工程副总裁皮特·班农，为我们设计这样的芯片。他在制造和设计芯片方面拥有大约35年的经验。其中大约12年是在一家名为PA Semi的公司度过的，这家公司后来被苹果公司收购。

因此，他参与过数十种不同架构和设计的工作，而且我想，在加入Tesla之前，他是Apple iPhone 5的首席设计师。埃隆·马斯克将与他一起登台。谢谢。

实际上，我本来要介绍皮特，但马丁·斯坦特。所以，他简直是我所认识的全世界最优秀的芯片和系统架构师。你和你的团队能来到Tesla是我们的荣幸，接下来交给你。就告诉他们你和你的团队完成的那些不可思议的工作吧。

谢谢，埃隆。很高兴今天上午来到这里，而且能够向大家介绍过去3年里我和同事们在Tesla这里所做的全部工作，确实是一种真正的享受。

我想，我们会稍微讲讲整件事是如何开始的，然后我会向大家介绍完全自动驾驶计算机，并稍微讲讲它是如何工作的。我们会深入到芯片本身，介绍其中的一些细节。我会说明我们设计的定制神经网络加速器是如何工作的，然后会向大家展示一些结果，希望到那时大家都还醒着。

我是2016年2月受聘的。我问埃隆，他是否愿意说出进行完全定制系统设计所需的全部资金。他说，嗯，我们会赢吗？我说，嗯，会，当然会。所以他说，我加入。于是我们就这样开始了。我们招聘了一群人，并开始思考用于完全自动驾驶的定制芯片会是什么样子。我们花了18个月进行设计，并于2017年8月发布了设计以供制造。

我们在12月拿到了它，当时封装已经通电，而且第一次尝试时它实际上就运行得非常、非常好。我们做了几处修改，并在2018年4月发布了B0修订版。2018年7月，芯片通过了认证，我们开始全面生产达到量产质量的部件。2018年12月，我们已经让自动驾驶栈在新硬件上运行，并且能够开始对员工的汽车进行改装，在现实世界中测试硬件和软件。

就在3月，我们开始在Model S和Model X中交付这款新计算机。而就在4月早些时候，我们开始在Model 3中投入生产。因此，从招聘最初几名员工到在我们的全部3款汽车中全面量产，整个项目只用了略多于3年的时间，而且可能是我参与过的最快的系统开发项目。这确实充分说明了高度垂直整合所带来的优势，它让你能够开展并行工程并加快部署。

在目标方面，我们完完全全只专注于Tesla的要求，这让事情容易了许多。如果你只有一个、也仅有一个客户，就不必担心其他任何事情。其中一个目标是将功耗控制在100瓦以下，以便我们能将这台新机器改装装入现有汽车。

我们还希望降低部件成本，以便实现完全冗余来保障安全。当时，我们凭感觉粗略估计，驾驶汽车至少需要50万亿次运算。每秒的神经网络性能。所以我们希望至少达到这么多，而且实际上是越多越好。批量大小是指你同时处理多少个项目。例如，谷歌的TP批量大小为256，你必须一直等到有256个待处理项目之后才能开始。

我们不想那么做，因此将机器设计成批量大小为1。这样一旦图像出现，我们就会立即处理。为了最大限度降低延迟，从而最大限度提高安全性，我们需要一块GPU来运行一些后处理。当时我们做了相当多这样的处理。但我们推测，随着神经网络变得越来越好，GPU上的后处理量会逐渐减少。而事实确实如此。

因此，正如你们将看到的，我们冒险在设计中采用了一块性能相当适中的GPU，事实证明这个赌注押对了。安全防护极其重要。如果没有一辆具备安全防护的汽车，就不可能有一辆安全的汽车。因此，我们非常重视安全防护，当然还有芯片实际设计方面的安全性。正如埃隆之前提到的，2016年实际上还不存在从零开始设计的神经网络加速器。外面的所有人都在给自己的CPU、GPU或DSP添加指令，使其更适合推理，但没有人真正以原生方式来做这件事。

所以我们着手自己来做。至于芯片上的其他组件，我们购买了用于CPU和GPU的行业标准IP。这让我们能够最大限度缩短设计时间，同时也降低项目风险。

我刚来时，另一件有些出乎意料的事情，是我们能够利用Tesla现有的团队。Tesla拥有出色的电源设计团队、信号完整性分析、封装设计、系统软件、固件电路板设计，以及一个非常优秀的系统验证项目；我们能够利用这些资源来加快这个项目。这就是它的样子。

右边那里，你可以看到接收车内8个摄像头传入视频的所有连接器。你可以看到电路板中央的2台自动驾驶计算机，然后左边是电源和一些控制连接。所以，当一个解决方案被精简到最基本的要素时，我真的很喜欢。你有视频、计算和电力，它直截了当、简单明了。这是计算机装入的原始 Hardware 2.5 外壳，我们过去2年一直在交付它。

这是 FSD 计算机的新设计。它基本相同，而这当然是由为车辆提供改装方案的约束所决定的。我想指出，这实际上是一台相当小的计算机。它安装在手套箱后面，也就是车内手套箱与防火墙之间。它不会占掉你一半的后备箱。

正如我先前所说，电路板上有2台完全独立的计算机。你可以看到它们在那里分别以蓝色和绿色突出显示。在大型 SoC 的两侧，你可以看到我们用于存储的 DRAM 芯片。然后在左下方，你可以看到构成文件系统的闪存芯片。所以这是2台独立的计算机，它们各自启动并运行自己的操作系统。

是的。如果我可以补充一点，这里的基本原则是，这其中任何部件都可能发生故障，而车辆仍会继续行驶。所以摄像头可能发生故障，电源电路可能发生故障，Tesla 全自动驾驶计算机芯片中的一个可能发生故障，车辆仍会继续行驶。这台计算机发生故障的概率远低于某个人失去意识的概率。那是关键指标，至少在数量级上是如此。

对。

所以，为了让机器继续运行，我们额外做的事情之一，是在车内配备冗余电源。所以，一台，一台机器使用一个电源运行，另一台使用另一个电源。摄像头也是如此。所以一半摄像头由蓝色电源供电，另一半由绿色电源供电，而2颗芯片都会接收所有视频并独立处理。因此，就驾驶车辆而言，基本顺序是从周围世界收集大量信息。

我们不仅有摄像头，还有雷达、GPS 地图、IMU、车辆周围的超声波传感器。我们有车轮脉冲、转向角。我们知道车辆应有怎样的加速和减速。所有这些都会整合到一起形成一个计划。一旦有了计划，2台机器就会交换各自独立生成的计划版本，以确保两者相同。假设我们达成一致，随后就采取行动并驾驶车辆。

现在，一旦你通过某项新控制让车辆行驶起来，你就要对它进行验证。所以我们会验证，我们所传输的内容就是我们打算传输给车内其他执行器的内容。然后你可以使用传感器套件来确保它确实发生。所以，如果你要求车辆加速、制动、向右或向左转向，你可以查看加速度计，确保你实际上确实在这样做。因此，在这里，我们的数据采集能力和数据监控能力都具有极其大量的冗余和重叠。

接下来稍微谈谈全自动驾驶芯片。它采用37.5毫米、带有1600个焊球的 BGA 封装。其中大多数用于电源和接地，但也有很多用于信号。如果取下盖子，它看起来是这样的。你可以看到封装基板，也可以看到位于中央的裸片。如果取下裸片并把它翻过来，它看起来是这样的。裸片顶部散布着13,000个 C4 凸点，而在其下方有12层金属层，它们遮住了设计的所有细节。

所以，如果把它剥离掉，它看起来是这样的。

这是一种14纳米 FinFET 解决方案 DMOS 工艺。它的尺寸是260毫米，属于中等尺寸的裸片。作为对比，典型的手机芯片约为100平方毫米，所以我们比它大得多。但高端 GPU 则更接近600至800平方毫米。所以我们算是处在中间。我会称其为最佳区间。这是一个适合制造的尺寸。上面有2.5亿个逻辑门，总计60亿个晶体管，即使，即使我一直在做这项工作，这对我来说也令人难以置信。

这款芯片按照 AEC Q100 标准制造和测试，这是一项标准的汽车行业准则。接下来，我想沿着芯片逐一讲解它的所有不同部分。我大致会按照一个从摄像头传入的像素访问所有不同部分的顺序来讲。所以在左上方，你可以看到，看到摄像头串行接口。我们每秒可以接收25亿个像素，这足以覆盖我们所知的所有传感器，而且绰绰有余。

我们有一个片上网络，用于分发来自内存系统的数据。因此，像素会通过该网络传输到芯片左右边缘的内存控制器。我们采用行业标准的 LPDDR4 内存，运行速率为每秒 4266 吉比特，这让我们的峰值带宽达到每秒 68 吉字节，这是相当充裕的带宽。但同样，这并不是什么离谱的水平。所以出于成本原因，我们算是在努力维持在一个舒适的甜点区间内。

图像信号处理器拥有一条 24 位内部流水线，使我们能够充分利用车身周围配备的 HDR 传感器。它会进行高级色调映射，有助于呈现细节和阴影。然后它还有高级降噪功能，这只会改善、改善我们在神经网络中使用的图像的整体质量。神经网络加速器本身。芯片上有其中的 2 个。

它们各自配有 32 兆字节的 SRAM，用于保存临时结果，并尽量减少必须在芯片内外传输的数据量，这有助于降低功耗。每个阵列都有一个 96×96 的乘加阵列，支持原位累加，使我们每个周期能够执行近 10,000 次乘加运算。它有专用的 RELU 硬件、专用的池化硬件，而其中每一个都能提供 306。抱歉，每一个都能提供每秒 36 万亿次运算，并以 2 吉赫兹运行。

裸片上的这2个单元合在一起，每秒可完成72万亿次运算。所以我们大幅超越了50万亿次运算的目标。

还有一个视频编码器。我们对视频进行编码，并将其用于车内的各种地方，包括倒车摄像头显示。还可以选择启用面向用户的行车记录仪功能，以及将片段记录数据上传到云端的功能，斯图尔特和安德烈稍后会进一步谈到这些。芯片上还有一个 GPU。它的性能一般。它同时支持 32 位和 16 位浮点运算。然后，我们还有 12 个 A72 64 位 C CPU，用于通用处理。

它们以 2.2 吉赫兹运行。这相当于当前解决方案所能提供性能的约 2 1/2 倍。

有一个安全系统，其中包含 2 个以锁步方式运行的 CPU。这个系统是判断实际驱动车内执行器是否安全的最终裁决者。所以，2 套方案会在这里汇合，我们会决定继续前进是否安全。最后还有一个安全系统。基本上，这个安全系统的职责是确保该芯片只运行经过 Tesla 加密签名的软件。

如果软件没有经过 Tesla 签名，那么芯片就不会运行。

现在，我已经告诉了大家许多不同的性能数据，我想或许把它们稍微放到具体背景中会有所帮助。所以在这次演讲中，我会谈到一个来自我们窄视角摄像头的神经网络。它需要 350 亿次运算，也就是 35 吉次运算；如果我们使用全部 12 个 CPU 来处理这个网络，就能达到每秒 1.5 帧，这慢得不得了，远远不足以驾驶汽车。

如果我们使用每秒 600 吉次浮点运算的 GPU，运行同一个网络，就能达到每秒 17 帧，但这仍然不足以驾驶汽车。在使用 8 个摄像头的情况下，通道芯片上的神经网络加速器可以达到每秒 2100 帧。从我们一路展示的性能扩展可以看出，CPU 和 GPU 中的计算能力，与神经网络加速器所能提供的计算能力相比，基本上微不足道。

确实有天壤之别。

那么，接下来谈谈神经网络加速器，我们先停一下喝点水。

左边有一幅神经网络的示意图，只是为了让大家了解正在发生什么。数据从顶部进入，经过每一个方框。数据沿箭头流向不同的方框。这些方框通常是带 relu 的卷积或反卷积。绿色方框是池化层。这里重要的一点是，一个方框产生的数据随后会被下一个方框使用，之后你就不再需要它了。

你可以把它丢掉。所以，在数据流经网络的过程中，所有这些被创建和销毁的临时数据都不需要存储到芯片外的 dram 中。因此，我们把所有这些数据都保存在 sram 中。几分钟后我会解释为什么这一点极其重要。如果看一下这里的右侧，你会发现，在这个网络的 350 亿次运算中，几乎全部都是卷积，而卷积以点积为基础。

其余的是反卷积，同样以点积为基础，然后是 relu 和池化，它们都是相对简单的运算。所以，如果你要设计某种硬件，显然会把目标对准执行以乘法、加法为基础的点积，并真正把它做到极致。但设想一下，你把它加速了 10,000 倍。那么 100% 突然就变成了 0.1%、0.01%，而 relu 和池化运算突然就会变得相当重要。

所以我们的硬件并非如此。我们的硬件设计也包括用于处理 ReLU 和池化的专用资源。

现在，这款芯片运行在一个受散热限制的环境中，所以我们必须非常谨慎地考虑如何消耗这些功率。我们希望最大限度地提高可完成的算术运算量。因此，我们选择了整数加法。它所需的能量仅为相应浮点加法的1/9；我们还选择了8位乘8位整数乘法，其功耗显著低于其他乘法运算，而且可能有足够的精度来获得良好结果。

在内存方面，我们选择尽可能多地使用 SRAM。你们可以看到，访问芯片外的 DRAM 所需能耗大约是使用本地 SRAM 的100倍。因此显然，我们希望尽可能多地使用本地 SRAM。在控制方面，这些数据来自 Mark Horowitz 在 ISSCC 发表的一篇论文，他在其中对普通整数 CPU 执行一条指令需要消耗多少功率进行了一番评析。

你们可以看到，加法运算只占总功率的0.15厘米百分比。其余所有功率都用于控制开销和记录管理。因此，在我们的设计中，我们力求尽可能彻底地摆脱这一切，因为我们真正关注的是算术运算。这就是我们最终完成的设计。你们可以看到，其中占主导的是32兆字节的 SRAM。左侧、右侧以及中间底部都有大型存储体。

然后，所有计算都在中上部完成。每一个时钟周期，我们从 SRAM 阵列中读取256字节的激活数据，从 SRAM 阵列中读取128字节的权重数据，然后在一个96乘96的乘加阵列中将它们结合起来；该阵列在2吉赫兹下，每个时钟周期执行9000次乘加运算。总计为3.63 36.8万亿次运算。

现在，完成点积后，我们会从引擎中卸载数据，将数据移出并通过专用的 ReLU 单元，也可以选择通过池化单元，最后进入写缓冲区，所有结果会在那里汇总。然后，我们每个周期将128字节写回 SRAM。整个过程一直持续不断地循环。因此，我们在执行点积的同时，也在卸载之前的结果、执行池化并写回内存。

如果把这一切加起来，在2吉赫兹下，需要每秒1太字节的 SRAM 带宽来支持所有这些工作。而硬件提供了这样的带宽。因此，每个引擎每秒有1太字节的带宽。芯片上有2个。每秒2太字节。

该加速器的指令集相对较小。我们有 DMA 读取操作，用于从内存调入数据。我们有 DMA 写入操作，用于将结果推回内存。我们有3条基于点积的指令、指令，即卷积、反卷积和内积。然后还有2种相对简单的操作：scale 是1个输入、1个输出的操作，outwise 是2个输入、1个输出的操作。当然，完成后就停止。

我们必须为此开发一个神经网络编译器。因此，我们取得由视觉团队训练、原本会部署在旧款汽车上的神经网络，然后将其拿来编译，供新的加速器使用。

编译器会进行层融合，使我们每次从 SRAM 读出数据再放回时，都能最大限度地提高计算量。它还会进行一些平滑处理，使内存系统承受的需求不会过于参差不齐。然后，我们还会进行通道填充，以减少存储体冲突。我们还会进行存储体感知的 SREM 分配。在这种情况下，在这种情况下，我们本可以在设计中加入更多硬件来处理存储体冲突。

但通过将其推到软件中，我们以增加一些软件复杂性为代价，节省了硬件和功率。我们还会自动把 DMA 插入计算图，使数据恰好及时到达以供计算，而不必让机器停顿。然后在最后，我们生成所有代码，生成所有权重数据，对其进行压缩，并添加 CRC 校验和以确保可靠性。

为了运行一个程序，所有神经网络描述、程序都会在启动时加载到 SRAM 中，然后始终待在那里，随时可以运行。因此，要运行一个网络，你必须设定输入缓冲区的地址，其中想必是一幅刚从摄像头传来的新图像。你设定输出缓冲区地址，设定指向网络权重的指针，然后设定、设定、开始，接着机器就会自行启动，并完全靠自己依次运行整个神经网络，通常会运行100万或200万个周期。

然后，当它完成时，你会收到一个中断，并可以对结果进行后处理。接下来谈谈结果，我们的目标是保持在100瓦以下。这是汽车行驶过程中、运行完整 Autopilot 软件栈时测得的数据。我们的耗散功率是72瓦，比之前的设计功率稍高一些。但鉴于性能有了巨大提升，这仍然是一个相当不错的结果。在这72瓦中，大约15瓦消耗在运行神经网络上。

在成本方面，这一解决方案的芯片成本约为我们之前所支付成本的80%。所以，改用这一解决方案能为我们省钱。在性能方面，我们采用了我一直在谈的窄视野摄像头神经网络，其中包含350亿次运算。我们让它在旧硬件上以尽可能快的速度循环运行，达到了每秒110帧。我们采用相同的数据、相同的网络，将它编译到新款FSD计算机的硬件上。

使用全部4个加速器，我们每秒可以处理2,300帧。因此是21倍。

我认为这或许是最重要的一张幻灯片。简直是天壤之别。

我从未参与过性能提升超过3倍的项目，所以这相当有趣。

如果把它与比如英伟达的Drive Xavier解决方案相比，单颗芯片可提供21万亿次运算。我们配备2颗芯片的全停性能驾驶计算机可达到144万亿次运算。

所以总结一下，我认为我们打造出了一项性能卓越的设计。神经网络处理能力达到144万亿次运算。它的功耗性能十分出色。我们设法将所有这些性能都塞进了既定的热设计功耗范围。它实现了完全冗余的计算解决方案。成本适中，而真正重要的是，这台FSD计算机将在不影响成本或续航里程的情况下，让Tesla车辆达到全新的安全和自动驾驶水平。

我想这是我们所有人都期待的事情。

我想，不如我们在每个环节之后进行问答，这样如果大家对硬件有疑问，现在就可以提问。

我之所以请皮特对Tesla全自动驾驶计算机进行详细介绍，详细程度可能远超大多数人愿意了解的程度，是因为乍看之下，这似乎不太可能。此前从未设计过芯片的Tesla，怎么可能设计出全世界最好的芯片？但客观事实就是如此。不是，不是只领先一点点，而是遥遥领先。它现在就在车里。

目前生产的所有Tesla都配备了这台计算机。大约1个月前，我们在SNX上从英伟达解决方案切换了过来，大约10天前又在Model 3上完成了切换。所有正在生产的汽车都具备全自动驾驶所需的全部硬件，包括计算硬件和其他硬件。

我再说一遍。目前生产的所有Tesla汽车都具备全自动驾驶所需的一切。你需要做的只是改进软件，今天晚些时候，你们将驾驶搭载改进版软件开发版本的汽车，你们自己就会亲眼看到。

有问题要问皮特吗？

Y。

问题。我是Global Equities Research的Trip Chaudhary。方方面面都非常、非常令人印象深刻。我在想，就像我。我记了些笔记。你们使用的是激活函数ReLU，即修正线性单元。但如果考虑深度神经网络，它有多个层，而某些算法可能会针对不同的隐藏层使用不同的激活函数，比如softmax或tanh。你们的平台能否灵活整合LU之外的不同激活函数？

然后我还有一个后续问题。

是的，可以。例如，我们实现了Tanh和Sigmoid。

太棒了。最后一个问题。比如在纳米制程方面，你提到了14nm。我在想，采用更小一点的制程不是更合理吗？也许是10nm，2年后，或者也许是7？

在我们开始设计时，并非所有我们想购买的IP都有10纳米版本。所以我们最终以14纳米完成了设计。

也许值得指出的是，我们大概在1年半、2年前就完成了这项设计，并开始设计下一代产品。我们今天不谈下一代产品，但它已经完成大约一半了。

下一代芯片那些显而易见的东西，我们都会做。

对。

你好。

你谈到软件现在是关键部分。你做得很出色。我被震撼到了。你说的内容我听懂了10%，但我相信这件事交到了可靠的人手中。

谢谢。

所以，感觉你们已经完成了硬件部分，而那确实非常难做到，现在你们必须完成软件部分。也许这超出了你的专业领域，但我们应该如何看待软件这一部分？

嗯，没有比这更好的方式来引出 Andre 和 Stuart 了。在演示的下一部分，也就是神经网络和软件之前，大家对芯片部分有什么问题吗。

那么，也许说到芯片方面，上一张幻灯片是每秒 144 万亿次运算，而 Nvidia 是不是 21？

没错。

也许你能否为金融从业者解释一下，为什么这个差距如此显著？谢谢。

嗯，我的意思是，性能差距是 7 倍。所以，这意味着你每秒可以处理 7 倍数量的帧。你可以运行规模大 7 倍、更为复杂的神经网络。因此，这是一笔非常大的现有资源，你可以把它用在许多有意思的事情上，让汽车变得更好。

我认为 Xavier 的功耗比我们的高。我觉得 Xavier 的功耗比我们的高。或者差不多。

我不知道我是否相信这是

比如

据我所知，功率需求至少会以同等程度增加，即增加到7倍，成本也会增加到7倍。

很好。所以，是的，功率是个真正的问题，因为它也会缩短续航里程。所以功率带来的代价非常高，然后你还必须把这些功率产生的热量排出去，散热问题会变得非常严重，因为你必须把所有这些功率产生的热量都排出去。所以

非常感谢。我想我们有，你知道，一个

很多，相当多要提的问题。如果各位不介意今天的活动拖得有点久。只是我们之后会进行试驾演示。所以，如果你们有人需要先离开、早点进行试驾演示，完全可以这么做。但我确实想确保我们回答你们的问题。好的。

我是来自瑞银的普拉迪普·拉马尼，英特尔以及某种程度上的AMD已经开始转向基于小芯片的架构。我在这里没有看到基于小芯片的设计。展望未来，你们是否认为那

会是你们从架构角度可能

感兴趣的东西？

基于小芯片的架构？

是的。

我们目前没有考虑任何类似的东西。我认为，主要是在你需要使用不同类型的技术时，它才有用。所以，如果你想在同一个硅衬底上集成硅锗或DRAM技术，那就会变得很有意思。但在裸片尺寸大得令人难以接受之前，我不会走那条路。

需要说明的是，这里的策略基本上始于3年，略多于3年前，就是设计并制造一台经过全面优化、以完全自动驾驶为目标的计算机。然后编写专门设计用于在那台计算机上运行的软件，并充分发挥那台计算机的性能。所以你拥有的是定制硬件，它只精通1项本领，即自动驾驶。

英伟达是一家很棒的公司，但他们有许多客户，因此当他们投入资源时，需要提供一种通用解决方案。

我们只关心1件事：自动驾驶。所以它被设计得能极其出色地完成这件事。软件也被设计得能在该硬件上极其出色地运行。我认为，这种软件和硬件的组合是无可匹敌的。

你好，这款芯片被设计用于处理视频输入。

假如你使用，比如说激光雷达，

它也能够处理吗，还是说，它主要用于视频？我们今天要向你们说明的是，激光雷达是徒劳之举，任何依赖激光雷达的人都注定失败。

注定失败。昂贵、昂贵而又没有必要的传感器。这就像长了一大堆昂贵的阑尾。1个阑尾就够糟糕了。好吧，现在他们想装上一大堆。这太荒谬了。你们会看到的。

这里前面有人。

你好。

你好。

哦，那里有位先生。你好。

你好。

那么，只问2个关于功耗的问题。是否可以给我们一个大致的经验法则，比如，你知道，每1瓦会使续航里程降低某个百分比或某个数值

好让我们能够了解

改善幅度有多大，一辆

Model 3的，的目标能耗是每英里250瓦。

这会影响多少英里，取决于驾驶的性质。在城市里，它造成的影响会比在高速公路上好得多、大得多。所以，如果你在城市里驾驶1小时，而你采用的方案，假设其功率为1千瓦，那么Model 3会损失4英里的续航里程。所以，如果你的时速只有，比如说12英里，那么城市续航里程会受到20, 25%的影响。基本上，系统的功率对城市续航里程有巨大影响，而我们认为机器人出租车市场的大部分需求会在城市。

所以功率极其重要。

塔莎。

抱歉，我没听见你说什么。

谢谢。

下一代芯片的首要设计目标是什么？

我们不想过多谈论下一代芯片，但它是

安全。

它至少会比当前系统好3倍，可以这么说。

请讲。

大约还有2小时。

开发这款芯片，是这款芯片正在被——你们不生产这款芯片，而是外包生产。这能让整车成本降低多少？

我提到的20%成本降低，指的是每辆车的零部件成本降低。那不是开发成本，只是实际的。

不，我是说。但是，比如说，如果我要大批量生产这些，自己做是否能省钱？

是的，能省一点。

我的意思是，大多数芯片都是制造出来的。大多数人不会用自己的晶圆厂制造芯片。这很不寻常。

我想你们认为让芯片量产不会有任何供应问题。

节省下来的成本足以支付开发费用。我的意思是，向埃隆提出的基本策略是，我们要制造这款芯片，它会降低成本。而埃隆说，乘以每年100万辆车。

成交。

没错，是的。

抱歉。

如果确实有专门针对芯片的问题，我们可以回答。否则，在安德烈发言后以及斯图尔特发言后，还会有问答机会。所以还会有另外2次问答机会。现在只回答非常具体的芯片问题，

另外，我整个下午都会在这里。

是的，正是如此。而且皮特最后也会在这里。所以请讲。

哦，是的，谢谢。

你刚才那张染料照片。

有。

神经处理器占据了染料的相当大一部分。我很好奇，那是你们自己的设计，还是其中有一些外部IP？

是的，那是Tesla的定制设计。

好的。

然后我想，后续问题可能是，随着你们调整设计，应该有相当大的机会缩小它的占用面积。

它实际上相当密集。所以说到缩小它，我认为不行。下一代会大幅增强功能能力。

好的，然后是最后一个问题。你能透露这款部件是在哪里制造的吗？

哪里什么？

我们在哪里制造它？

哦，三星。

三星，是的。得克萨斯州奥斯汀。

谢谢。

后面有一位。

格兰特·田中，田中资本。只是好奇你们的芯片技术

和设计从、从知识产权角度看有多大的防御性，并希望

你们不会把大量的

知识产权免费提供给外界。

谢谢。

我们已经为这项技术申请了大约12项专利。

从根本上说，它是线性代数，我觉得这个不能申请专利。我不确定。

我认为，如果有人今天开始做，而且他们真的很优秀，他们也许能在3年内做出某种类似我们现在所拥有的东西，但2年后，我们会有好上3倍的东西。

谈到知识产权保护，你们拥有最好的知识产权，而有些人只是为了好玩就去窃取它。我在想，如果我们看看与 Aurora 的几次互动，业内公司认为他们窃取了你们的知识产权。我认为你们需要保护的关键要素，是与各种参数相关联的权重。你认为你们的芯片能做些什么来防止任何人吗？

也许把所有权重都加密，这样甚至连你们自己在芯片层面也不知道权重是什么，从而让你们的知识产权留在芯片内部，没有人知道，也没有人能直接窃取它。

本，我想见见能做到这一点的人，因为我会立刻雇用他们。是的，所以这会是个难题。

是的。你要不要，我是说，我们确实加密了。

这是一块很难破解的芯片，所以如果他们能破解它，那就非常厉害。如果他们随后能破解它，并且还、还弄明白软件、神经网络系统和其他一切。他们可以从头开始设计，就这样。

我们的意图是防止人们窃取所有那些东西。而如果他们真的窃取了，我们希望这至少要花很长时间。

他们肯定要花很长时间。是的。我是说，我只是不认为如果那是我们的目标。我们会怎么做？那会非常困难。但我认为，对我们来说非常强大且可持续的一项优势是车队。没有人拥有这样的车队。那些权重在不断更新和改进。基于数十亿英里的行驶里程，Tesla 配备完全自动驾驶硬件的汽车数量，是其他所有公司总和的100倍。

你知道，我们，我们到本季度末将拥有500,000辆配备完整8摄像头配置、12个超声波传感器的汽车，其中一些在硬件上也仍然如此，但我们仍然具备收集数据的能力。然后从现在起1年后，我们将拥有超过100万辆配备完全自动驾驶计算机硬件、一切的汽车。

是的，所以我们有创始人。这就是巨大的数据优势。这有点类似于，你知道，Google 搜索引擎拥有巨大优势，因为人们使用它，而人们实际上是在用他们的查询和结果编程、实际上是对 Google 进行编程。

我能否就此进一步追问一下，并且请重新表述这个问题，因为我是技术外行，如果这样合适的话。但是你知道，当我们与 Waymo 或英伟达交流时，他们也以同样坚定的口吻谈论自己的领先地位，因为、因为他们具备模拟行驶里程的能力。你能谈谈拥有真实世界里程相较于模拟里程的优势吗？因为我认为他们的说法是，你知道，等你获得100万英里时，他们可以模拟10亿英里。

而且例如，没有任何一级方程式赛车手能在不使用模拟器驾驶的情况下，成功跑完真实世界的赛道。你能谈谈听起来你所认为的、从真实世界里程获取数据相较于模拟里程获取数据所带来的优势吗？

当然。模拟器，我们也有相当不错的模拟，但它就是无法捕捉现实世界中发生的那些奇怪事情的长尾。如果模拟完全捕捉了现实世界。嗯，我是说，我想那将证明我们生活在模拟之中。是的，它没有做到，我倒希望如此。

但模拟无法捕捉现实世界。现实世界真的很怪异，也很混乱。你需要让汽车上路。实际上，我们会在安德烈和斯图尔特的演示中讲到这一点。所以。好的，我们为什么不转到安德烈？

很好，谢谢。谢谢。

谢谢大家。

非常感谢。

刚才最后一个问题实际上是一个很好的过渡，因为关于我们的 FSD 计算机，有一点需要记住，那就是它能运行复杂得多的神经网络，实现精确得多的图像识别。为了向大家介绍我们实际上如何获取这些图像数据以及如何分析它们，有请我们的人工智能高级总监安德烈·卡帕西，他会向大家解释这一切。安德烈拥有斯坦福大学博士学位，他在那里学习计算机科学，研究重点是视觉识别和深度学习。

安德烈，你直接讲吧？自己做介绍。斯坦福有很多博士。那不重要。是的，好的，我们不在乎。

请上来。

谢谢。

安德烈在斯坦福开设了计算机视觉课程。那要重要得多。那才是关键。

只是。

所以你能不能用一种不羞怯的方式谈谈你的背景？就告诉我你做过的事情，然后。

当然。

对。

所以，是的，我想我训练神经网络基本上已经有现在算来10年了。而这些神经网络直到大概5或6年前，实际上才真正应用于行业。所以我训练这些神经网络已经有一段时间了，其中包括在斯坦福、在、在OpenAI、在Google等机构，而且确实训练了大量神经网络，不只是用于图像，也用于自然语言，并设计将这2种模态结合起来的架构。

在我攻读博士期间，所以。

还有计算机计算机科学课。

哦，对。我其实还在斯坦福教授过卷积神经网络课程。所以我是那门课的主要授课教师。事实上，是我开设了这门课程，并设计了全部课程内容。所以一开始大约有150名学生，随后在接下来的2或3年里增加到了700名学生。所以这是一门非常受欢迎的课。它目前是斯坦福规模最大的课程之一。所以那也真的非常成功。

我的意思是，安德烈确实算得上是世界上最优秀的计算机视觉专家之一。可以说是最优秀的。

好的，谢谢。

对。所以。

大家好。皮特已经向各位介绍了我们设计的、在车内运行神经网络的芯片。我的团队负责训练这些神经网络，其中包括从车队收集全部数据、训练神经网络，然后将其中一些部署到那块芯片上。

那么，神经网络在车内究竟做什么？我们在这里看到的是来自车辆各处、汽车各处的视频流。这是向我们发送视频的8个摄像头。然后这些神经网络会查看这些视频，对其进行处理，并对看到的内容作出预测。因此，我们感兴趣的一些内容，以及各位在这里的可视化画面中看到的一些内容，包括车道线标记、其他物体、与这些物体的距离、我们所称的可行驶空间，以蓝色显示，也就是汽车获准行驶的地方，以及交通信号灯、交通标志等许多其他预测。

现在，我的演讲大致分为3个阶段。首先，我会简短介绍神经网络，以及、以及它们如何工作和如何训练。我需要这样做，因为我需要在第2部分解释，为什么我们拥有车队是如此重大的一件事，为什么它如此重要，以及为什么它是能够真正训练这些神经网络并让它们在道路上有效工作的关键促成因素。

在第3个阶段，我会谈到视觉和激光雷达，以及我们如何仅凭视觉估算深度。所以这些网络在车内解决的核心问题就是视觉识别。对你我而言，这些非常，这是一个非常简单的问题。你可以看这全部4张图像，并看出其中包含一把大提琴、一艘船、一只鬣蜥或一把剪刀。所以这对我们来说非常简单，毫不费力。

计算机的情况并非如此。原因在于，对计算机来说，这些图像实际上只是一张巨大的像素网格。在每个像素上，都有该点的亮度值。因此，计算机并不是仅仅看到一幅图像，它真正得到的是网格中的 100 万个数字，这些数字告诉你所有位置上的亮度值。

可以说，是一个矩阵。它确实就是矩阵。

是的。

因此，我们必须从那个像素和亮度值组成的网格，转化到鬣蜥之类的高层次概念。正如你可能想象的那样，这只鬣蜥具有某种亮度值模式。但鬣蜥实际上可以呈现出许多外观。所以它们可以有许多不同的外观、不同的姿势，在不同背景下处于不同的亮度条件中。你可以对那只鬣蜥进行不同的裁剪。

所以我们必须在所有这些条件下都保持稳健，而且必须理解，所有那些不同的亮度模式实际上都对应着鬣蜥。现在，你我之所以非常擅长这个，是因为我们的大脑里有一个庞大的神经网络在处理那些图像。所以光线照射到视网膜上，传到你的大脑后部，也就是视觉皮层。视觉皮层由许多相互连接的神经元构成，它们对那些图像进行所有的模式识别。

图像。

实际上，在过去，我会说大约 5 年里，使用计算机处理图像的最先进方法也开始使用神经网络，但在这种情况下，是人工神经网络。但这些人工神经网络——而这只是一张它的示意图——是对你视觉皮层非常粗略的数学近似。我们确实有神经元，而且它们被连接、连接在一起。

而这里我只展示了 3 或 4 个神经元，在 4 层中的 3 或 4 个。但一个典型的神经网络会有数千万到数亿个神经元，每个神经元会有 1000 个连接。所以这些实际上是大块的、近乎模拟出来的组织。然后，我们可以做的是，拿来那些神经网络，向它们展示图像。所以，例如，我可以把我的鬣蜥输入这个神经网络，网络会对它看到的东西作出预测。

一开始，这些神经网络是完全随机初始化的，所以所有那些不同神经元之间的连接强度都是完全随机的。因此，该网络的预测也会是完全随机的。所以它可能认为你现在看到的其实是一艘船。而它认为这实际上是一只鬣蜥的可能性非常低。在训练期间，在训练过程中，我们真正做的是，我们知道那实际上是一只鬣蜥。

我们有一个标签。所以我们所做的，基本上就是说，我们希望这幅图像是鬣蜥的概率变大，而所有其他事物的概率下降。然后，有一个称为反向传播、随机梯度下降的数学过程，让我们可以通过那些连接将该信号反向传播。并更新每一个连接。

抱歉。

并且将每一个连接都稍微更新一点。更新完成后，这幅图像是鬣蜥的概率会稍微上升。所以它可能会变成 14%，而其他事物的概率会下降。当然，我们不只是对这一幅图像这样做。实际上，我们有完整的大型标注数据集。所以我们有许多图像。通常，你可能有数百万幅图像、数千个标签之类的，而且你要一遍又一遍地进行前向、反向传播。

所以，你给计算机看：这是一张图像；它有一个判断，然后你告诉它这是正确答案，它就会对自身稍作调整。你把这个过程重复数百万次，有时你也会把图像、同一张图像给计算机看数百次。所以，网络训练通常大约需要几个小时或几天，具体取决于你训练的网络有多大。

这就是训练神经网络的过程。现在，神经网络的工作方式中有一点非常违反直觉，我必须真正深入讲讲，那就是它们确实需要大量这样的例子，而且确实是从零开始。它们什么都不知道。这真的很难理解。举个例子，这里有一只可爱的狗。你可能不知道这只狗的品种，但正确答案是，这是一只日本狆。

现在，我们所有人都看着这个，看到日本狆，然后会想，好吧，我明白了。我大概知道这种日本狆长什么样了。如果我再给你看几张其他狗的图像，你大概就能从中挑出其他日本狆。所以具体来说，那3只看起来像日本狆，其他的则不像。所以你可以很快做到这一点。而且你只需要一个例子，但计算机不是这样工作的。

它们实际上需要大量日本狆的数据。所以这是一个展示日本狆的图像网格，你需要数千个例子，展示它们不同的姿势、不同的亮度条件、不同的背景、不同的裁剪方式。你确实需要从所有不同角度教会计算机这种日本狆长什么样。而要让它奏效，确实需要所有这些数据。否则，计算机无法自动捕捉到这种模式。

那么，这一切对于自动驾驶的场景意味着什么？当然，我们不太关心狗的品种。也许将来某个时候会关心，但现在我们真正关心的是车道线标记、物体在哪里、哪里可以行驶，等等。所以，我们的做法是，我们没有像“鬣蜥”这样的图像标签，但我们确实有来自车队的这种图像。而我们感兴趣的，比如说，是车道线标记。

所以我们，通常由一个人打开一张图像，用鼠标标注车道线标记。这里是一个标注示例，人可以为这张图像创建一个标签。它表示这就是你应该在这张图像中看到的内容。这些是车道线标记。然后我们可以去车队那里，向车队索取更多图像。如果你向车队索取，如果你只是用一种简单粗糙的方式来做，只是随机索取图像，车队可能会返回这样的图像。

通常是在某条高速公路上向前行驶，你可能就会得到这样一组随机集合。我们会标注所有这些数据。现在，如果你不够谨慎，只标注了这些数据的随机分布，你的网络就会在某种程度上捕捉到这种数据的随机分布，并且只在那种情形下工作。所以，如果你给它看一个稍有不同的例子，比如这里有一张图像，实际上道路正在弯曲，而且这里更像是住宅区。

那么，如果你把这张图像展示给神经网络，那个网络可能会做出错误的预测。它可能会说，好吧，我在高速公路上见过很多次，车道就是向前延伸的。所以这里有一种可能的预测。当然，这非常不正确，但其实不能责怪神经网络。它不知道左边的火车，那棵树，到底重要不重要。它不知道右边的汽车对车道线而言是否重要。

它不知道背景中的建筑物是否重要。它确实完全从零开始。而你我都知道，事实是那些东西都不重要。真正重要的是，在远处一个消失点附近有几条白色车道线标记。而它们略微弯曲这一事实应该把预测拉过去。只不过，我们没有任何机制可以直接告诉神经网络，嘿，那些车道线标记实际上很重要。

我们工具箱里唯一的工具就是已标注数据。所以，我们需要做的是，当网络在这种图像上失败时，把它们拿出来并正确标注。因此在这个例子中，我们会让车道向右转，然后需要把大量这样的图像输入神经网络。随着时间推移，神经网络会积累，会基本捕捉到这种模式：那边那些东西并不重要，但那些车道线标记很重要，于是我们学会预测正确的车道。

所以，真正关键的不只是数据集的规模。我们不只是想要数百万张图像。实际上，我们需要很好地覆盖汽车在道路上可能遇到的各种情况所构成的空间。所以，我们需要教计算机如何处理夜间和潮湿的场景，那时会有各种不同的镜面反射，而正如你可能想象的，这些图像中的亮度模式会显得非常不同。

我们必须教计算机如何处理阴影，如何处理道路分叉，如何处理可能占据图像大部分区域的大型物体，如何处理隧道，或如何处理施工现场。而在所有这些情况下，同样，没有明确的机制可以告诉网络该怎么做。我们只有海量数据。我们希望收集所有这些图像，并标注正确的线条，而网络会从这些如今规模庞大且多样的数据集中捕捉模式，基本上让这些网络运行得非常好。

这并不只是我们在 Tesla 这里得到的发现。这是整个行业中一个普遍存在的发现。因此，来自 Google、Facebook、百度、Alphabet 旗下 DeepMind 的实验和研究都展示了相似的图表，其中神经网络确实热爱数据，也热爱规模和多样性。随着你添加更多数据，这些神经网络开始表现得更好，并且不费额外代价就能获得更高的准确率。所以，更多数据就是会让它们运行得更好。

现在有许多公司，有许多人曾经指出，我们或许可以利用模拟来真正达到数据集所需的规模。而且这里有很多条件由我们掌控。也许现在我们能在 Tesla 的模拟器中实现一定的多样性。刚才的问题中也有人提到了这一点。现在在 Tesla，这实际上是我们自己的模拟器的一张截图。

我们广泛使用模拟。我们用它来开发和评估软件。我们甚至也相当成功地把它用于训练。所以，但是当真正涉及神经网络的训练数据时，确实没有任何东西能替代真实数据。模拟在对外观、物理现象以及你周围所有参与者的行为进行建模时面临很多困难。这里有一些例子，真正说明现实世界确实会向你抛来许多疯狂的东西。

所以在这个例子中，比如说，我们面对的是非常复杂的环境，有雪、有树、有风。我们会遇到各种可能很难模拟的视觉伪影。我们会遇到复杂的施工现场，还有可能被吹入其中、可能会随风四处飘动的灌木和塑料袋。复杂的施工现场可能会有许多人、孩子、动物，全都混杂在一起。而模拟这些事物如何相互作用，以及如何穿行于这个施工区域，实际上可能完全、完全不可行。

问题不在于其中任何一个行人的移动。问题在于他们如何相互反应，那些车辆如何相互反应，以及当你在那种环境中驾驶时，他们如何对你作出反应。而所有这些实际上都非常难以模拟。就好像仅仅为了在模拟中模拟其他车辆，你就必须先解决自动驾驶问题。所以这真的很复杂。所以我们会遇到狗、珍奇动物，而在某些情况下，甚至不是你无法模拟，而是你根本连想都想不到。

所以，比如说，我之前不知道卡车可以像那样，卡车叠在卡车上。但在现实世界中，你会发现这种情况，也会发现许多其他甚至真的很难想象出来的东西。所以，我从车队传回的数据中看到的多样性简直疯狂。就我们的模拟器而言，我们有一个非常好的模拟器。

我的意思是，我认为模拟从根本上说就是你在给自己的作业打分。所以，如果你知道自己要模拟它，好吧，你当然能针对它找到解决方案。但正如安德烈所说，你不知道自己不知道什么。这个世界非常奇怪，有数百万种边缘情况。

而且，如果有人能制作出一种与现实准确吻合的自动驾驶模拟，那本身就会是人类能力的一项不朽成就。他们做不到。没有办法。

对。所以我认为，到目前为止我真正试图强调的3点是，要让神经网络良好运作，你需要这3个基本要素。你需要一个大型数据集、一个非常数据集，以及一个真实数据集。而如果你具备这些能力，实际上就可以训练神经网络，并让它们非常良好地运作。那么，为什么 Tesla 处在如此独特而有趣的位置，能够真正把这3个基本要素全都做好呢？

这个问题的答案，当然、当然是车队。我们确实可以从车队获取数据，让我们的神经网络系统极其良好地运作。那么，让我通过一个具体例子带大家看看，比如说，如何让物体检测器更好地运作，让大家了解我们如何开发这些神经网络、如何对它们进行迭代，以及实际上如何让它们随着时间的推移正常运作。物体检测是我们非常重视的事情。

我们希望在比如这里的车辆和物体周围画上边界框，因为我们需要追踪它们，也需要了解它们可能会如何移动。所以，我们还是可能会请人工标注员为这些内容提供一些标注。人工标注员可能会介入，告诉你，好吧，那边的那些图案是汽车、自行车，等等。然后你可以用这些数据训练神经网络。但如果你不小心，神经网络在某些情况下就会作出错误预测。

举个例子，如果我们偶然遇到像这样一辆后面载着自行车的汽车，那么在我加入时，神经网络实际上会创建两个检测结果。它会创建一个汽车检测结果和一个自行车检测结果。而这其实也算正确，因为我想这两个物体确实都存在。但对于下游的控制器和规划器而言，你真的不希望去处理这辆自行车可以和汽车一起移动这个事实。

事实是，那辆自行车是固定在那辆汽车上的。所以，就道路上的物体而言。这里只有一个物体，一辆汽车。因此，你现在想做的是，可能把大量这类图像都标注成这只是一辆汽车。所以，我们团队内部采用的流程是，拿这张图像或几张呈现这种模式的图像，然后通过一种机制、一种机器学习机制，让车队为我们提供看起来像这样的样本。

车队可能会返回包含这些模式的图像。举个例子，这6张图像可能来自车队。它们都包含汽车后面载着自行车的情况。我们会进去，把这些全都标注成只有一辆汽车。然后，那个检测器的性能实际上就会提高。网络会在内部理解，嘿，当自行车只是固定在汽车上时，那实际上就只是一辆汽车。

只要有足够多的样本，它就能学会这一点，而这就是我们大致解决那个问题的方式。我想提一下，我谈了很多从车队获取数据的内容。我只想快速说明一点：我们从一开始就在设计中考虑了隐私问题，我们用于训练的所有数据都经过了匿名化处理。现在，车队返回的不只是汽车后面载着自行车的情况。我们会寻找所有东西。我们一直在寻找很多东西。

比如，我们会寻找船只，而车队可以返回船只的图像。我们会寻找施工现场，而车队可以从世界各地向我们发送大量施工现场的图像。我们甚至会寻找稍微更罕见的情况。比如，发现道路上的碎片对我们相当重要。这些就是从车队传输给我们的图像示例，其中显示了轮胎、锥桶、塑料袋之类的东西。

如果我们能大规模获取这些图像，就可以正确标注它们，而神经网络可以学习如何在现实世界中处理它们。这里还有一个例子。动物当然也是非常罕见的情况和事件。但我们希望神经网络真正理解这里发生了什么，理解这些是动物，并且我们希望正确处理这种情况。总结一下，我们迭代改进神经网络预测的流程大致是这样的。

我们从一个可能随机获取的种子数据集开始。我们标注这个数据集，然后用这个数据集训练神经网络，并把它部署到车里。接下来，我们有一些机制，可以在这个检测器可能表现异常时发现车内系统的不准确之处。比如，如果我们检测到神经网络可能不确定，或者如果我们检测到，或者驾驶员在其中任何一种情况下进行了干预，我们就可以建立这种触发基础设施，把这些不准确情况的数据发送给我们。

比如，如果我们的车道线检测在隧道中的表现不是很好，那么我们可以发现隧道里存在问题。那张图像会进入我们的单元测试。这样我们就可以验证我们确实在随着时间推移修复这个问题。但现在，要修复这种不准确情况，你需要获取更多看起来像那样的样本。所以我们请求车队向我们发送更多隧道图像。然后我们正确标注所有这些隧道，把它们纳入训练集，再重新训练网络、重新部署，并一遍又一遍地迭代这个循环。

因此，我们把这个用来改进这些性能预测的迭代流程称为数据引擎。也就是反复部署某个可能处于影子模式的系统，获取不准确情况，并一遍又一遍地纳入训练集。我们基本上会对这些神经网络的所有预测都这样做。到目前为止，我谈了很多显式标注。就像我提到的，我们会让人们标注数据。

这个流程在时间方面成本很高。而且在……方面也是。是的，它就是一个成本很高的流程。因此，要完成这些标注当然可能非常昂贵。所以，我还想谈谈如何真正利用车队的力量。你不会想受制于这种人工标注瓶颈。你会希望直接把数据传输进来，并自动地将其自动化。我们有多种机制可以做到这一点。

我们最近开展的一个项目示例是检测车辆加塞。也就是你正在高速公路上行驶，有人在你的左侧或右侧，然后他们加塞到你前方，进入你的车道。这里有一段视频，展示自动辅助驾驶检测到这辆车正在侵入我们的车道。当然，我们希望尽快检测到加塞。因此，我们处理这个问题的方式并不是编写显式代码来判断：左转向灯亮了吗？

右转向灯亮了吗？持续追踪键盘，看看它是否在水平移动。实际上，我们采用的是车队学习方法。其工作方式是，每当车队看到一辆汽车从右侧车道转入中间车道，或者从左侧转入中间车道时，就请求车队向我们发送数据。然后我们会把时间倒回去，并且可以自动标注：嘿，那辆汽车将会转向，将在1.3秒后加塞到你前方。

然后我们可以用它来训练神经网络。因此，神经网络会自动识别其中的许多模式。例如，车辆通常存在偏航，它们正朝这个方向移动，也许转向灯亮着。所有这些都仅仅通过这些示例在神经网络内部发生。因此，我们要求车队自动把所有这些数据发送给我们。我们可以获得大约50万张图像，而且所有这些图像都会标注车辆切入。

然后我们训练网络。接着，我们把这个切入网络部署到了车队中。但我们还不启用它。我们让它以影子模式运行。在影子模式下，网络始终在进行预测。嘿，我认为这辆车要切进来了。从它的样子来看，这辆车要切进来了。然后我们寻找错误预测。举个例子，这是我们从切入网络的影子模式中获得的一段视频。

这有点难看清，但网络认为我们正前方右侧的车辆将要切进来。你大概能看到它在稍微试探车道线。它正试图，它有点稍微侵入了。网络兴奋起来，觉得那将会是一次切入。那辆车实际上最终会进入我们的中间车道。这后来被证明是不正确的，因为。而且那辆车实际上并没有那么做。

所以我们现在所做的，就是不断运转数据引擎。我们获取了那个在影子模式下运行的。它会进行预测，会产生一些假阳性，也有一些假阴性检测。所以我们有时过于兴奋，有时又会漏掉实际发生的切入。所有这些都会生成一个传给我们的触发信号，而这些现在会免费纳入。标注这些数据的过程中没有人类受到伤害，它们被免费纳入我们的训练集。

我们重新训练网络，并重新部署影子模式。因此，我们可以把这个过程重复几次。我们始终关注来自车队的假阳性和假阴性。一旦我们对假阳性、假阴性的比例感到满意，就会真正切换那个比特位，并真正让车辆交由那个网络控制。所以你们可能已经注意到，我们实际上大约在，我想是3个月前，发布了切入检测器的首批版本之一。

所以，如果你已经注意到车辆在检测切入方面好得多了。那就是大规模运行的车队学习。是的，它实际上运行得相当好。这就是车队学习。过程中没有人类受到伤害。它只是在基于数据进行大量神经网络训练，并进行大量影子模式运行。观察这些结果，另一个本质上，

归根结底，就像每个人始终都在训练网络。无论，无论Autopilot是开启还是关闭，网络都在接受训练。对于搭载Hardware 2或更高版本的车辆，车辆行驶的每一英里都在训练网络。

是的。

在车队学习体系中，我们使用它的另一个有趣方式，以及我要谈到的另一个项目，是路径预测。所以当你驾驶车辆时，你实际是在标注数据，因为你在转动方向盘，你在告诉我们如何穿越不同的环境。我们现在看到的是车队中的某个人左转通过一个十字路口。

而我们在这里所做的是，我们，我们拥有所有摄像头的完整视频，而且我们知道这个，这个人所走的路径，因为有GPS、初始测量单元、方向盘角度、车轮脉冲。所以我们把所有这些整合起来，并理解这个人在这个环境中所走的路径。当然，这个，这个，我们可以用它来监督网络。所以我们只需从车队中获取大量此类数据。

我们用这些，用那些轨迹训练一个神经网络，然后神经网络保护仅根据这些数据预测路径。所以实际上，这通常被称为模仿学习。我们从现实世界中获取人类的轨迹，然后只是尝试模仿人们在现实世界中如何驾驶。我们也可以把同样的数据引擎运转过程应用于这一切，并让它随着时间推移发挥作用。

这里是路径预测穿越一种复杂环境的例子。你们现在看到的是一段视频，而我们正在叠加网络的预测，预测结果。所以绿色的是网络会遵循的一条路径，以及一些。

是的，我是说，疯狂的是，这个网络正以极高的准确率预测它甚至看不到的路径。它看不到拐角后面。但、但它说那条曲线的概率极高。所以那就是路径，而且它预测准了。你们今天会在车里看到这一点。但我们会开启增强视觉，这样你们就能看到叠加在视频上的车道线和车辆的路径预测。

是的，底层实际发生的事情甚至比你能看出来的更多。

我是说，说实话，这有点吓人。

当然，还有很多细节我略过了。你可能不想标注所有驾驶员，可能只想模仿更优秀的驾驶员。而我们实际上有许多技术方法来切分和处理这些数据。但这里有意思的是，这个预测实际上是一个 3D 预测，我们把它反向投影到这里的图像上。所以这里向前的路径是一个三维的东西，我们只是把它渲染成 2D。

但我们能从这一切中了解地面的坡度，而这实际上对驾驶极其有价值。顺便说一下，路径预测如今实际上已经在车队中实时运行。所以，如果你正行驶在苜蓿叶式立交桥上，如果你在高速公路的苜蓿叶式立交桥上，直到大约 5 个月前，你的车还无法驶过苜蓿叶式立交桥。现在可以了。那就是正在你们的车上实时运行的路径预测。我们前一阵子已经发布了它，而今天你们将能体验到这一点。

对于穿过交叉路口，你们今天驾车时我们如何通过交叉路口，很大一部分都来源于基于自动标签的路径预测。

所以，我到目前为止讲的其实是我们如何迭代网络预测、以及如何使其随着时间推移发挥作用的 3 个关键组成部分。你需要庞大、多样且真实的数据集。我们在 Tesla 确实能够做到这一点，而我们是通过车队的规模、数据引擎、以影子模式发布功能、迭代这个循环，以及可能甚至使用不会让任何人工标注员在此过程中受到伤害的车队学习，仅仅自动使用数据来做到这一点的。

而且我们确实可以大规模做到这一点。

那么在我演讲的下一部分，我将特别谈谈仅使用视觉进行深度感知。你们可能知道，车里至少有 2 种传感器。一种是只获取像素的视觉摄像头，另一种是许多公司也使用的激光雷达。激光雷达会为你提供周围距离的这些点测量值。现在，我首先想指出的一点是，你们所有人都来到了这里，你们中的许多人是开车来的，而你们使用的是自己的神经网络和视觉。

你们并没有从眼睛里发射激光，但还是来到了这里。

我们也许有。

事情进行得很顺利。

所以很明显，人类神经网络仅通过视觉就能推导出距离、所有测量结果以及对世界的 3D 理解。它实际上会使用多种线索来做到这一点。我会简要介绍其中一些，只是为了让你们大致了解内部发生了什么。举个例子，我们有 2 只朝前的眼睛，所以在每一个时间步，你都能对前方世界获得 2 个独立的测量结果。你的大脑会把这些信息拼接起来，得出某种深度估计，因为你可以跨这 2 个视点对任何点进行三角测量。

相反，许多动物的眼睛长在两侧，所以它们的视野重叠非常少。因此，它们通常会将结构用于运动。其思路是，它们会上下摆动头部，而由于这种移动，它们实际上能对世界获得多次观察。然后你又可以通过三角测量得到深度。即便闭上一只眼睛并且完全不动，你仍然可以拥有一定的深度感知。

如果你这样做，我认为你不会察觉到我向你靠近 2 米或向后退 100 米。那是因为还有许多非常强的单眼线索，你的大脑也会将它们考虑在内。这是一个相当常见的视觉错觉示例，其中，你知道，这 2 根蓝色条是完全相同的，但你的大脑在拼接这个场景时，只是因为这幅图像中的消失线而认为其中一根应该比另一根更大。

所以你的大脑会自动完成很多这样的事情。而神经网络，也就是人工神经网络，也可以做到。那么让我给你们举 3 个例子，说明如何仅凭视觉获得深度感知。一个经典方法，以及 2 个依赖神经网络的方法。这是一段向下行驶的视频，我想这是在旧金山，是一辆 Tesla。所以这些是我们的摄像头、我们的感知，而我们正在查看全部。我只展示了主摄像头，但所有摄像头都已开启，也就是 Autopilot 的 8 个摄像头。

如果你只有这段 6 秒的视频片段，可以做的是使用多视图立体技术把这个环境拼接成 3D。所以这个。

哎呀。

这应该是一段视频，不是吗？一段视频？哦，我知道它是。好了。所以，这是那辆车沿那条路径行驶的那6秒的3D重建。你可以看到，这些信息纯粹，它非常容易从、从仅仅视频中恢复出来。而这大致是通过三角测量过程，以及我提到的多视图立体视觉。我们也在车上应用了类似的技术，稍微更稀疏、更近似一些。

所以，值得注意的是，所有这些信息其实都存在于传感器中，只需把它提取出来。我想简要谈谈的另一个项目是，正如我提到的，这与神经网络无关。神经网络是非常强大的视觉识别引擎。而如果你想让它们预测深度，那么你就需要寻找例如深度标签。然后它们确实可以把这件事做得非常好。

所以，除了标注数据之外，没有任何因素会限制网络预测这种单目深度。我们实际上在内部研究过的一个示例项目是，我们使用前向雷达，也就是这里以蓝色显示的部分，该雷达会向外探测并测量物体的深度。我们用该雷达来标注视觉所看到的内容，也就是神经网络输出的边界框。所以，与其让人工标注员告诉你，好，这辆车以及这个边界框大约在25米外，不如使用传感器更好地标注这些数据。

所以你使用传感器标注。举例来说，雷达非常擅长测量那个距离。你可以对其进行标注，然后用它来训练神经网络。如果你拥有足够多的此类数据，这个神经网络就会非常擅长预测这些模式。这里是这类预测的一个例子。圆圈中，我展示的是雷达物体，而在。而这里输出的长方体完全来自视觉。所以这里的长方体仅仅来自视觉。

而这些长方体的深度，是通过来自雷达的传感器标注学习到的。所以，如果它运行得非常好，那么你会看到俯视图中的圆圈与长方体吻合。它们确实吻合。这是因为神经网络非常擅长预测深度。它们可以在内部学习不同车辆的尺寸，并且知道这些车辆有多大。而你实际上可以据此相当准确地推导出深度。

我要非常简短地谈论的最后一种机制略微更复杂，也更技术化一些。不过，这是一种最近出现的机制，过去1年或2年里基本上已有几篇关于这种方法的论文。它叫作自监督。所以，在许多此类论文中，你所做的只是把完全没有任何标签的原始视频输入神经网络。而你仍然可以学习，仍然可以让神经网络学习深度。

这有点技术性，所以我无法深入讲解全部细节，但其理念是，神经网络会预测该视频每一帧中的深度。然后，神经网络没有要通过标签回归拟合的明确目标。相反，网络的目标是随时间保持一致。所以，无论你预测出什么深度，都应该在该视频的持续时间内保持一致。

而保持一致的唯一方式就是正确。因此，神经网络会自动预测所有像素的正确深度。我们已经在内部复现了其中一些结果。所以这种方法也相当有效。

总而言之，人们仅凭视觉驾驶，不涉及激光。这似乎运行得相当好。我想强调的一点是，视觉识别，而且是非常强大的视觉识别，对于自动驾驶绝对必不可少。它不是可有可无的东西，我们必须拥有真正能够切实理解你周围环境的神经网络。而激光雷达点所包含的环境信息要少得多。所以，视觉才能真正理解全部细节。

仅仅周围的几个点要少得多。其中包含的信息少得多。举个例子，这里左侧的是塑料袋还是轮胎？激光雷达可能只会给你提供上面的几个点，但视觉可以告诉你这两者中哪一个才是真的，而这会影响你的控制。那个略微向后看的人，是正骑着自行车试图并入你的车道，还是只是在施工现场继续向前骑行？

那些标志上写着什么？我在这个世界中应该如何行动？我们为道路建设的全部基础设施，都是为供人类视觉获取信息而设计的。所以，所有标志、所有交通信号灯，一切都是为视觉设计的。因此，所有这些信息都在那里。所以你需要这种能力。那个人是否分心并在看手机，他们会不会走进你的车道？所有这些问题的答案只能通过视觉找到，而且对于第四级、第五级自动驾驶而言是必需的。

而这正是我们在Tesla开发的能力，这是通过大规模神经网络训练、数据引擎、让它随时间推移发挥作用，以及利用车队的力量共同实现的。所以从这个意义上说，激光雷达实际上是一条捷径。它绕开了根本问题，也就是自动驾驶所必需的视觉识别这一重要问题。因此，它会造成一种虚假的进展感，最终只是一个拐杖。

它确实能让你，比如说，很快做出演示。

所以，如果要我总结这场

完整的

我的整场演讲，用一张幻灯片来总结，就是这个，全部的自动驾驶。因为你想要的是能够应对所有可能情况的第四级、第五级系统，在99.99%的情形中，而追逐最后几个夜晚中的一些情况将会非常棘手、非常困难，并且需要一个非常强大的视觉系统。所以，我正在向你展示一些图片，说明你可能在那个9的任意一个切片中遇到什么。最开始，你只有非常简单的汽车。

继续往后，那些汽车开始看起来有点奇怪。然后汽车上也许有自行车，再然后汽车上也许有汽车。然后你也许开始遇到真正罕见的事件，比如汽车翻倒，甚至汽车腾空。我们会看到大量来自车队的事物，而且我们会以某种频率看到它们，与我们所有竞争对手相比，是以一种非常高的频率。因此，你真正解决这些问题、迭代软件并真正向神经网络提供正确数据的进展速度。

这种进展速度实际上只与你在真实环境中遇到这些情况的频率成正比。而我们遇到它们的频率显著高于其他任何人，这就是我们将会表现得极其出色的原因。谢谢。

请讲。

这一切都让人印象极其深刻。非常感谢。你们平均从每辆车收集多少数据、多少张图片

在每段时间内？

然后，听起来配备双、双主动。主动计算机的新硬件，为你们提供了一些非常有趣的机会，可以在完整模拟中运行神经网络的一个

副本，同时你在

运行另一个。运行另一个。

驾驶汽车并比较结果

来做质量保证。然后我还想知道，是否还有其他机会，可以在汽车停在车库里的时候，利用这些计算机进行训练，因为有90%的时间我没有在驾驶我的时间。

开着Tesla到处走。

非常感谢。是的。那么第一个问题，我们能从车队获得多少数据？这里非常重要的一点是，关键不仅仅在于数据集的规模，真正重要的是该数据集的多样性。如果你只有大量某个东西在高速公路上向前行驶的图像，那么到了某个时候，神经网络就掌握它了。你不需要那些数据。所以，我们在如何挑选和取舍方面非常有策略。

而且，我们建立的触发基础设施相当复杂，使我们能够只获取眼下所需的数据。因此，数据量并不是非常庞大，只是数据挑选得非常好。关于第二个冗余问题，当然可以。你基本上可以在两边都运行一份网络副本。而它实际上正是以这种方式设计的，以实现具有冗余能力的第四级、第五级系统。

所以，情况确实如此。还有你的最后一个问题。抱歉，我没有。

训练，这辆车是一台针对推理优化的计算机。我们在 Tesla 确实有一个重要项目，今天没有足够时间讨论，叫作 Dojo。那是一台超级强大的训练计算机。Dojo 的目标将是能够接收海量数据，在视频层面进行训练，并通过 Dojo 项目，对海量视频开展无监督的大规模训练。Dojo 计算机。但那是以后再谈的事。

从某种意义上说，我就像一名试飞员，因为我驾驶 40510，而所有这些非常棘手、真正属于长尾的问题每天都会发生。但有一个挑战，我很好奇你们打算如何解决，那就是变道。因为每当我试图驶入有车流的车道时，所有人都会抢到你前面。所以人的行为非常不理性。当你在洛杉矶开车时，汽车只想安全地完成操作，而你几乎必须以不安全的方式去做。

所以我想知道你们准备如何解决那个问题。好的。

所以，我要指出的一点是，我谈到过将数据引擎用于神经网络的迭代，但我们也在软件层面，以及实际变道时机、激进程度等选择所涉及的所有超参数上做完全相同的事情；我们一直在改变这些参数，可能会以影子模式运行它们，并观察其运行效果。因此，为了调校关于何时可以变道的启发式规则，我们也可能会利用数据引擎和影子模式等等。

归根结底，我认为在一般情况下，实际设计所有关于何时可以变道的不同启发式规则，其实有点难以处理。因此，理想情况下，你实际上会希望利用车队学习来指导这些决策。那么，人类会在什么时候变道，在什么场景下变道，又会在什么时候觉得变道不安全？我们就查看大量数据，并训练机器学习分类器，以区分什么时候这样做过于安全。

而那些机器学习分类器能够写出比人类好得多的代码，因为背后有海量数据作为支撑。因此，它们确实能够调校所有正确的阈值，与人类保持一致，并采取安全的做法。

我想，我们可能会推出一种比“疯狂麦克斯”模式更进一步的模式，也就是洛杉矶交通模式。是的，嗯，你知道，我觉得“疯狂麦克斯”在洛杉矶的交通中都有点难办。

是的。所以这其实是一种权衡。你不希望制造不安全的情况，但你又希望表现得果断。不过，作为人类，你如何通过那种微妙的配合来做到这一点，其实非常复杂，而且很难写成代码。但我认为，我们确实是。机器学习方法确实似乎有点像是正确的

处理方式。

我们只需观察人们采取这种做法的大量方式，并尝试模仿。

我们现在只是更加保守。然后，随着我们的信心越来越高，我们会允许用户选择更激进的模式。

那将由用户决定。

但在更激进的模式下，以及试图汇入车流时，确实存在轻微的。无论多少新的，还是有轻微的可能性会发生像小剐蹭这样的事，不是严重事故，但基本上你将面临一个选择：你是否愿意接受在高速公路车流中发生小剐蹭的非零概率，不幸的是，这是穿行于洛杉矶交通中的唯一方式。

是的。

对。

是的。

我是说，是的。是的。这总让我想起《洛城故事》之类的。这部电影是一部很棒的电影。

对，这非常微妙，因为这里正在进行一场胆小鬼博弈。

对。

随着时间推移，我们会提供更激进的选项，由用户指定。是的。疯狂麦克斯加强版。没错。

哦，对。

你好。嗨。我是来自 Canaccord Genuity 的杰德·多尔斯海默。谢谢你们，也祝贺你们所开发的一切。当我们审视 AlphaZero 项目时，它。就其参数而言，那是一个定义非常明确且变量有限的项目，这使得学习曲线能够如此之快。

风险，或者说你们在这里试图做的事情，几乎是通过神经网络在汽车中发展出意识。所以我想，挑战在于，从车队的集中式模型提取信息，到把控制权交给已经拥有足够信息的汽车，在这个过程中，你们如何避免形成循环引用。

那条界线在哪里？我想，就学习过程进行到什么节点而言，才会把它交给车内已有足够信息、无需再从车队提取信息的汽车。

嗯，即使汽车与车队完全断开连接，它也可以运行。

它只是，它会上传训练成果，你知道，随着车队变得越来越好，这些训练成果也会越来越好。所以简单来说，如果从那一刻起让它与车队断开连接，它就不会再继续改进，但仍然可以正常运行。

在你们分享内容的硬件部分。在前一个版本中，谈到了不存储大量图像所带来的许多功耗优势。而在这一部分，你们谈到通过从车队提取信息来进行学习。我想我很难调和这一点：如果出现这样一种情况，我像你们展示的那样驾车上坡，并预测道路将延伸到哪里，那是来自促成这一预测的所有其他车队变量。

智能，我怎么没有。我如何通过将摄像头与神经网络结合使用而获得低功耗的益处。我就是在这里无法把这两者联系起来。也许只是我的问题，但我想那就是。

我是说，全自动驾驶计算机的算力令人难以置信。

也许我们应该提一下，即使它以前从未见过那条道路，只要那是美国的一条道路，它仍然会做出那些预测。

这里是3月9日的案例。

就激光雷达而言，3月9日不是有一个例子吗？我只是想谈谈你对激光雷达的猛烈抨击，因为很明显，你不喜欢这场激光雷达口水战中的激光雷达。

激光雷达很差劲。

难道不会有这样的情况吗，在未来某个时候，9 9 9 9 9，激光雷达实际上可能会有帮助？为什么不把它作为某种冗余或备用设备？这是我的第1个问题。还有第2个。所以你仍然可以专注于计算机视觉，只是把它作为冗余。我的第2个问题是，如果这是真的，那么业内其他那些基于激光雷达构建自动驾驶解决方案的公司会怎么样？

他们全都会抛弃激光雷达。这是我的预测，记住我的话。

我应该指出，我其实并没有听起来那么超级讨厌激光雷达，但在SpaceX，SpaceX的龙飞船使用激光雷达导航至空间站并与之对接。不仅如此，SpaceX还为此从零开始开发了自己的激光雷达。而且我亲自牵头了这项工作，因为在那种场景下，激光雷达是合理的。而在汽车上，它蠢得要命。它既昂贵又没必要。而且正如安德烈所说，一旦你解决了视觉问题，它就毫无价值。

所以你的车上装着昂贵却毫无价值的硬件。我们确实有一部前向雷达，它成本低廉，而且尤其有助于应对遮挡情况。所以，如果有雾、灰尘或雪，雷达可以穿透它们进行探测。如果你要使用主动光子生成，就不要使用可见光波长，因为通过被动光学，你已经处理了所有可见光波长的东西。你要使用的是像雷达那样能穿透遮挡的波长。

所以激光雷达只是在可见光谱内主动生成光子。

如果你要主动生成光子，那就在可见光谱之外的雷达频谱中进行。所以，比如3.8毫米，相比400、700纳米，你将获得好得多的遮挡穿透能力，这就是为什么我们配有前向雷达；此外，除了8个摄像头和前向雷达，我们还有12个超声波传感器，用于获取近场信息。你只需要在前方使用雷达，因为那是唯一一个真正高速行进的方向。

所以就是这样。我的意思是，我们已经反复讨论过这件事。比如，我们确定自己的传感器套件选对了吗？还应该添加更多东西吗？不。

你好。就在这里。你刚才提到，你会向车队索取你在某些视觉方面寻找的信息。对此我有2个问题。听起来，车辆会进行一些计算，以确定要向你们发回哪类信息。这个假设正确吗？它们是实时进行计算，还是基于已存储的信息进行计算？

是的。所以车辆绝对会在车上实时进行计算，而我们会等待，基本上是指定我们感兴趣的条件，然后那些车辆就会在那里进行计算。如果它们不这样做，我们就必须发送所有数据，并在我们的后端离线处理。我们不想这么做。所以所有这些竞争都发生在车上。

所以，基于那个问题，听起来你们处于一个非常有利的位置：目前拥有50万辆车，未来可能会有数百万辆车，它们本质上都是计算机，相当于为你们提供免费、几乎免费的数据中心，让你们进行计算。这对Tesla来说是一个巨大的未来机会吗？这是当前的、当前的机会，而这似乎还完全没有被计入任何东西。太不可思议了。

谢谢。

我们有425,000辆配备硬件2及以上版本的汽车，这意味着它们拥有全部8个摄像头、雷达和超声波传感器，并且至少配备了英伟达计算机，这基本上足以判断哪些信息重要、哪些不重要。把重要信息压缩成最显著的要素，并上传到网络用于训练。所以，这是对现实世界数据的大规模压缩。

你们拥有这种由数百万台计算机构成的网络，本质上就像是大型数据中心，是用于提供计算能力的分布式数据中心。你认为未来它会被用于自动驾驶以外的其他用途吗？

我想，它或许可以用于自动驾驶以外的某些事情。我们一直高度专注于自动驾驶。所以，你知道，等我们真正把这件事彻底做好之后，也许还会有其他用途，用到，你知道，数百万台、然后数千万台配备硬件3或4驾驶计算机的计算机。

是的，也许会有。

有可能。有可能。也许这里会有某种类似AWS的应用思路。这是可能的。

你好。

嗨，埃隆。我是Loop Ventures的马特·乔伊斯。我在明尼苏达州拥有一辆Model 3，那里经常下雪。

由于摄像头和雷达无法透过积雪看到道路标线，你们在技术上

解决这一挑战的策略是什么？其中是否会用到高精度GPS？

是的。

所以

实际上，就像现在，实际上，Autopilot在雪中也能做得相当、相当不错。即使道路标线被覆盖，即使房东标记褪色、被覆盖，或者上面有大量雨水，我们看起来仍然能开得比较好。我们还没有通过数据引擎专门处理积雪，但我确实认为这完全是可以解决的，因为在许多这样的图像中，即使到处都是雪，当你询问人类标注员车道线在哪里时，他们实际上也能告诉你；他们在绘制这些车道线时其实相对一致。

只要标注员对你数据的标注保持一致，那么我认为，存在。神经网络就会捕捉到那些模式，而我们会表现得很好。所以真正的问题只是，即使对人类标注员而言，那里是否存在信号？如果，如果答案是肯定的，那么神经网络就完全可以做到。

是的，实际上有许多重要信号，正如安德烈所说。车道线就是其中之一，但最重要的信号之一是可行驶空间。也就是什么是可行驶空间，什么不是可行驶空间？而真正最重要的其实是可行驶空间，而不是车道线。对可行驶空间的预测极其准确。我认为，特别是在即将到来的这个冬季过后，它会令人难以置信。

这就像，它会让人觉得，怎么可能这么好？太疯狂了。

另一件需要指出的事情是，也许这甚至并不只与人类标注员有关。只要你作为人类能够驾车通过那个环境，通过车队学习，我们实际上就知道你走过的路径。而你显然是用视觉来引导自己走过那条路径的。你并不只是使用车道线标记，而是使用了整个场景的完整几何结构。所以你会看到道路大致如何弯曲。你会看到周围车辆的位置。

神经网络会在其内部自动捕捉所有这些模式。只要你拥有足够多的人穿越这些环境的数据。

是的，实际上，让事物不与GPS刚性绑定极其重要，因为GPS误差可能会有很大变化，道路的实际状况也可能会有很大变化。所以可能会有施工，可能会有绕行路线，而如果汽车将GPS作为主要依据，这种情况就非常糟糕。这是在自找麻烦。把GPS用于类似提示和技巧是没问题的。所以这就像是，与其他国家的某个街区或本国其他地区的某个街区相比，你在自己家附近能开得更好。

所以你很熟悉自己的街区，并且会利用某种类似对自己街区的了解，更有信心地驾驶，也许会走一些违反直觉的捷径之类的。但你。

GPS叠加数据应该只起辅助作用，而绝不能成为主要依据。如果它成为主要依据，那就是个问题。

那么，请后面角落里的那位提问。

角落。我只是想部分地接着追问

这一点，因为你们的几家竞争对手

在这个领域过去几年里

已经做出了，你知道，已经谈到

他们如何增强所有

那些某种程度上位于汽车平台上的感知和路径规划能力

方法是使用他们所行驶区域的高清地图。

这在你们的系统中发挥作用吗？你认为它能增加任何价值吗？

是否有一些领域是你们希望获得、获得更多数据的，而这些数据并非从车队收集，而是更类似于制图风格的数据？

我认为高精度、高精度GPS地图和车道是一种非常糟糕的想法。系统会变得极其脆弱。所以像这样的任何变化都可能，系统的任何变化都会使它，它无法适应。所以，如果它锁定GPS和高精度车道线，并且不允许视觉覆盖，事实上，视觉应该是完成一切的东西，然后，像车道线只是指导，但不是主要依据。

我们曾短暂扩充高精度车道线树，随后意识到那是一个巨大的错误，并将其撤销了。

这不好。

所以这对于理解非常有帮助

标注，也就是物体在哪里，以及汽车如何行驶。但协商方面呢，对于

停车、环岛以及其他方面，在这些地方

道路上还有其他由人类驾驶的汽车，这更多是艺术而非科学。

实际上它做得相当不错。比如遇到加塞之类的情况。它表现得真的很好。

是的。

所以就像我提到的，我们目前正在大量使用机器学习，来预测，算是创建一个关于世界是什么样子的显式表征。然后在这个表征之上有一个显式规划器和一个控制器。对于如何通行、协商等等，有很多启发式规则。就像一个……一样，存在长尾。在视觉环境是什么样子这方面。仅仅这些协商中也存在长尾，还有你与其他人进行的一点胆小鬼博弈等等。

所以我认为，我们非常确信，最终你实际处理这件事的方式中必然要有某种车队学习组件。因为手工编写所有这些规则将会，将会很快到达平台期，我认为。

是的，我们已经处理过加塞这个问题，做法大概是允许用户逐步选择更激进的驾驶行为。他们只需把设置调高，设为更激进一些或更不激进一些。你知道，轻松驾驶、悠闲模式、激进。

是的。

进展令人难以置信。非常了不起。两个问题。首先，就编队行驶而言，你们的系统是否为此做了准备，因为有人问到道路上有积雪时的情况，但如果你有编队行驶功能，就可以直接跟随前车。你们的系统，你们的系统能做到这一点吗？然后我还有两个后续问题。

所以你问的是编队行驶。我认为，我们完全可以构建这些功能。但同样，如果你只是使用，如果你只是训练神经网络，例如让它模仿人类，人类本来就会跟随前车。因此，那个神经网络实际上会在内部纳入这些模式。它就是，它会发现你前方汽车的朝向与你将要走的路径之间存在相关性。

但这一切都是在网络内部完成的。所以你只需要关注获得足够的数据和那些棘手的数据。而神经网络训练过程实际上颇为神奇。会自动完成所有其他事情。所以你把所有不同的问题都转化成一个问题。只要收集你的数据集并使用神经网络训练。

是的，自动驾驶有三个步骤。你知道，先是功能完备，然后是在我们认为车内人员不需要集中注意力的程度上实现未来完备。然后是达到某种可靠性水平，让我们也说服监管机构这确实是真的。所以大概有三个层级。我们预计今年实现自动驾驶功能完备，而且从我们的角度来看，我们预计大概在，我不知道，明年第二季度左右，会有足够的信心说，我们认为人们不需要触碰方向盘，也不需要透过方向盘车窗向外看。

然后，我们预计到明年年底前后，至少会在一些司法管辖区获得这方面的监管批准。这大致就是我预计事情推进的时间表。而对于卡车，编队行驶可能会先于其他任何事项获得监管机构批准。如果你是在进行长途货运，可能可以让1名司机驾驶最前面的车，然后让4辆半挂卡车以编队方式跟在后面。

而且我认为，监管机构批准这个的速度可能会比其他事项更快。

关于。当然，你不必说服我们。在我看来，激光雷达是一项已经有答案的技术。却在寻找一个问题？可能已经死了。

这个。

我是说，我们今天看到的内容非常令人印象深刻，而且演示可能还能展示更多。我想知道，在你们的训练或深度学习流水线中，可能使用的矩阵最大维度是多少？

大致数字，矩阵的最大估算值。那么，是的，神经网络内部会进行大量矩阵乘法运算。你问的是，这个问题有很多种不同的回答方式，但我并不100%确定它们是否。它们很有用。它们是有用的答案。正如我提到的，这些神经网络通常会有大约1000万到数亿个神经元。每个神经元平均与下层神经元有大约1000个连接。

所以，这些就是整个行业通常采用的典型规模，也是我们会采用的规模。

是的。过去1年里，我的Model 3上的Autopilot改进速度确实令我印象非常深刻。我想听听你们对上周遇到的2种情形有何看法。第1种情形是，我当时在高速公路最右侧车道上，那里有一条高速公路入口匝道。然后我的Model 3实际上能够检测到旁边的2辆车，减速并让1辆车驶到我前面，另1辆车驶到我后面。我当时就想，天啊，这简直太疯狂了。

我完全没想到我的Model 3能做到这一点。所以那真的非常令人印象深刻。但同一周还有另一种情形，我又是在右侧车道上，但我所在的右侧车道正在并入左侧车道。那不是入口匝道，只是一条普通的高速公路车道。而我的Model 3没能真正检测到那种情况，我没法让它减速或加速，最后不得不进行某种干预。所以，从你们的角度，能否介绍一下其中的背景，比如神经网络会如何处理、Tesla可能会如何对此作出调整，以及，你知道，这种情况如何能随着时间推移得到改善？

是的。正如我提到的，我们有一套非常复杂的触发基础设施。如果你进行了干预，我们实际上很可能已经收到了那段片段，这样我们就能分析它，看看发生了什么，并调整系统。因此，它可能会进入某些统计数据。好，我们正确汇入车流的比率是多少？然后我们查看这些数字和片段，看看出了什么问题，并尝试修复这些片段，针对这些基准取得进展。

所以，是的，是的。我们可能会经历一个分类阶段，然后查看其中一些最大的类别，它们实际上看起来在语义上与同一个问题相关。接着我们会研究其中一些类别，并尝试针对它们开发软件。

好的。我们确实还有1场关于软件的演讲。所以，基本上，前面是斯图尔特讲解Autopilot硬件，然后是安德烈讲解某种神经网络视觉，接着斯图尔特将介绍大规模软件工程。谢谢。之后我们还会有机会提问。那么，是的，谢谢。

我只想非常简短地说一下，如果你的航班比较早，又想使用我们最新的开发版软件进行试乘，请与我的同事安联系，或者给她发一封电子邮件，我们可以带你出去试乘。斯图尔特，交给你了。

好的，这实际上取自一段超过30分钟、不间断且没有任何干预的驾驶视频，车辆在高速公路系统上使用Navigate on Autopilot，而这一功能如今已经部署在数十万辆量产车上。我是斯图尔特，今天要讲的是我们如何大规模构建其中一些系统。先非常简短地介绍一下我的背景和工作。所以我待过几家公司，或者更少。

我从事专业软件开发大约已有12年。最令我兴奋、也让我真正充满热情的事情，是把机器学习的前沿成果通过稳健性和规模化真正连接到客户。所以在Facebook，我最初在我们的广告基础设施内部工作，构建部分机器学习系统，一些非常、非常聪明的人。我们实际上试图把它构建成一个统一平台，以便随后将其扩展到业务的其他各个方面，从如何对动态消息进行排序，到如何提供搜索结果，再到如何在整个平台上作出每一项推荐。

后来这就成了应用机器学习组。这是我感到无比自豪的一件事。其中很大一部分不仅仅是核心算法以及在那里发生的真正重要的改进。那些，那很重要，很多实际上是为了大规模构建这些系统而采用的工程实践。我后来去的Snap也是如此，当时我们真的、真的很兴奋，想要以某种方式真正帮助这款产品实现商业化。

但最困难的部分是，我们当时使用的是Google。而实际上，你知道，他们让我们在相当小的规模上运行。我们想构建同样的基础设施。我们获得对这些用户的理解，将其与前沿机器学习连接起来，以超大规模构建这一体系，并以真正稳健的方式每天处理数10亿、继而数万亿次预测和竞价。所以当来到Tesla的机会出现时，这正是让我无比兴奋去做的事情，具体来说，就是把硬件方面以及计算机视觉和AI方面正在发生的惊人成果，与所有规划、控制、测试、操作系统内核修补、我们的全部持续集成和模拟真正整合封装起来，并真正把它构建成一款产品。

我们如今把它部署到人们的量产车辆上。所以我想讲讲我们是如何按照时间线为Navigate on Autopilot做到这一点的，以及随着我们把Navigate on Autopilot从高速公路带到城市街道上，我们将如何做到这一点。

所以Navigate on Autopilot已经行驶了7000万英里，这是一件非常、非常、非常酷的事情。我认为这里有一点值得特别指出，那就是我们正在继续加速，并不断从这些数据中学习。就像安德烈所说的，随着这个数据引擎加速运转，我们实际上会执行越来越果断的变道。我们正在从这些人们进行干预的案例中学习，干预原因要么是系统未能正确检测到汇入情况，要么是他们希望车辆在不同环境下表现得更有劲一些。

而我们只想继续取得这样的进展。所以，要开始这一切，我们首先要设法理解周围的世界。我们谈到了车辆中的不同传感器。但我想再深入一点。这里我们有8个摄像头，此外还有12个超声波传感器、1个雷达、1个惯性测量单元和GPS。还有1件我们忘记的事，就是我们还拥有踏板和方向盘操作数据。

所以，我们不仅可以查看车辆车辆周围正在发生的情况，还可以查看人类如何选择与该环境互动。现在我来讲讲这个片段。它基本上展示了目前车内正在发生的情况，而我们还在继续推动这方面向前发展。所以，我们从单个神经网络开始。我们看到它周围的检测结果。然后，我们用多个神经网络和多项检测结果把这一切整合起来。

我们引入其他传感器，并将其转换成埃隆所说的向量空间，也就是对我们周围世界的理解。而在这方面，随着我们继续、继续做得越来越好，我们正把越来越多的这种逻辑移入神经网络本身。这里显而易见的最终目标是，神经网络查看所有车辆，把所有信息汇集起来，最终直接输出我们周围世界的一个事实来源。

而且，从很多意义上说，这其实并不是艺术家绘制的渲染图。这实际上是我们团队每天使用的一款调试工具的输出，用来了解我们周围的世界是什么样子。所以，还有一件事我认为真的、真的让我感到兴奋，我想，当我听到激光雷达这类传感器时，一个常见问题就是，为什么不增加一些传感器模态，比如为什么不给车辆配置一些冗余？

而我想深入谈谈一个并不。并不总是能从神经网络本身明显看出来的事情。比如说，我们有一个神经网络运行在我们的广角鱼眼摄像头上。这个神经网络并不是只对世界作出一项预测。它会作出许多相互独立的预测，其中一些实际上会互相核查。举一个真实的例子，我们有检测行人的能力。那是一个。我们会非常、非常谨慎地训练这项能力，并为此投入大量工作。

我们还具备检测道路中障碍物的能力，而行人就是障碍物。它以不同的方式呈现给神经网络。它会说，哦，那里有个我不能直接开过去的东西。这些能力结合起来，让我们更清楚地了解在车辆前方什么能做、什么不能做，以及该如何为此进行规划。然后，我们在多个摄像头上这样做，因为车辆周围很多位置的视野相互重叠；在车辆前方，我们的重叠视野数量尤其多。

最后，我们可以把它与雷达和超声波之类的东西结合起来，对汽车前方正在发生的情况形成极其精确的理解。我们既可以利用它来学习非常准确的未来行为，也可以对我们前方事态将如何继续发展作出非常准确的预测。我认为有一个例子非常令人兴奋：我们实际上可以观察骑自行车的人和行人，不只是问，你现在在哪里？

而是你要去哪里？这实际上正是我们新一代自动紧急制动系统的核心所在，它不仅会为处在你行驶路径上的人停车，还会为即将进入你行驶路径的人停车。而它目前正在影子模式下运行。本季度我们会把它推送到车队，我稍后会讲一下影子模式。

所以，当你想为高速公路系统上的自动辅助导航启动这样一项功能时，你可以从数据学习入手。你可以直接观察人类如今是怎么做的。他们的果断程度如何？他们如何变道？什么会导致他们要么接受，要么改变自己的操作？而且你可以看到一些并非立刻显而易见的事情，比如，哦，对，同时并线很少见，但非常复杂，也非常重要。

而且，你可以开始形成对不同场景的判断，比如一辆快速超车的车辆。所以，当我们最初有一些想尝试的算法时，我们就是这样做的。我们可以把它们部署到车队中，看看在现实世界的场景中它们本会怎么做，比如这辆正在非常快速地超过我们的车。这取自我们真实的模拟环境，展示了我们考虑采用的不同、不同路径，以及这些路径如何叠加到一名用户在现实世界中的行为上。

当你把那些算法调校好，并且对它们具体的表现感到满意时，而这实际上就是获取神经网络的输出，把它放进那个向量空间，并在其上构建和调校这些参数。最终，这是我们可以通过越来越多的机器学习来做的一件事。你会进入受控部署阶段，对我们而言就是我们的抢先体验计划。然后，你会把它推送给几千名非常兴奋的人，他们会针对它的表现方式给你高度警觉但有用的反馈，不是在开环中，而是在闭

环方式下在现实世界中运行。

然后你观察他们的干预。我们谈过这个，比如当有人接管时，我们实际上可以获取那个片段，尝试理解发生了什么。我们真正能做的一件事是，实际上可以再次以开环方式回放它，并且随着我们构建软件而问：我们是更接近还是更偏离人类在现实世界中的行为方式？还有一件特别酷的事是，借助全自动驾驶计算机，我们实际上正在构建自己的机架和基础设施，所以我们基本上可以把4台全自动驾驶计算机完整地装进机架，将它们构建到我们自己的集群中，并实际运行这个非常复杂的数据基础设施，从而真正理解随着时间推移，当我们调校和修复这些算法时，我们是否正越来越接近人类的行为方式？

最终，我们能否超越他们的能力？所以，一旦我们有了这个，我们就对此感觉非常好。我们想进行广泛推送，但在开始时，我们实际上要求每个人通过拨杆确认来确认汽车的行为。于是，我们开始就应该如何在高速公路上行驶作出大量、大量的预测。我们请人们告诉我们，这是对还是错。这又是一次运转那个数据引擎的机会。

而且，我们确实发现了一些非常棘手且有趣的长尾情况，在这个案例中，我认为一个非常有趣的例子就是这些非常有意思的同时并线情况：你开始行动，然后有人在没有注意到你的情况下移到你后面或前面。这里恰当的应对方式是什么？为了极其精确地实现恰当行为，我们需要对神经网络进行哪些调校？

在这里，我们开展了工作，在后台调校这些内容，让它们变得更好，而随着时间推移，我们完成了900万次被成功接受的变道。我们再次结合持续集成基础设施利用这些数据，来真正理解我们是否认为自己已经准备好了。这也是全自动驾驶让我感到非常兴奋的一点。由于我们拥有整个软件栈，从内核补丁一直到ISO，比如图像信号处理器的调校，我们可以开始收集更多甚至更加准确的数据。

而这让我们能够做得越来越好，通过这些更快的迭代周期进行调优。所以本月早些时候，我们有点觉得已经准备好部署一个更加无缝的高速公路自动辅助导航版本。而这个无缝版本不需要拨杆确认。所以你可以坐在那里，放松下来，把手放在方向盘上，只需监督车辆的行为。在这种情况下，我们实际上看到高速公路系统上每天都有超过100,000次自动变道。

而对我们来说，能够大规模部署这个东西简直超级酷。在这一切当中，我最兴奋的事情大概是它的实际生命周期，以及我们实际上如何能够随着时间推移，越来越快地转动这个数据引擎的曲柄。而且我认为，有一件事确实正变得非常、非常清楚，那就是我们已经建成的基础设施、在其上构建的工具，以及完全自动驾驶计算机的综合力量；我相信，随着我们把高速公路系统上的自动辅助导航转移到城市街道上，我们可以更快地做到这一点。

所以，是的，讲到这里，我把话筒交给埃隆。

是的，我是说，据我所知，所有这些变道都是在零事故的情况下完成的。

没错。是的，每一起事故我都会看。

所以。所以它显然是保守的，但实现数十万乃至数百万次变道并且零事故，我认为是Tesla团队取得的一项伟大成就。

谢谢。

酷。

那么让我们看看，你知道，还有其他几件可能值得一提的事情。为了拥有一辆自动驾驶汽车或机器人出租车，你确实需要车辆在硬件层面从头到尾都有冗余。所以从，也许是2016年10月开始，Tesla生产的所有汽车都有冗余的动力转向系统。所以我们的动力转向系统上有冗余电机。所以任何1个故障，如果电机发生故障，汽车仍然可以转向，所有电力和数据线路都有冗余，因此你可以切断任何1条指定的电力线路或任何数据线路，汽车仍会继续行驶，辅助供电系统，即使是主电池包，你的主电池包完全失去电力。

汽车能够利用辅助供电系统进行转向和制动，所以即使主电池包完全失效，汽车也是安全的。

从硬件角度来看，整个系统基本上从2016年10月起就是按照机器人出租车来设计的。

所以，当我们推出第2版自动辅助驾驶硬件时，我们不打算升级在那之前生产的汽车。我们认为，制造一辆新车实际上比升级这些汽车成本更高。只是为了让你们了解做这件事有多难。除非它一开始就被设计进去，否则不值得。

所以我们已经讲过了自动驾驶的未来，很明显，它涉及硬件、视觉，然后还有大量软件，而且这里的软件问题不应该被最小化。这是一个巨大的软件问题，它

是的，

管理海量数据，利用数据进行训练。如何根据视觉来控制汽车？这是一个非常困难的软件问题。

所以接下来回顾一下，就像Tesla总体规划一样，显然我们作出了一堆他们所谓的前瞻性陈述。

但我们来回顾一下我们作出的其他一些前瞻性陈述。很久以前，当我们创立公司时，我们说会制造Tesla Roadster。他们说这是不可能的，而且即使我们真的造了出来，也不会有人买。

这就像是普遍的看法，即制造电动汽车是极其愚蠢的，而且会失败。

我同意他们所说的失败概率很高，但这件事很重要。所以我们在2008年投产了Tesla Roadster并交付了那款车，它现在成了收藏品。

我们用Model S制造了一款价格更实惠的汽车。我们又做到了。我们被告知那是不可能的。我被称为骗子和说谎者。那不可能发生。这些全都不是真的。好吧，现在说句著名的事后不祥之言，我们在2012年投产了Model S，超出了所有预期。直到2019年，仍然没有汽车能够与2012年的Model S竞争。已经过去7年了，仍在等待。

所以我们会制造一款价格实惠的汽车，也许是非常实惠。它价格实惠。Model 3更加实惠。我们买了Model 3，我们正在生产。我说过Model 3的产量会超过每周5,000辆。到目前这个时候，每周5,000辆对我们来说轻而易举，甚至一点都不难。

所以我们做大规模太阳能，我们通过收购SolarCity做到了这一点，而且我们开发和部署太阳能屋顶，这进展得非常顺利。我们现在已经做到第3版太阳能瓦片屋顶，并且预计今年晚些时候会显著地溢出太阳能瓦片屋顶的产量。

我家里就装着它，而且很棒。

而且我算是制造了 Powerwall 和 Powerpack。我们制造了 Powerwall 和 Powerpack。事实上，Powerpack 现已部署于世界各地的大规模电网级公用事业系统中，包括全球规模最大的在运电池项目，功率超过100兆瓦。到明年，或者大概明年、最迟2年后，我们预计将完成一个吉瓦级电池项目。所以所有这些事情，我说过我们会做，我们做到了。

说过我们会做，我们做到了。我们也会做无人驾驶出租车这件事。唯一的批评是，有时我不能按时完成，而这个批评是公允的，但我会把事情做成，Tesla 团队也会把事情做成。

所以我们今年要做的是，让 S、X 和 3 的合计产量达到每周10,000辆。对此非常有信心，而且我们非常有信心在自动驾驶方面做到未来完整。

明年，我们将通过 Model Y 和 Semi 扩充产品线，而且我们预计明年会有首批投入运营的无人驾驶出租车，明年车里不会有任何人。

当事物呈指数式、以指数级速度改善时，总是很难理解。人们很难真正想明白，因为我们习惯于进行线性外推。但当你拥有海量的，比如硬件，路上有海量硬件时，累积数据会呈指数增长。软件也在以指数级速度变得更好。

我非常有信心预测，Tesla 明年会有自动驾驶出租车。不是在一个较老的州，也不是在所有司法管辖区，因为我们不会在所有地方都获得监管批准。但我有信心，实际上就在明年，我们至少会在某个地方获得监管批准。

所以任何客户都可以把自己的车加入 Tesla 网络，或者从中移除。我们预计它的运营方式可能会像 Uber 和 Airbnb 模式的结合。所以如果你拥有这辆车，就可以把它加入 Tesla 网络或从中移除，而 Tesla 会收取收入的25%或30%。而在没有足够多人共享汽车的地方，我们就会直接配备专用的 Tesla 车辆。

所以当你使用这辆车时，我们会向你展示我们的拼车应用。这样你就能从停车场召唤车辆，上车，然后开车出行。

这真的很简单。你只需使用目前已有的同一个 Tesla 应用。我们会更新该应用，加入召唤、召唤 Tesla，或者把你的车投入车队的功能。所以就是召唤你的车，或者召唤一辆 Tesla，或者把你的车加入车队或从车队中移除。你可以通过手机完成这些操作。

所以我们看到了平滑需求分布曲线的潜力。

并且让一辆车以比普通汽车高得多的利用率运行。通常，一辆车每周的使用时间约为10至12小时。也就是说，大多数人每天会开1.5至2小时，通常每周总计驾驶10至12小时。但如果你有一辆能够自动驾驶的汽车，那么很可能你大概可以。很可能你会让那辆车每周运行三分之一的时间或更久。一周有168小时。

所以每周的运行时间大概在55、60小时左右，也许还会更久一些。

所以一辆车的基础效用提高了5倍。你可以从宏观经济的角度来看这件事，然后说，就像这是某种。如果我们在运行某种大型模拟，而你可以升级模拟，使汽车的效用提高5倍，那将大幅提升这个模拟的经济效率。提升幅度极其巨大。

所以我们会做 Model 3s3 和过剩出租车。但我们对租赁做了一项重要调整。所以如果你租赁一辆 Model 3，租期结束时你没有购买它的选择权。我们希望把它们收回来。如果你购买这辆车，你可以留着它，但如果你租赁它，就必须归还。

正如我所说，在任何没有足够共享供给的地方，Tesla 都会直接制造自己的汽车，并将它们加入当地的网络。

所以目前 Model 3 无人驾驶出租车的成本低于38,000美元。我们预计这个数字会随着时间推移而改善，以及辞职。目前制造的汽车全都按行驶100万英里来设计。驱动单元按运行100万英里进行设计、测试和验证。目前的电池包大约能行驶300,000至500,000英里。可能会在明年投产的新电池包，则明确按运行100万英里来设计。

整车电池包，它被设计为只需极少维护便可运行100万英里。所以我们实际上还会调整轮胎设计，真正针对超高效率的无人驾驶出租车优化汽车。到某个时候，你将不再需要方向盘或踏板，我们就会直接删掉它们。所以随着、随着、随着这些东西变得越来越不重要，我们就会直接删掉这些部件。就是不会再有了。

比如说，可能从现在起2年后，我们会制造一辆没有方向盘或踏板的汽车；如果我们需要加快这个时间进度，随时可以直接删掉这些部件。很容易。

是的，从长期来看，大概3年后，删减了部件的无人驾驶出租车，最终价格也许会是25,000美元或更低。

而且我们想要一辆效率极高的汽车。这样耗电量就非常低。我们目前能做到每千瓦时行驶4.5英里。但我们可以，我们会把它提高到5英里乃至更高。

确实没有哪家公司拥有完整的全栈整合能力。我们拥有车辆设计和制造，但计算机硬件是内部开发的。我们拥有内部软件开发和 AI，而且我们的车队规模遥遥领先。当 Tesla 每天的行驶里程是其他所有公司总和的100倍时，想要追赶极其困难，也许并非不可能，但极其困难。

这是运行一辆汽油车或一辆……的成本。在美国运行一辆汽车的平均成本取自 AAA。所以目前约为每英里62美分。

15,000,000辆汽车各行驶13,500英里，加起来每年达到2万亿。这些数据确实就是取自 AAA 网站。

根据 Uber 和 Lyft 的数据，共享出行的成本是每英里2至3美元。我们认为，运营一辆无人驾驶出租车的成本低于每英里18美分。

而且还在下降。

这会是目前的。这是目前的成本。未来的成本会更低。你会问，一辆无人驾驶出租车可能产生多少毛利润？

我们认为每年大概在30,000美元左右。

而且我们预期会如此。我们确实是在设计，我们设计汽车的方式，与商用半挂车、半挂卡车的设计方式相同。商用半挂卡车全都是按100万英里寿命设计的，而我们也在按100万英里寿命设计汽车。

所以按名义美元计算，那会是，你知道，略高于300,000美元。在11年期间可能会更高。我认为这些消耗量实际上相对保守。而这假设行驶里程的50%是。没有什么不是有用的。所以这只按50%的利用率计算。

到明年年中，我们将有超过100万辆Tesla汽车上路，配备功能完整的完全自动驾驶硬件，其可靠性达到我们认为任何人都不需要留意的水平。意思是你可以去睡觉。从我们的角度来看，如果你把时间快进1年，也许1年，也许1年零3个月。

但可以肯定的是，明年我们将有超过1,000,000辆无人驾驶出租车上路。

整个车队通过一次无线更新被唤醒。仅此而已。

你会问，一辆无人驾驶出租车的净现值是多少？可能大约是20万美元。所以购买一辆Model 3很划算。

有什么问题吗？

嗯，我是说，在我们自己的车队中，我不知道，我想长期来看，我们可能会有大约1,000万辆车。

我是说我们通常的生产速率。如果你看看我们自2012年以来的复合年生产率，那就像是。那是我们全面生产Model Model S的第1个完整年份。我们从2013年生产23,000辆车，发展到去年生产约250,000辆车。所以在5年期间，我们将产量提高了倍数，10倍。我预计未来5年或6年会发生类似的情况。

至于共享，共享还是，我不知道。好处在于，基本上是客户在预先把车款给我们。这很棒。

所以就那一件事而言，就是蛇形充电器，我对此很好奇。

还有，你们是如何确定定价的？

看起来，看起来你们的价格比平均的Lyft或Uber行程低了大约50%。所以我很好奇，你能否谈谈

一点定价策略。

当然。我们预计这要解决。解决蛇形充电器的问题，从视觉道具的角度来看相当直接。这就像一种已知情形。对视觉来说，任何一种已知情形，比如充电口，都很简单。

所以。所以，是的，汽车会自动停车并自动接入充电。不会有任何人，也不需要人工监督。

是的。所以抱歉，定价是多少来着？我们只是在上面随便放了几个数字。我的意思是，我认为肯定包括插电。你觉得什么定价合理就用什么定价。我们只是有点随意地说，好吧，也许1美元。

而问题是，全世界大约有20亿辆汽车和卡车。所以在非常长的时间里，Robotaxi 的需求都会极其旺盛。而我到目前为止的观察是，汽车行业的适应速度非常慢。我的意思是，就像我说的，如今你能买到的上路汽车中，仍然没有一辆能像2012年的 Model S 那么好。

所以这表明汽车行业的适应速度相当缓慢。因此未来10年里，1美元可能还是保守的，因为人们多少会觉得，实际上大家对制造的难度认识不足。制造难得不可思议。但我交谈过的很多人都认为，只要有正确的设计，你就能立刻制造出全世界想要的那么多产品。

这不是真的。

为新技术设计一套新的制造系统极其困难。

我的意思是，奥迪在制造 E Tron 时遇到了重大问题，而，而且他们极其擅长制造。如果他们都遇到问题，其他人又会怎样？

所以，这个，你知道，全世界大约有20亿辆汽车和卡车，汽车年产能大约为1亿辆，但只能生产旧设计的汽车。

要把所有这些都转变为完全自动驾驶汽车，需要非常长的时间。而且它们确实需要是电动的，因为汽油柴油汽车的运营成本远高于电动汽车。所以任何、任何、任何不是电动的机器人出租车都绝对不具备竞争力。

埃隆，我是这边奥本海默的科林·拉什。你知道，显然，我们理解客户正在为这支车队的组建预付一部分现金，但听起来随着时间推移，这需要该组织在资产负债表上作出巨额投入。你能稍微谈谈

这会是什么样子，你们的预期

是什么，就未来的融资而言，在接下来

就算3年吧，3、4年

里组建这支车队，并开始通过你们的客户群体将其变现？

嗯，我们的目标是在车队组建阶段实现大致的现金流中性。然后，我预计一旦机器人出租车启用，我们将产生极其可观的正现金流。但我不想谈融资轮次。在这个场合谈论融资轮次会很困难。不过我认为我们会采取正确的行动。我认为我们会采取你们认为我们应该采取的行动。

我有一个问题。如果我是 Uber，我为什么不直接买下你们所有的车？你知道，我为什么要让你们把我挤出市场？

我们的车里有一项，有一项条款。我想那是大约3年或4年前加进去的。它们只能在 Tesla 网络中使用。

所以即使是个人，比如我出去买10辆 Model 3，我不能，我可以在这个网络上运营。这现在是一门生意。对吧。

你只有权使用 Tesla 网络。

对。但如果我使用 Tesla 网络，理论上，我可以用我的10辆 Model 3 经营一家汽车共享机器人出租车业务。

可以，但它就像 App Store。

你只能通过 Tesla 网络添加或移除它们，然后 Tesla 会获得收入分成。

不过这和 Airbnb 类似，我有这套房子、我的车，现在我可以直接把它们租出去，这样我就能通过拥有多辆车并把它们租出去赚取额外收入。比如我有一辆 Model 3。我希望你们造出这里这辆 Roadster 后，下一辆就买它。而我会直接把我的 Model 3 租出去。我为什么要把它还给你们？你知道，

我想你可以运营一支租车车队，但我认为这样非常难以管理。是的，我不知道。看起来很容易。好吧，试试看。

要运营机器人出租车网络，听起来你们必须解决某些问题，比如说，现在使用 Autopilot 时，如果你过度转动方向盘，它会让你接管。但如果它是，你知道，如果它是一款让其他人坐进乘客座位的共享出行产品，那么像转动方向盘这种操作，方向盘不能让那个人接管汽车，例如，因为他们甚至可能不在驾驶座上。所以，要让它成为机器人出租车，硬件已经具备了吗？

而且它可能遇到警察示意它靠边停车之类的情况，届时可能需要某个人进行干预，比如使用一个中央操作员团队，由他们远程以某种方式与人互动，或者，我的意思是，每辆车中是否已经内置了所有这类基础设施？

这样说清楚了吗？我认为会有某种呼叫总部的机制，汽车如果被困住了，就会直接呼叫 Tesla 总部并寻求解决方案。比如被离岸警察拦下之类的事情。对我们来说，这很容易通过编程实现。这不是问题。

至少在一段时间内，某些……某个人可以使用方向盘接管。然后可能再往后，我们会直接把方向盘封住，这样就无法进行转向控制。

我们会直接拆下方向盘，从长远来看装上一个盖子。给它大约几年时间。硬件

对汽车进行改装，以便让它实现这一点。

或者，是的，我们实际上只要把方向盘拆下来，再在目前方向盘手柄所在的位置装一个盖子。

但是，但是那，那是一种你们未来会推出的汽车。但今天这些汽车怎么办？方向盘是接管 Autopilot 的一种机制，比如说，如果它处于机器人出租车模式，有人能不能只要简单转动一下方向盘之类的就接管它？

是的，我认为会有一个过渡期，人们将能够接管自动驾驶出租车，也应该能够接管。然后，一旦监管机构能够接受我们不设方向盘，我们就会直接把它去掉。对于那些已经加入车队的车辆，你知道，如果车辆归其他人所有，显然要征得车主的许可，我们会直接拆下方向盘，并在目前安装方向盘的位置盖上盖子。

所以，自动驾驶出租车可能会有两个阶段。一个阶段是提供这项服务，你上车后坐在驾驶员的位置，但有可能接管。然后未来可能不再提供驾驶员选项。你也是这样看的吗

或者说未来呢？未来会的。未来方向盘被拆掉的概率是100%。人们。消费者会要求这样做。

但是，但是一开始你会叫来。

这不是。这是，我要说明白，并不符合专业地规定一种关于世界的观点。这是我在预测消费者会要求什么。未来，消费者会要求不允许人们驾驶这些3吨重的死亡机器。

我完全同意。但为了让现在的一辆Model 3成为自动驾驶出租车网络的一部分，当你叫车时，你随后基本上会坐进驾驶座，因为只是为了保持一致。

好的，这就说得通了。

谢谢。

没错。就有点像，你知道，曾经有两栖动物，你知道，但后来差不多那些东西就变成了陆地生物。会有一个短暂的两栖阶段。

你好。

抱歉。我能看出那个。好的。

是的。

我们从自动驾驶出租车领域的其他参与者那里听到的策略，是选择某个特定的市辖区域，创建有地理围栏的自动驾驶。这样一来，你就可以利用高清地图，在一个更受限制、稍微更安全的区域内运行。

一个。

今天我们没有听到太多关于高清地图重要性的内容，对你们来说，高清地图在多大程度上是必要的？其次，我们也没有听到太多关于在特定市辖区部署这项技术的内容，也就是你们与市政府合作，以获得

他们的认同，而且你们还

能得到一个界定更明确的区域。那么，高清地图的重要性是什么？你们在多大程度上考虑在特定市辖区推出？

我认为 HTMAPs 是个错误。其实我们有一段时间用过 HTMAPs。其实不能能那样做，因为要么你需要 HTMAPs，而在这种情况下，只要环境有任何变化，汽车就会出故障；要么你不需要 HTML，而在这种情况下，你为什么还要浪费时间做高清地图？所以高清地图这件事，就像两个不该使用的主要拐杖一样，事后回看会发现它们显然是错误而愚蠢的，那就是激光雷达和高清地图。

记住我的话。

你好。

如果你需要地理围栏区域，那你就不是真正的自动驾驶。

只是听起来，电池供应可能是实现这一愿景仅存的瓶颈。另外，你能否说明一下，如何让电池包能使用100万英里？

我认为电芯会成为一个制约因素。那是一个完全独立的。那是一个完全独立的话题。

而且我认为，实际上我们会希望更多地推动某种标准续航升级版电池，而不是长续航电池，因为长续航电池包的能量含量按千瓦时计要高50%。

所以本质上，如果你，如果你只是。要是它们全都用某种标准续航升级版，而不是长续航电池包，你就能多生产三分之一的汽车。所以一个大约是50千瓦时，另一个大约是75千瓦时。因此，我们实际上可能会有意让销售偏向较小的电池包，以便拥有更多的，基本上你显然要做的是最大限度增加自动驾驶单元的数量，或者最大限度增加产出，这将替代性地带来未来最大的自动驾驶下泄。

所以我们正在这方面做很多事情，但这不属于今天会议的内容。

100万英里的寿命，基本上就是要把电池包的循环寿命做到，你知道，你大致需要。比如说，做个基本计算，如果你的电池包续航为250英里，你知道你会需要4,000次循环。

所以非常容易实现。我们的固定式储能已经做到了。我们的一些固定式储能解决方案，比如 Powerpack，我们已经准备好部署具备4,000次循环寿命能力的 Powerpack。

对。

我能问一下吗。

抱歉，对，我本来想。

这就像腹语术。

不，这显然影响重大。如果你能大幅提高全自动驾驶选装项的选购率，对利润率显然有非常积极的影响。我只是想知道，你能否说明一下目前这些选购率大致处于什么水平，以及你们预计将如何让消费者了解 Robotax 的情景，从而使选购率随着时间推移得到实质性提高提高。

抱歉，你的问题有点听不清。

对，只是想知道，就全自动驾驶选购率及其财务影响而言，我们目前处于什么水平。我认为，如果这些选购率显著上升，会带来巨大的好处，因为会有更高的毛利额流入。就人们确实订购完整 FSD 而言，只是想知道你认为它会如何增长

或者选购

率目前是多少，相比之下，你知道，你们预计何时。你们预计如何教育消费者，让他们意识到自己在购车时应该选购 FSD？

今天之后，我们会大幅加大这方面的力度。

对，我的意思是，消费者今天应该领会的根本性、真正根本性的信息是：购买 Tesla 以外的任何东西，在财务上都是疯狂的。

3年后，这就会像拥有一匹马。我的意思是，如果你想拥有一匹马，那没问题，但你应该抱着这种预期去做。

如果你买了一辆不具备全自动驾驶所需硬件的汽车，那就像买了一匹马，而唯一具备全自动驾驶所需硬件的汽车就是 Tesla。

人们真的应该认真考虑自己购买任何其他车辆这件事。基本上，购买 Tesla 以外的任何汽车都是疯狂的。

我们需要把这个，把这个论点清楚地传达出去，今天之后我们会这样做。

太好了。感谢你们把未来带到当下，今天的信息量很大。我想问的是，你们没有怎么谈到 Tesla 皮卡，我来说明一下相关背景。我可能是错的，但在我看来，Tesla 网络是作为一个早期采用者，以及某种测试面包。我认为 Tesla 的皮卡可能是将车辆接入网络的第一阶段，因为 Tesla 皮卡的用途基本上会面向那些要装载很多东西的人，或者从事建筑行业的人，又或者处理这里那里零碎物品的人，比如从家得宝取东西。

我会说，你知道，也许需要一个两阶段流程，先让皮卡专供 Tesla 网络使用，作为起点。然后像我这样的人以后再购买。但你对此有什么看法？

嗯，今天其实只讨论自动驾驶。我们可以谈很多事情，比如电芯生产、皮卡和未来的车辆车辆。但今天只聚焦自动驾驶。不过我同意，这是件大事。我非常期待今年晚些时候发布 Tesla 皮卡。它会很棒。

瑞银的 Colin Lang。为了确保我们理解这些定义，当你提到功能完整的自动驾驶时，听起来你说的是第5级、没有地理围栏。这是预计在今年年底前实现的吗？

只是为了让我们大家都。

然后是监管流程，我的意思是

你们就此和监管机构谈过吗？从

其他人已经推出的东西。我是说，他们是不是，你知道，需要克服哪些障碍，获得批准的时间表又是什么？

你们是否还需要诸如在

加利福尼亚州，而且他们是否在追踪里程，你知道，有操作员在其后？你们需要这些东西吗？这个流程会是什么样的？

是的，我是说，随着我们推出诸如自动辅助驾驶导航之类的附加功能，我们一直都在与世界各地的监管机构沟通。

这需要逐个司法管辖区获得监管批准。

所以，不过根据我的经验，我认为从根本上说，数据能够说服监管机构。因此，如果你拥有海量数据，表明自动驾驶是安全的，他们就会听取这些数据。他们可能需要时间来消化他们所处理的信息。可能需要一点时间，但就我所见，他们最终总是会得出正确的结论。

哦，这边有个问题。

我拿到了许可证和支柱。好的。

我只是想，只是想，你知道，根据我们为更好地了解网约车市场所做的一些工作。看起来它高度集中在主要的高密度城市中心。那么，应该这样理解吗：无人驾驶出租车可能会更多地部署到这些地区，而个人拥有车辆所增加的完全自动驾驶功能则会用于郊区？

我认为大概是的，Tesla 自有的无人驾驶出租车会和客户车辆一起出现在高密度城市地区。然后到了中等和低密度地区，更多的情况往往会是人们拥有汽车，并偶尔把它借出去。

是的，曼哈顿以及比如旧金山市中心有很多边缘案例，但那些，你知道，而且世界各地有各种城市拥有颇具挑战性的开放环境。

但我们预计这不会是一个重大问题。而且当我说“未来完整”时，我的意思是，它今年将在旧金山市中心和曼哈顿市中心运行。

你好，我有一个关于神经网络架构的问题。比如说，你们是否会为路径规划和感知使用不同的模型，或者使用不同类型的人工智能？你们大致是如何把这个问题拆分到自动驾驶的不同组成部分中的？

嗯，基本上目前人工智能或神经网络实际上是用于物体识别的。而且我们基本上仍然只是将其用于静止帧，也就是识别静止帧中的物体，然后在之后的感知路径规划层中把这些联系起来。但正在发生的情况是，神经网络正在逐渐越来越多地蚕食软件基础。因此随着时间推移，我们预计神经网络会做得越来越多。

现在，从计算成本的角度来看，有些事情对于启发式方法非常简单，而对于神经网络却非常困难。因此，在系统中保留某种程度的启发式方法可能是合理的，因为从计算角度看，它们比神经网络容易整整1000倍。比如，神经网络就像巡航导弹，而如果你想拍死一只苍蝇，就用苍蝇拍，不要用巡航导弹。

所以，不过随着时间推移，我预计它真的会转向仅用视频进行训练，然后输入视频，输出车内的转向和踏板操作，或者基本上几乎完全是输入视频，输出横向和纵向加速度。

这就是我们要使用 Dojo 系统来做的事。目前还没有任何系统能够做到这一点。

也许这边。

回到传感器套件的讨论，埃隆。有一个方面我想谈谈

的是缺少侧向雷达。

在有停车标志的十字路口这种情况下，那里

可能有时速35、40英里的

横向车流，你是否确信

传感器套件和侧向摄像头能够

应对这种情况？

能不能简单谈谈这个问题？

可以，没问题。

从本质上说，汽车会采取类似人类的做法。你可以把人类看作基本上安装在慢速云台上的摄像头。人们能以现在这种方式驾驶汽车，着实相当了不起，因为你无法同时观察所有方向。汽车则确实可以通过多个摄像头同时观察所有方向。所以，人类只需像这样看看这边、看看那边，就能够开车。

他们实际上被固定在驾驶座上。他们其实无法离开驾驶座。所以这就像云台上的一个摄像头，却能够驾驶。尽职的驾驶员可以以非常高的安全性驾驶。车内摄像头的视角比人更好。它们位于 B 柱较高的位置或后视镜前方。它们确实拥有绝佳的视角。所以，如果你要转入一条有大量高速车流的道路，只需像人一样做。

只需稍微往前转一点。不要完全驶入道路。让摄像头看看情况。如果看起来没问题，而且后置摄像头也没有显示任何驶来的车辆，那就出发。如果看起来不太稳妥，你可以稍微往后退一点。就像人一样。这种行为非常像。它开始变得非常栩栩如生。其实相当诡异。汽车就开始像这边的人一样行动。

那我们开始吧。

棘手的问题就在这里。

好的。

鉴于你们通过将所有这些技术围绕自身整合，在汽车业务中创造了如此多的价值，我想知道，你们为什么仍会拿出一部分电芯产能投入 Powerwall 和 Powerpack？把你们能生产的每一个电芯都投入这部分业务，不是更合理吗？

我们已经抢走了几乎所有原本要用于 Powerwall 和 Powerpack 的电芯生产线，并将它们用于 Model 3。我的意思是，去年，为了完成 Model 3 的生产并避免自己陷入短缺，我们不得不把超级工厂的所有2170生产线都转用于汽车销售。

所以，以总吉瓦时计算，我们固定式储能的实际产出与汽车相比相差一个数量级。而对于固定式储能，我们基本上可以使用市面上一大批各种各样的电芯。因此，我们可以从世界各地的多家供应商那里收集电芯，而且不会像汽车那样存在认证问题或安全问题。所以基本上，我们的固定式电池业务很长时间以来一直都只是在捡零碎的东西吃。

所以。

但是，真的要把生产想成是。有很多很多因素会制约一个庞大的生产系统。制造业供应链被低估的程度令人震惊。存在一整套制约因素。而某一周的制约因素，到另一周可能就不再是制约因素。

制造一辆汽车难得不可思议，尤其是制造一辆正在快速演进的汽车。所以。

是的。

不过我再回答几个问题，然后我想我们就休息四，这样你们就可以试驾这些车了。

你好，埃隆，亚当，乔纳斯。

关于安全性的问题。

什么。

你们今天能与我们分享什么数据？

这项技术有多安全，这将

显然在监管或保险讨论中很重要。

嗯，我们每个季度都会公布每英里事故数。我们目前看到的是，Autopilot 的安全性大约是普通驾驶员，你知道，平均而言普通驾驶员的2倍。我们预计这一数字会随着时间推移大幅提高。

就像我说的，未来会是这样。消费者会想要禁止，而且我是在说他们会成功，我也不是在说我赞同这一立场，但在未来，消费者会希望禁止人们自己驾驶汽车，因为那不安全。如果你想想电梯，电梯过去是通过一根大操纵杆来操作的，比如上下楼层，还有一个大继电器，也有电梯操作员，但他们有时会疲倦或喝醉之类的，然后会在错误的时机扳动操纵杆，把某个人拦腰切成两半。

所以现在已经没有电梯操作员了。而且，如果你走进一部装有一根大操纵杆、可以在楼层之间任意移动的电梯，那会相当令人不安。

所以。

所以就只有按钮，而从长远来看，再说一次，这并不是价值判断。我不是说我希望世界变成这样。我是说，消费者很可能会要求不允许人们驾驶汽车。

还有，埃隆，追问一下，你能否

和我们分享一下 Tesla 花费了多少

每年在 Autopilot 或自动驾驶技术上的支出大致是什么数量级？谢谢。

这基本上就是我们的整个费用结构。

关于Tesla网络的经济性有一个问题。我只是想确认自己理解了，看起来是这样。所以你拿到一辆租赁期满的Model 3，25,000美元计入资产负债表，会是一项资产，然后你。它每年会产生大约30,000美元的现金流。应该这样理解吗。对，差不多是这样，对。

然后仅就其融资而言

之前有一个问题，你

提到你会这么做。这对 Robotaxi 项目而言是现金流中性，还是对

Tesla 整体而言？

抱歉，现金流中性是就什么而言。

他问了一个关于为

机器人税融资的问题，但在我看来

它们像是自我融资的。

但你提到它们基本上会实现现金流中性。你指的是这个吗？我只是说，从现在到Robotaxi在全世界全面部署之时，对我们来说明智的做法是最大化速率，并推动公司实现现金流中性。

一旦Robotaxi车队投入运营，我预计现金流会极其充裕。所以你说的是生产，对。把它们全部生产出来。

好的，谢谢。

最大化所生产的自动驾驶车辆数量。

谢谢。

好的，也许就再来一个。这里最后一个问题。你好。

如果我。

如果我把我的Tesla加入Robotaxi网络，谁。

谁要为事故负责？

是Tesla，还是我？

如果车辆发生事故并造成伤害。

可能是Tesla。可能是Tesla。

如果。

是的。

我认为正确的做法就是确保事故非常、非常少。好了，谢谢大家。请享受试乘。

谢谢。

谢谢你，非常。

多。Sam。

萨。

Sam。

它。

Sam。

萨。

它。

它。

它是。

萨。

萨姆。

它。

拉。

It.

Sa.

Sam.

It.

Range sam it.

Sa.

Sa.

Race.

Sa.

Sa.

Sa.

Sam.

Sa.

Sam.

Sa.

It.

Sam.

Sa.

Sam.

It.

Sa.

Sam sa.

Sam.

Sa.

Sa.

Sa.

Sa.

It.

Sam.

Sa.

Sa.

Sam.

Sa.

Sa.

Sa.

It.

Sam.

Sa.

Sam.

Sa.

It.

Sa.

Hi everyone. I'm sorry for being late. Welcome to our very first analyst day for Autonomy. I really hope that this is something we can do a little bit more regularly now to keep you posted about the, the development we're doing with regards to autonomous driving. About three months ago we were getting prepped up for our Q4 earnings call with Elon and quite a few other executives. And one of the things that I told the group is that from all the conversations that I keep having with investors on regular basis, the biggest gap that I see with what I see inside the company and what the outside perception is is our ability of autonomous driving.

And it kind of makes sense because for the past couple of years we've been really talking about Model 3 ramp. And you know, a lot of the debate has revolved around Model 3, but in reality a lot of things have been happening in the background. We've been working on the new full self driving chip. We've had a complete overhaul of our neural net for vision recognition, et cetera. So now that we finally started to produce our full self driving computer, we thought it's a good idea to just open the veil, invite everyone in and talk about everything that we've been doing for the past two years.

So about three years ago we wanted to use, we wanted to find the best possible chip for Full Autonomy. And we found out that there's no chip that's been designed from ground up for neural nets. So we invited my colleague Pete Bannon, the VP of Silicon Engineering, to design such chip for us. He's got about 35 years of experience of building chips and designing chips. About 12 of those years were for a company called PA Semi, which was later acquired by Apple.

So he worked on dozens of different architectures and designs and he was the lead designer, I think for Apple iPhone 5 just before joining Tesla. And he's going to be joined on the stage by Elon Musk. Thank you.

Actually, I was going to introduce Pete, but Martin Stunt. So he's just the best chip and system architect that I know in the world. And it's an honor to have you and your team at Tesla and take away. Just tell them about the incredible work that you and your team have done.

Thanks, Elon. It's a pleasure to be here this morning and a real treat really to tell you about all the work that my colleagues and I've been doing here at Tesla for the last three years.

I think we'll tell you a little bit about how the whole thing got started and then I'll introduce you to the full self driving computer and tell you a little bit about how it works. We'll dive into the chip itself and go through some of those details. I'll describe how the custom neural network accelerator that we designed works and then I'll show you some results and hopefully you'll all still be awake by then.

I was hired in February of 2016. I asked Elon if he was willing to speak all the money it takes to do full custom system design. And he said, well, are we going to win? And I said, well, yeah, of course. So he said I'm in. And so that got us started. We hired a bunch of people and started thinking about what a custom designed chip for full autonomy would look like. We spent 18 months doing the design and in August of 2017 we released the design for manufacturing.

We got it back in December at pack powered up and it actually worked very, very well on the first try. We made a few changes and released a B0 Rev in April of 2018. In July of 2018, the chip was qualified and we started full production of production quality parts. In December of 2018, we had the autonomous driving stack running on the new hardware and we were able to start retrofitting employee cars and testing the hardware and software out in the real world.

Just last March we started shipping the new computer in the Model S and X. And just earlier in April we started production in the Model 3. So this whole program, from the hiring of the first few employees to having it in full production in all three of our cars, is just a little over three years and is probably the fastest system development program I've ever been associated with. And it really speaks a lot to the advantages of having a tremendous amount of vertical integration to allow you to do concurrent engineering and speed up deployment.

In terms of goals, we were totally focused exclusively on Tesla requirements and that makes life a lot easier. If you have one and only one customer, you don't have to worry about anything else. One of those goals was to keep the power under 100 watts so that we could retrofit fit the new machine into the existing cars.

We also wanted a lower part cost so we could enable full redundancy for safety. At the time, we had a thumb in the wind estimate that it would take at least 50 trillion operations. A second of neural Network performance to drive a car. And so we wanted to get at least that much and really as much as we possibly could. Batch size is how many items you operate on at the same time. So for example, Google's TP has a batch size of 256 and you have to wait around until you have 256 things to process before you can get started.

We didn't want to do that, so we designed our machine with a batch size of one. So as soon as an image shows up, we process it immediately. To minimize latency, which maximizes safety, we needed a GPU to run some post processing. At the time we were doing quite a lot of that. But we speculated that over time the amount of post processing on the GPU would decline as the neural networks got better and better. And that has actually come to pass.

So we took a risk by putting a fairly modest GPU in the design, as you'll see, and that turned out to be a good bet. Security is super important. If you don't have a secure car, you can't have a safe car. So there's a lot of focus on security and then of course, safety in terms of actually doing the chip design. As Elon alluded earlier, there was really no ground up neural network accelerator in existence in 2016. Everybody out there was adding instructions to their CPU or GPU or DSP to make it better for inference, but nobody was really just doing it natively.

So we set out to do that ourselves. And then for other components on the chip we purchased industry standard IP for CPUs and GPUs. That allowed us to minimize the design time and also the risk to the program.

Another thing that was a little unexpected when I first arrived was our ability to leverage existing teams at Tesla. Tesla had wonderful power supply design teams, signal integrity analysis, package design, system software, firmware board designs, and a really good system validation program that we were able to take advantage of to accelerate this program. Here's what it looks like.

Over there on the right you see all the connectors for the video that comes in from the eight cameras that are in the car. You can see the two self driving computers in the middle of the board and then on the left is the power supply and some control connections. And so I really love it when a solution is boiled down to its barest elements. You have video computing and power and it's straightforward and simple. Here's the original hardware 2.5 enclosure that the computer went into and we've been shipping for the last two years.

Here's the new design for the FSD computer. It's basically the same, and that of course is driven by the constraints of having a retrofit program for the cars. I'd like to point out that this is actually a pretty small computer. It fits behind the glove box. Between the glove box and the firewall in the car. It does not take up half your trunk.

As I said earlier, there's two fully independent computers on the board. You can see them there highlighted in blue and green. To either side of the large SoC you can see the DRAM chips that we use for storage. And then below left you see the flash chips that represent the file system. So these are two independent computers that boot up and run their own operating system.

Yeah. If I can add something, the general principle here is that any part of this could fail and the car will keep driving. So you could have cameras fail, you could have power circuits fail, you could have one of the Tesla full self driving computer chips fail, car keeps driving. The probability of this computer failing is substantially lower than somebody losing consciousness. That's the key metric, at least in order of magnitude.

Yep.

So one of the things that we additional thing we do to keep the machine going is to have redundant power supplies in the car. So one, one machine's running on one power supply and the other one's on the other. The cameras are the same. So half of the cameras run on the blue power supply, the other half run on the green power supply, and both chips receive all of the video and process it independently. So in terms of driving the car, the basic sequence is collect lots of information from the world around you.

Not only do we have cameras, we also have radar, GPS maps, the imus, ultrasonic sensors around the car. We have wheel ticks, steering angle. We know what the acceleration and deceleration of the car is supposed to be. All of that gets integrated together to form a plan. Once we have a plan, the two machines exchange their independent version of the plan to make sure it's the same. And assuming that we agree, we then act and drive the car.

Now, once you've driven the car with some new control, you want to validate it. So we validate that what we transmitted was what we intend to transmit to the other actuators in the car. And then you can use the sensor suite to make sure that it happens. So if you ask the car to accelerate or brake or steer right or left, you can look at the accelerometers and make sure that you are in fact doing that. So there's a tremendous amount of redundancy and overlap in both our data acquisition and our data monitoring capabilities here.

Moving on to talk about the full self driving chip a little bit. It's packaged in a 37.5 millimeter BGA with 1600 balls. Most of those are used for power and ground, but plenty for signal as well. If you take the lid off, it looks like this. You can see the package substrate and you can see the die sitting in the center there. If you take the die off and flip it over, it looks like this. There's 13,000 C4 bumps scattered across the top of the die and then Underneath that are 12 metal layers which is obscuring all the details of the design.

So if you strip that off, it looks like this.

This is a 14 nanometer FinFET solution DMOS process. It's 260 millimeters in size, which is a modest sized die. So for comparison, a typical cell phone chip is about 100 millimeters square, which so we're quite a bit bigger than that. But a high end GPU would be more like 600 to 800 millimeters square. So we're sort of in the middle. I would call it the sweet spot. It's a comfortable size to build. There's 250 million logic gates on there and a total of 6 billion transistors, which even even though I work on this all the time, that's mind boggling to me.

The chip is manufactured and tested to AEC Q100 standards, which is a standard automotive criteria. Next, I'd like to just walk around the chip and explain all the different pieces to it. And I'm sort of going to go in the order that a pixel coming in from the camera would visit all the different pieces. So up there in the top left you can see, see the camera serial interface. We can ingest 2.5 billion pixels per second, which is more than enough to cover all the sensors that we know about.

We have an on chip network that distributes data from the memory system. So the pixels would travel across the network to the memory controllers on the right and left edges of the chip. We use industry standard LPDDR4 memory running at 4266 gigabits per second, which gives us a peak bandwidth to 68 gigabytes a second, which is a pretty healthy bandwidth. But again, this is not like ridiculous. So we're sort of trying to stay in the comfortable sweet spot for cost reasons.

The image signal processor has a 24 bit internal pipeline that allows us to do Take full advantage of the HDR sensors that we have around the car. It does advanced tone mapping which helps to bring out details and shadows. And then it has advanced noise reduction which just improves, improves the overall quality of the images that we're using in the neural network. The neural network accelerator itself. There's two of them on the chip.

They each have 32 megabytes of SRAM to hold temporary results and minimize the amount of data that we have to transmit on and off the chip, which helps reduce power. Each array has a 96 by 96 multiply add array with in place accumulation which allows us to do almost 10,000 multiply ads per cycle. There's dedicated RELU hardware, dedicated pooling hardware, and each of these deliver 306. Excuse me, each one delivers 36 trillion operations per second and they operate at 2 gigahertz.

The two of them together on a die deliver 72 trillion operations a second. So we exceeded our goal of 50 teraops by a fair bit.

There's also a video encoder. We encode video and use it in a variety of places in the car, including the backup camera display. There's optionally a user feature for dash cam and also for clip logging data to the cloud, which Stuart and Andre will talk about more later. There's a GPU on the chip. It's modest performance. It has support for both 32 and 16 bit floating point. And then we have 12 A72 64 bit C CPUs for general purpose processing.

They operate at 2.2 gigahertz. And this represents about 2 1/2 times the performance available in the current solution.

There's a safety system that contains two CPUs that operate in lockstep. This system is the final arbiter of whether it's safe to actually drive the actuators in the car. So this is where the two plans come together and we decide whether it's safe or not to move forward. And lastly there's a safety system. And basically the job of the safety system is to ensure that this chip only runs software that's been cryptographically signed by Tesla.

If it's not been signed by Tesla, then the chip does not operate.

Now, I've told you a lot of different performance numbers and I thought it'd be helpful maybe to put it into perspective a little bit. So throughout this talk, I'm going to talk about a neural network from our narrow camera. It uses 35 billion operations, 35 giga ops, and if we use all 12 CPUs to process that network, we could do one and a half frames per second, which is super slow, not nearly adequate to drive the car.

If we use the 600 gigaflop GPU, the same network, we'd get 17 frames per second, which is still not good enough to drive the car. With eight cameras, the neural network accelerators on the channel chip can deliver 2100 frames per second. And you can see from the scaling as we moved along that the amount of computing in the CPU and GPU are basically insignificant to what's available in the neural network accelerator.

It really is night and day.

So, moving on to talk about the neural network accelerator, we're just going to stop for some water.

On the left, there's a cartoon of a neural network just to give you an idea of what's going on. The data comes in at the top and visits each of the boxes. And the data flows along the arrows to the different boxes. The boxes are typically convolutions or deconvolutions with relus. The green boxes are pooling layers. And the important thing about this is that the data produced by one box is then consumed by the next box, and then you don't need it anymore.

You can throw it away. So all of that temporary data that gets created and destroyed as you flow through the network, there's no need to store that off chip in dram. So we keep all that data in sram. And I'll explain why that's super important in a few minutes. If you look over on the right side of this, you can see that in this Network, of the 35 billion operations, almost all of them are convolution, which is based on dot products.

The rest are deconvolution, also based on dot product, and then relu and pooling, which are relatively simple operations. So if you were designing some hardware, you'd clearly target doing dot products, which are based on multiply, add, and really kill that. But imagine that you sped it up by a factor of 10,000. So 100% all of a sudden turns into 0.1%, 0.01%, and suddenly the relu and pooling operations are going to be quite significant.

So our hardware doesn't. Our hardware design includes dedicated resources for processing, relu and pooling as well.

Now, this chip is operating in a thermally constrained environment, so we had to be very careful about how we burn that power. We want to maximize the amount of arithmetic we can do. So we picked integer add. It's 9 times less energy than the corresponding floating point Add and we picked 8 bit by 8 bit integer multiply, which is significantly less power than other multiply operations and is probably enough accuracy to get good results.

In terms of memory, we chose to use SRAM as much as possible. And you can see there that going off chip to Dram is approximately 100 times more expensive, expensive in terms of energy consumption than using local sram. So clearly we want to use local SRAM as much as possible. In terms of control, this is data that was published in a paper by Mark Horowitz at ISSCC where he sort of critiqued how much power it takes to execute a single instruction on a regular integer cpu.

And you can see that the add operation is only 0.15 centimeter percent of the total power. All the rest of the power is control overhead and bookkeeping. So in our design we sought to basically get rid of all that as much as possible, because what we're really interested in is arithmetic. So here's the design that we finished. You can see that it's dominated by the 32 megabytes of SRAM. There's big banks on the left and right and in the center bottom.

And then all the computing is done in the upper middle. Every single clock, we read 256 bytes of activation data out of the SRAM array, 128 bytes of weight data out of the SRAM array, and we combine it in a 96 by 96 mulad array which performs 9000 multiply adds per clock at 2 gigahertz. That's a total of 3.63 36.8 teraops.

Now, when we're done with the dot product, we unload the engine so that we shift the data out across the dedicated RELU unit, optionally across a pooling unit, and then finally into a write buffer where all the results get aggregated up. And then we write out 128 bytes per cycle back into the SRAM. And this whole thing cycles along all the time, continuously. So we're doing dot products while we're unloading previous results, doing pooling and writing back into the memory.

If you add it all up at 2 gigahertz, you need 1 terabyte per second of SRAM bandwidth to support all that work. And so the hardware supplies that. So one terabyte per second of bandwidth per engine. There's two on the chip. Two terabytes per second.

The accelerator has a relatively small instruction set. We have a DMA read operation to bring data in from memory. We have a DMA Write operation to push results back out to memory. We have three dot product based instructions, instructions, convolution, deconvolution and inner product. And then two relatively simple scale is one input, one output operation and outwise is two inputs and one output. And then of course, stop when you're done.

We had to develop a neural network compiler for this. So we take the neural network that's been trained by our vision team as it would be deployed in the older cars, and we take that and compile it from for use on the new accelerator.

The compiler does layer fusion, which allows us to maximize the computing each time we read data out of the SRAM and put it back. It also does some smoothing so that the demands on the memory system aren't too lumpy. And then we also do channel padding to reduce bank conflicts. And we do bank aware SREM allocation. And this is a case where, where we could have put more hardware in the design to handle bank conflicts.

But by pushing it into software, we save hardware and power at the cost of some software complexity. We also automatically insert DMAs into the graph so that data arrives just in time for computing without having to stall the machine. And then at the end, we generate all the code, we generate all the weight data, we compress it and we add a CRC checksum for reliability.

To run a program, all the neural network descriptions, programs are loaded into SRAM at the start and then they sit there ready to go all the time. So to run a network, you have to program the address of the input buffer, which presumably is a new image that just arrived from a camera. You set the output buffer address, you set the pointer to the network weights and then you set, set, go, and then the machine goes off and will sequence through the entire neural network all by itself, usually running for a million or 2 million cycles.

And then when it's done, you get an interrupt and can post process the results. So moving on to results, we had a goal to stay under 100 watts. This is measured data from cars driving around, running the full autopilot stack. And we're dissipating 72 watts, which is a little bit more power than the previous design. But with the dramatic improvement in performance, it's still a pretty good answer. Of that 72 watts, about 15 watts is being consumed running the neural networks.

In terms of cost, the silicon cost of this solution is about 80% of what we were paying before. So we are saving money by switching to this solution. And in terms of performance, we took the narrow camera neural network, which I've been talking about that has 35 billion operations in it. We ran it on the old hardware in a loop as quick as possible and we delivered 110 frames per second. We took the same data, the same network compiled it for hardware for the new FSD computer.

And using all four accelerators we can get 2,300 frames per second processed. So a factor of 21.

I think this is perhaps the most significant slide. It's night and day.

I've never worked on a project where the performance increase was more than three, so this was pretty fun.

If you compare it to say Nvidia's Drive Xavier solution, A single chip delivers 21 teraops. Our full stop performance driving computer with two chips is 144 teraops.

So to conclude, I think we've created a design that delivers outstanding performance. 144 teraops for neural network processing. It has outstanding power performance. We managed to jam all of that performance into the thermal budget that we had. It enables a fully redundant computing solution. It has a modest cost and really the important thing is that this FSD computer will enable a new level of safety and autonomy in Tesla's vehicles without impacting their cost or range.

Something that I think we're all looking forward to.

I think why don't we do Q and A after each segment so if people have questions about the hardware, they can ask right now.

The reason I asked Pete to do just a detailed, far more detailed than perhaps most people would appreciate, dive into the Tesla full self driving computer is because at first it seems improbable. How could it be that Tesla, who has never designed a chip before, would design the best chip in the world? But that is objectively what has occurred. Not, not best by a small margin, best by a huge margin. It's in the cars right now.

All Teslas being produced right now have this computer. We switched over from the Nvidia solution for SNX about a month ago and we switched over Model 3 about 10 days ago. All cars being produced have all the hardware necessary, compute and otherwise for full self driving.

I'll say that again. All Tesla cars being produced right now have everything necessary for full self driving. All you need to do is improve the software and later today you will drive the cars with the development version of the improved software and you will see for yourself themselves.

Questions for Pete?

Y.

Questions. I saw Trip Chaudhary Global equities research. Very, very impressive in every shape and form. I was wondering, like I. I took some notes. You are using Activation function relu, the rectify linear unit. But if you think about the deep neural network, it has multiple layers and some algorithms may use different activation functions for different hidden layers like softmax or tanh. Do you have flexibility for incorporating different activation functions rather than LU in your platform?

Then I have a follow up.

Yes, we do. We have implementations of Tanh and Sigmoid for example.

Beautiful. One last question. Like in the nanometers you mentioned 14nm. As I was wondering, wouldn't it make sense to come little lower? Maybe 10nm, two years down or maybe 7?

At the time we started the design, not all the IP that we wanted to purchase was available in 10 nanometers. So we finished the design in 14.

It's maybe worth pointing out that we finished this design like maybe one and a half two years ago and began design of the next generation. We're not talking about the next generation today, but we're about halfway through it.

That will all the things that are obvious for next generation chip we're doing.

Yep.

Hi.

You talked about the software as the piece now. You did a great job. I was blown away. Understood 10% of what you said, but I trust that it's in good hands.

Thanks.

So it feels like you got the hardware pieces done and that was really hard to do and now you have to do the software piece. Now maybe that's outside of your expertise, but how should we think about that software piece?

Well, couldn't ask for a better introduction to Andre and Stuart. Are there any questions for the chip part before the next part of the presentation is neural nets and software.

So maybe on the chip side, the last slide was 144 trillions of operations per second versus was it Nvidia 21?

That's right.

And maybe can you just contextualize that for a finance person, why that's so significant, that gap? Thank you.

Well, I mean it's a factor of seven in performance delta. So that means you can do seven times as many frames. You can run neural networks that are seven times larger and more sophisticated. So it's a very big current currency that you can spend on lots of interesting things to make the car better.

I think that Xavier power usage is higher than ours. Xavier powers higher than ours, I think. Or comparable.

I don't know that I believe it's

like

to best my knowledge, the power requirements would increase at least to the same degree, a factor of seven and costs would also increase by a factor of seven.

Great. So yeah, power is a real problem because it also Reduces range. So it has the penalty for power is very high and then you have to get rid of that power by the thermal problem becomes really significant because you got to get rid of all that power. So

thank you very much. I think we have, you know, a

lot of quite a bit ask the questions. If you guys don't mind the day running a bit long. Just we're going to do the drive demos afterwards. So if you've got, if you, if you, if anybody needs to pop out and do drive demos a little sooner, you're welcome to do that. But I do want to make sure we answer your questions. Yep.

Pradeep Ramani from ubs, intel and AMD to some extent have started moving towards a chiplet based architecture. I did not notice a chiplet based design here. Do you think that looking forward that

would be something that might be of

interest to you guys from an architecture standpoint?

A chiplet based architecture?

Yes.

We're not currently considering anything like that. I think that's mostly useful when you need to use different styles of technology. So if you want to integrate silicon germanium or DRAM technology on the same silicon substrate, that gets pretty interesting. But until the die size gets obnoxious, I wouldn't go there.

To be clear, the strategy here, and this started basically three, a little over three years ago, was design and build a computer that is fully optimized and aiming for full self driving. Then write software that is designed to work specifically on that computer and get the most out of that computer. So you have tailored hardware that is a master of one trade, self driving.

Nvidia is a great company but they have many customers and so when as they apply their resources, they need to do a generalized solution.

We care about one thing, self driving. So it was designed to do that incredibly well. The software is also designed to run on that hardware incredibly well. And the combination of the software and the hardware I think is unbeatable.

Hi, the chip is designed to process video input.

In case you use, let's say lidar,

would it be able to process that as well or is that, is it primarily for video? What we're going to explain to you today is that LIDAR is a fool's errand and anyone relying on LIDAR is doomed.

Doomed. Expensive, expensive sensors that are unnecessary. It's like having a whole bunch of expensive appendices. One appendix is bad. Well, now they want to put a whole bunch of them. That's ridiculous. You'll see.

There's somebody up here.

Hi.

Hi.

Oh, there's a Gentleman. Hi.

Hi.

So just two questions just on the power consumption. Is there a way to maybe give us like a rule of thumb on, you know, every watt is, reduces range by certain percent or a certain amount

just so we can get a sense

of how much of an improvement a

model three, the, the target consumption is 250 watts per mile.

It depends on the nature of the driving as to how many miles that that affects in city. It would have a much better, bigger effect than on highway. So if you're driving for an hour in a city and you had a solution, Hypothetically that was a kilowatt, you'd lose four miles on a Model 3. So if you're only going say 12 miles an hour, then that would be a 20, 25% impact on range in city. It's basically power is the power of the system has a massive impact on city range, which is where we think most of the robo taxi market will be.

So power is extremely important.

Tasha.

I'm sorry, I didn't hear you.

Thank you.

What's the primary design objective of the next generation chip?

We don't want to talk too much about the next generation chip, but it's

safety.

It'll be at least let's say three times better than the current system.

Go ahead.

About two hours away.

To develop this chip is the chip being you don't manufacture the chip, you contract that out. And how much cost reduction does that save in the overall vehicle cost?

The 20% cost reduction I cited was the piece cost per vehicle reduction. That wasn't a development costs, that was just the actual.

No, I'm saying. But like if I'm manufacturing these in mass, is this saving money in doing it yourself?

Yes, a little bit.

I mean most chips are made. Most people don't make chips with their own fab. It's pretty unusual.

I think you don't see any supply issues with getting the chip mass produced.

The cost saving pays for the development. I mean the basic strategy going to Elon was we're going to build this chip, it's going to reduce the cost. And Elon said times a million cars a year.

Deal.

That's correct, yes.

Sorry.

If there are really chip specific questions, we can answer them. Otherwise there will be a Q and A opportunity after Andre talks and after Stuart talks. So there will be two other Q& A opportunities. This is if it's very chip specific,

then also I'll be here all afternoon.

Yeah, and exactly. And Pete will be here at the end as well. So go ahead.

Oh yeah, thanks.

That Dye photo you had.

There's.

The neural processor takes up quite a bit of the dye. I'm curious, is that your own design or is there some external IP there?

Yes, that was a custom design by Tesla.

Okay.

And then I guess the follow on would be there's probably a fair amount of opportunity to reduce that footprint as you tweak the design.

It's actually quite dense. So in terms of reducing it, I don't think so. It'll greatly enhance the functional capabilities in the next generation.

Okay, and then last question. Can you share where you're fabbing this part?

Where what?

Where are we fabbing it?

Oh, Samsung.

Samsung, yes. Austin, Texas.

Thank you.

There's one at the back.

Grant Tanaka, Tanaka Capital. Just curious how defensible your chip technologies

and design is from a, from a IP point of view and hoping that

you won't be offering a lot of

the IP to the outside for free.

Thanks.

We have filed on the order of a dozen patents on this technology.

Fundamentally it's linear algebra, which I don't think you can patent. I'm not sure.

I think if somebody started today and they were really good, they might have some something like what we have right now in three years, but in two years we'll have something three times better.

Talking about the intellectual property protection, you have the best intellectual property and some people just steal it for the fun of it. I was wondering if we look at few interactions with Aurora that companies industry believes they stole your intellectual property. I think the key ingredient that you need to protect is the weights that associate to various parameters. Do you think your chip can do something to prevent anybody?

Maybe encrypt all the weights so that even you don't know what the weights are at the chip level so that your intellectual property remains inside it and nobody knows about it and nobody can just steal it.

Ben, I'd like to meet the person that could do that because I would hire them in a heartbeat. Yeah, so that'd be a hard problem.

Yeah. Do you want to, I mean we do encrypt the.

It's a hard chip to crack, so if they can crack it, it's very good. If they can then crack it and then also also figure out the software and the neural net system and everything else. They can design it from scratch like that's all.

It's our intention to prevent people from stealing all that stuff. And if they do, we hope it at least takes a long time.

It will definitely take them a long time. Yeah. I mean I just don't think if it was our goal to do that. How would we do it? It would be very difficult. But the thing that's, I think a very powerful sustainable advantage for us is the fleet. Nobody has the fleet. Those weights are constantly being updated and improved. Based on billions of miles driven, Tesla has 100 times more cars with the full self driving hardware than everyone else combined.

You know, we, we have, by the end of this quarter we'll have 500,000 cars worth of the full 8 camera setup, 12 ultrasonics, some of them will still be on hardware too, but we still have the data gathering ability. And then a year from now we'll have over a million cars with full self driving computer hardware, everything.

Yeah, so we have founders. It's just a massive data advantage. It's similar to like, you know how like the Google search engine has a massive advantage because people use it and people are programming effectively program Google with their queries and their results.

May I just press you on that and please reframe the question because I'm a tech layman, if it's appropriate. But you know, when we talk to Waymo or Nvidia, they do speak with equivalent conviction about their leadership because, because of their competence in simulating miles driven. Can you talk about the advantage of having real world miles versus simulated miles? Because I think they express that, you know, by the time you get a million miles, they can simulate a billion.

And no Formula one race car driver, for example, could ever successfully complete a real world track without driving in a simulator. Can you talk about the advantages it sounds like that you perceive to have associated with having data ingestion coming from real world miles versus simulated miles?

Absolutely. The simulator, we have quite a good simulation too, but it just does not capture the long tail of weird things that happen in the real world. If the simulation fully captured the real world. Well, I mean that would be proof that we're living in a simulation, I think. Yeah, it doesn't, I wish.

But simulations do not capture the real world. The real world is really weird and messy. You need the cars on the road. We're actually going to get into that in Andre and Stuart's presentation. So. Okay, why don't we move on to Andre?

Great, thanks. Thank you.

Thank you everybody.

Thank you very much.

The last question was actually a very good segue because one thing to remember about our FSD computer is that it can run much more complex neural nets for much more precise image recognition. And to talk to you about how we actually get that image data and how we analyze them, we have our Senior Director of AI, Andre Karpathi, who's going to explain all of that to you. Andrej has a PhD from Stanford University where he studied computer science, focusing on vision recognition and deep learning.

Andre, why don't you just talk? Do your own intro. There's a lot of PhDs from Stanford. That's not important. Yes, okay, we don't care.

Come on in.

Thank you.

Andre started the computer vision class at Stanford. That's much more significant. That's what matters.

Just.

So can you please talk about your background in a way that is not bashful? Just tell me about the stuff you've done and then.

Sure.

Yeah.

So yeah, I think I've been training neural networks basically for what is now a decade. And these neural networks were not actually really used in the industry until maybe five or six years ago. So it's been some time that I've been training these neural networks and that included institutions at stanford, at, at OpenAI, at Google, and really just training a lot of neural networks not just for images, but also for natural language and designing architectures that couple those two modalities.

For my PhD, so.

And the computer computer science class.

Oh yeah. And at Stanford I actually taught the convolutional neural networks class. And so I was the primary instructor for that class. I actually started the course and designed the entire curriculum. So in a beginning it was about 150 students and then it grew to 700 students over the next two or three years. So it's a very popular class. It's one of the largest classes at Stanford right now. So that was also really successful.

I mean, Andre is like really one of the best computer vision people in the world. Arguably the best.

Okay, thank you.

Yeah. So.

Hello everyone. So Pete told you all about the chip that we've designed that runs neural networks in the car. My team is responsible for training of these neural networks and that includes all of data collection from the fleet neural network training and then some of the deployment onto that chip.

So what do the neural networks do exactly in the car? So what we are seeing here is a stream of videos from across the vehicle, across the car. These are eight cameras that send us videos. And then these neural networks are looking at those videos and are processing them and making predictions about what they're seeing. And so some of the things that we're interested in and some of the things you're seeing on this visualization here are lane line markings, other objects, the distances to those objects, what we call drivable space, shown in blue, which is where the car is allowed to go, and a lot of other predictions like traffic lights, traffic signs, and so on.

Now for my talk, I will talk roughly in three stages. So first I'm going to give you a short primer on neural networks and, and how they work and how they're trained. And I need to do this because I need to explain in the second part why it is such a big deal that we have the fleet and why it's so important and why it's a key enabling factor to really train these neural networks and making them work effectively on the roads.

And in the third stage, I'll talk about vision and lidar and how we can estimate depth just from vision alone. So the core problem that these networks are solving in the car is that of visual recognition. So for you and I, these are very, this is a very simple problem. You can look at all of these four images and you can see that they contain a cello, a boat, an iguana or scissors. So this is very simple and effortless for us.

This is not the case for computers. And the reason for that is that these images are, to a computer, really just a massive grid of pixels. And at each pixel you have the brightness value at that point. And so instead of just seeing an image, a computer really gets a million numbers in a, a grid that tell you the brightness values at all the positions.

A matrix, if you will. It really is the matrix.

Yeah.

And so we have to go from that grid of pixels and brightness values into high level concepts like iguana and so on. And as you might imagine, this iguana has a certain pattern of brightness values. But iguanas actually can take on many appearances. So they can be in many different appearances, different poses and different brightness conditions against different backgrounds. You can have a different crops of that iguana.

And so we have to be robust across all those conditions, and we have to understand that all those different brightness patterns actually correspond to iguanas. Now, the reason you and I are very good at this is because we have a massive neural network inside our heads that is processing those images. So light hits the retina, travels to the back of your brain, to the visual cortex. And the visual cortex consists of many neurons that are wired together and that are doing all the pattern recognition on top of those images.

Images.

And really over the last, I would say about five years, the state of the art approaches to processing images using computers have also started to use neural networks, but in this case, artificial neural networks. But these artificial neural networks, and this is just a cartoon diagram of it are a very rough mathematical approximation to your visual cortex. We really do have neurons, and they are connected, connected together.

And here I'm only showing three or four neurons in three or four in four layers. But a typical neural network will have tens to hundreds of millions of neurons, and each neuron will have a thousand connections. So these are really large pieces of almost simulated tissue. And then what we can do is we can take those neural networks and we can show them images. So, for example, I can feed my iguana into this neural network, and the network will make predictions about what it's seeing.

Now, in the beginning, these neural networks are initialized completely randomly, so the connection strengths between all those different neurons are completely random. And therefore the predictions of that network are also going to be completely random. So it might think that you're actually looking at a boat right now. And it's very unlikely that this is actually an iguana. And during the training, during the training process, really what we're doing is we know that that's actually an iguana.

We have a label. So what we're doing is we're basically saying we'd like the probability of iguana to be larger for this image and the probability of all the other things to go down. And then there's a mathematical process called backpropagation, stochastic gradient descent that allows us to back propagate that signal through those connections. And update every one of those connections.

Sorry.

And update every one of those connections just a little amount. And once the update is complete, the probability of iguana for this image will go up a little bit. So it might become 14%, and the probability of the other things will go down. And of course, we don't just do this for this single image. We actually have entire large data sets that are labeled. So we have lots of images. Typically, you might have millions of images, thousands of labels or something like that, and you are doing forward, backward, passes over and over again.

So you're showing the computer, here's an image, it has an opinion, and then you're saying this is the correct answer, and it tunes itself a little bit. You repeat this millions of times, and you sometimes you show images, the same image to the computer, you know, hundreds of times as well. So the network training typically will take on the order of a few hours or a few days, depending on how big of a network you're training.

And that's the process of training a neural network. Now, there's something very unintuitive about the way neural Networks work that I have to really get into, and that is that they really do require a lot of these examples and they really do start from scratch. They know nothing. And it's really hard to wrap your head around this. So as an example, here's a cute dog. And you probably may not know the breed of this dog, but the correct answer is that this is a Japanese spaniel.

Now, all of us are looking at this and we're seeing Japanese spaniel, and we're like, okay, I got it. I understand kind of what this Japanese spaniel looks like. And if I show you a few more images of other dogs, you can probably pick out other Japanese spaniels here. So in particular, those three look like a Japanese spaniel and the other ones do not. So you can do this very quickly. And you need one example, but computers do not work like this.

They actually need a ton of data of Japanese spaniels. So this is a grid of Japanese spaniels showing them, you need thousands of examples showing them in different poses, different brightness conditions, different backgrounds, different crops. You really need to teach the computer from all the different angles what this Japanese spaniel looks like. And it really requires all that data to get that to work. Otherwise the computer can't pick up on that pattern automatically.

So what does all this imply about the setting of self driving? Of course, we don't care about dog breeds too much. Maybe we will at some point, but for now we really care about lane line markings, objects where they are, where we can drive, and so on. So the way we do this is we don't have labels like iguana for images, but we do have images from the fleet like this. And we're interested in, for example, lane line markings.

So we, a human typically goes into an image and using a mouse, annotates the lane line markings. So here's an example of an annotation that a human could create a label for this image. And it's saying that that's what you should be seeing in this image. These are the lane line markings. And then what we can do is we can go to the fleet and we can ask for more images from the fleet. And if you ask the fleet, if you just do a naive job of this and you just ask for images at random, the fleet might respond with images like this.

Typically, going forward on some highway, this is what you might just get like a random collection like this. And we would annotate all that data. Now, if you're not careful, and you only annotate a random distribution of this data, your network will kind of pick up on this random distribution on data and work only in that regime. So if you show it slightly different example, for example, here is an image that actually the road is curving and it is a bit of a more residential neighborhood.

Then if you show the neural network this image, that network might make a prediction that is incorrect. It might say that, okay, well, I've seen lots of times on highways, lanes just go forward. So here's a possible prediction. And of course this is very incorrect, but the neural network really can't be blamed. It does not know that the train on the, the tree on the left, whether or not it matters or not. It does not know if the car on the right matters or not towards the lane line.

It does not know that the buildings in the background matter or not. It really starts completely from scratch. And you and I know that the truth is that none of those things matter. What actually matters is that there are a few white lane line markings over there in a vanishing point. And the fact that they curl a little bit should pull the prediction. Except there's no mechanism by which we can just tell the neural network, hey, those lane line markings actually matter.

The only tool in the toolbox that we have is labeled data. So what we do is we need to take images like this when the network fails and we need to label them correctly. So in this case, we will turn the lane to the right and then we need to feed lots of images of this to the neural net. And neural net, over time will accumulate, will basically pick up on this pattern that those things there don't matter, but those lane line markings do, and we learn to predict the correct lane.

So what's really critical is not just the scale of the data set. We don't just want millions of images. We actually need to do a really good job of covering the possible space of things that the car might encounter on the roads. So we need to teach the computer how to handle scenarios where it's night and wet, you have all these different specular reflections, and as you might imagine, the brightness patterns in these images will look very different.

We have to teach the computer how to deal with shadows, how to deal with forks in the road, how to deal with large objects that might be taking up most of that image, how to deal with tunnels or how to deal with construction sites. And in all these cases, there's no, again, explicit mechanism to tell the network what to do. We only have massive amounts of data. We want to source all those images and we want to annotate the correct lines and the network will pick up on the patterns of those now large and varied data sets basically make these networks work very well.

This is not just a finding for us here at Tesla. This is a ubiquitous is finding across the entire industry. So experiments and research from Google, from Facebook, from Baidu, from Alphabet's DeepMind all show similar plots where neural networks really love data and love scale and variety. As you add more data, these neural networks start to work better and get higher accuracies for free. So more data just makes them work better.

Now a number of companies have, a number of people have kind of pointed out that potentially we could use simulation to actually achieve the scale of the data sets. And we're in charge of a lot of the conditions here. And maybe we can achieve some variety in a simulator now at Tesla. And that was also kind of brought up in the questions just before this. Now at Tesla, this is actually a screenshot of our own simulator.

We use simulation extensively. We use it to develop and evaluate the software. We've also even used it for training quite successfully. So but really when it comes to training data for neural networks, there really is no substitute for real data. The simulations have a lot of trouble with modeling appearance, physics and the behaviors of all the agents around you. So there are some examples to really drive that point across the real world really throws a lot of crazy stuff at you.

So in this case, for example, we have very complicated environments with snow, with trees, with wind. We have various visual artifacts that are hard to simulate potentially. We have complicated construction sites, bushes and plastic bags that can go in, that can kind of go around with the wind. Complicated construction sites that might feature lots of people, kids, animals, all mixed in. And simulating how those things interact and flow through this construction zone might actually be completely, completely intractable.

It's not about the movement of any one pedestrian in there. It's about how they respond to each other and how those cars respond to each other and how they respond to you driving in that setting. And all of those are actually really tricky to simulate. It's almost like you have to solve the self driving problem to just simulate other cars in your simulation. So it's really complicated. So we have dogs, exotic animals, and in some cases it's not even that you can't simulate, it is that you can't even come up with it.

So for example, I didn't know that you can have truck, truck on truck like that. But in the real world you find this and you find lots of other things that are Very hard to really even come up with. So really the variety that I'm seeing in the data coming from the fleet is just crazy. With respect to what we have in the simulator, we have a really good simulator.

I mean, I think simulation, you're fundamentally grading your own homework. So if you know that you're going to simulate it, ok, you can definitely solve for it. But as Andre is saying, you don't know what you don't know. The world is very weird and has millions of corner cases.

And if somebody can produce a self driving simulation that accurately matches reality, that in itself would be a monumental achievement of human capability. They can't. There's no way.

Yep. So I think the three points that I really tried to drive home until now are to get neural networks to work well, you require these three essentials. You require a large data set, a very data set and a real data set. And if you have those capabilities, you can actually train neural networks and make them work very well. And so why is Tesla in such a unique and interesting position to really get all these three essentials right?

And the answer to that, of course, course, is the fleet. We can really source data from it and make our neural network systems work extremely well. So let me take you through a concrete example of, for example, making the object detector work better to give you a sense of how we develop these neural networks, how we iterate on them, and how we actually get them to work over time. So object detection is something we care a lot about.

We'd like to put bounding boxes around, say the cars and the objects here, because we need to track them and we need to understand how they might move around. So again, we might ask human annotators to give us some annotations for these. And humans might go in and might tell you that, okay, those patterns over there are cars and bicycles and so on. And you can train a neural network on this. But if you're not careful, the neural network will make mispredictions in some cases.

So as an example, if we stumble by a car like this that has a bike on the back of it, then the neural network actually, when I joined, would actually create two detections. It would create a car detection and a bicycle detection. And that's actually kind of correct because I guess both of those objects actually exist. But for the purposes of the controller and the planner downstream, you really don't want to deal with the fact that this bicycle can go with the car.

The truth is that that bike is attached to that car. So in terms of like Just objects on the road. There's a single object, a single car. And so what you'd like to do now is you'd like to just potentially annotate lots of those images, as this is just a single car. So the process that we go through in of terms internally in the team is that we take this image or a few images that show this pattern, and we have a mechanism, a machine learning mechanism, by which we can ask the fleet to source us examples that look like that.

And the fleet might respond with images that contains those patterns. So as an example, these six images might come from the fleet. They all contain bikes on backs of cars. And we would go in and we would annotate all those as just a single car. And then the performance of that detector actually improves. And the network internally understands that, hey, when the bike is just attached to the car, that's actually just a single car.

And it can learn that given enough examples, and that's how we sort of fix that problem. I will mention that I talk quite a bit about sourcing data from the fleet. I just want to make a quick point that we've designed this from the beginning with privacy in mind, and all the data that we use for training is anonymized. Now, the fleet doesn't just respond with bicycles on backs of cars. We look for all the things. We look for lots of things all the time.