近日，开发者社区里"用RTX 4090跑AI模型老是爆显存"这类吐槽反复出现。这个问题的根子在于，显卡按用途早就分成了几类，各自的设计目标并不一样。
传统上，显卡被划分为科学计算卡、游戏卡和图形渲染卡三类。NVIDIA过去用三条产品线对应它们：Titan是科学计算卡，GeForce是游戏卡，Quadro是图形渲染卡。不过从芯片层面看，三类卡的差别没有名字听起来那么大，很多时候它们用的是同一颗GPU，真正拉开差距的是外围配置。
区分一张卡适合做什么，主要看七个点：显存带宽、显存容量、计算核心数量、核心频率、float64高精度计算能力、float32/float16/int8这类低精度计算能力，以及多卡互联能力。游戏卡把芯片面积大量花在光栅和光追单元上，以RTX 4090为例，游戏专用模块占掉了约30%的芯片面积；计算卡则把资源堆向显存和计算精度。
差距有多大，用数据说话。NVIDIA A100单卡有6912个CUDA核心、432个Tensor Core，配80GB HBM2e显存，带宽2039GB/s，是RTX 4090的2.4倍；在FP64双精度上，A100的性能是RTX 4090的20倍以上。这解释了为什么同样跑AI，游戏卡容易先撞上显存墙。
训练场景的对比更直观。物理服务器上的本地化部署测试显示，8卡A100集群训练ResNet-50需要8小时，同等价位的游戏卡组合要35小时。硬件采购成本接近，完成同一件事的时间差了四倍多。
背后是显存的事。当前大模型训练通常建议显存不低于40GB，H100服务器提供96GB显存版本。多卡并行时互联带宽同样关键，NVLink的传输速度比PCIe快5倍，做多卡并行基本是必备项。这也是游戏卡堆多路之后效率上不去的原因之一。
另一个容易被忽略的分野是，训练卡内部还在细分。"训练卡"和"推理卡"这两个说法，本身就是近几年神经网络走热之后才流行起来的。NVIDIA并不刻意区分科学计算和神经网络两类负载，一张卡两头都能干；而寒武纪、华为等厂商的产品线主要落在神经网络计算方向，科学计算领域的产品相对少。纯做深度学习，影响不大；工作涉及流体、材料这类传统HPC仿真，可选面就窄了。
回到本地部署的选型逻辑。跑DeepSeek这类大模型，参数规模直接决定显存下限，40GB是训练的常见门槛，推理可以低一些，但同样吃容量和带宽。预算有限时，单卡顶配往往不如多张中等显存卡来得实际，前提是机器支持NVLink或等效的高速互联。游戏卡不是不能用，只是要接受精度低、显存小、多卡效率差这三重限制。
获取算力的方式也在分化。除了自购，市场上出现了按月租赁GPU服务器的方案，单台配置2到8张计算卡，走无虚拟化直通，支持部署到客户机房、数据不出本地。有服务商给出的月租价格约为自购成本的15%，并可随时升级到新一代硬件。对周期短或需要快速验证的项目，这种模式能省掉一笔固定资产投入。
无论买还是租，先看清卡的类型和显存规格，比盯着型号数字更重要。
微信扫描下方的二维码阅读本文
