上个月朋友发我一张账单说他在云上租了4张A100微调一个7B模型一周烧掉两万块钱。我第一反应不是心疼而是你先别急着掏钱这个场景下GPU、LPU、TPU到底谁划算真不是看谁跑分高说了算。过去半年我接触了至少十几支做大模型应用的小团队嘴上都说要追求性价比实际选型时全凭习惯要么无脑上GPU要么看到某篇评测说TPU便宜就心动还有被LPU低延迟宣传吸引的。结果账单出来没有一个人是笑着的。这篇我就把三种芯片的老底翻一遍从底层原理到真实成本再到不同场景下的实际表现最后聊聊普通人怎么用最少的钱跑起来。我们不说虚的直接看算盘怎么打。1. 为什么AI芯片会长成三个模样一场底层架构的路线之争选芯片之前先搞清楚这三位为什么不是同一种东西。很多人以为GPU、TPU、LPU都是加速人工智能的芯片差别只是品牌和价格。这个理解基本等于都是车为什么有的跑赛道有的拉货——设计目标根本不同驾驶方式自然天差地别。1.1 GPU从一个渲染工具硬生生长成了算力工蜂GPU一开始是给游戏和图形渲染设计的。图形渲染有个特点屏幕上有上百万个像素每个像素的颜色计算彼此独立本质上是大量重复的简单计算。所以GPU的架构走了SIMT路线单指令多线程用几千上万个轻量级核心同时干活。游戏时代它是给每个像素算颜色到了GPGPU时代大家发现这个架构做矩阵乘法、卷积运算也意外地快——因为这些深度学习操作同样是大量重复计算”。于是NVIDIA硬生生把显卡变成了AI时代的印钞机从V100到A100再到H100一路堆出以亿计的晶体管。用流水线车间来理解GPU就是一个上万员工的工厂每人只负责拧一颗螺丝然后传给下一个人。它能极高效率地批量处理海量小任务但本质上没有深度思考能力——每一个核心都是简单的算术单元。最关键的是围绕GPU长出了CUDA这个几乎垄断的生态你想跑个PyTorch、TensorFlow一行pip install就完事全世界最大的软件兼容码头都在这儿。1.2 TPU谷歌把矩阵乘法直接焊进了芯片里GPU虽然强但谷歌在2016年前后开始抱怨跑深度学习模型时大部分时间都花在矩阵乘法上用GPU去算就像用通用机床专攻一个特定零件浪费。于是他们做了一个极端决定——既然Transformer、神经网络本质上就是矩阵乘法那干脆把芯片做成只会做矩阵乘法但做得飞快。这就是TPUTensor Processing Unit的由来。TPU的核心是脉动阵列Systolic Array数据像水一样在计算单元之间流过每一步做完立刻传给下一个单元中间几乎不来回搬数据。这个设计对Transformer非常友好因为大模型训练和推理的绝大多数计算量都集中在矩阵乘。TPU从v2开始支持训练到v4、v5e/v5p已经能在超大规模预训练里和H100正面掰手腕。但它有个明显短板灵活性远不如GPU。你可以把GPU理解成一个什么活都能接的工程施工队把TPU理解成一条只做钢筋加工的流水线——加工钢筋无人能敌但你让它顺便修个门窗它就没辙了。而且在商业市场上TPU基本不单独卖你要么上谷歌云要么在Colab和Kaggle的免费额度里体验本地你几乎摸不到真机。这本身就是一种巨大的隐性约束。1.3 LPU专治聊天慢半拍的顺序执行怪才LPULanguage Processing Unit是Groq公司的产品。Groq做芯片的思路和前面两位完全相反。它觉得大模型推理的瓶颈根本不在算得慢而在等数据等得慢。GPU要跑到高吞吐必须配高带宽显存HBM但就算HBM再宽推理时模型参数还是要一遍一遍从显存里搬过来。每次都要搬就一定会排队。LPU的思路是用超大容量的SRAM直接怼在计算单元旁边数据几乎零等待配合顺序执行架构专注降低端到端的延迟。你如果用它跑对话模型第一句话吐出来的速度比GPU快一大截这就是为什么Groq的公开演示总给人一种秒回的爽感。打个比方GPU像一个大食堂几百个窗口同时开火高峰时段单点一份菜可能要等一会儿但总出餐量大。LPU像单人厨师的私房菜馆你下单他立刻现炒第一个菜上得极快但如果同时来五十个客人他一个人根本忙不过来。所以LPU目前的定位很明确适合在线交互、低延迟优先的推理服务不适合大规模训练也不适合复杂多变的算法流程。三种芯片到底差在哪我整理了一个粗暴但好记的对照表维度GPUTPULPU设计初衷图形渲染与通用并行计算专门加速矩阵乘法专门降低语言模型推理延迟核心逻辑大量核心并行处理脉动阵列流水式计算顺序执行 大容量SRAM灵活性高什么算子都能跑中深度模型运算快其他偏弱低面向语言模型推理生态成熟度极高CUDA中XLA、部分框架适配低需专门转换和适配获取方式本地买卡/云租都行基本只有云云服务为主按token计费最擅长场景训练、微调、通用深度学习大规模训练、吞吐优先在线对话、低延迟推理你如果已经看出没有绝对王者说明方向对了。真正的关键问题不是谁更强而是你的负载长什么样。2. 四个容易忽略的账单算完这笔账性价比才谈得上说到性价比十个有九个只看一个数字单卡每秒能做多少次浮点运算TFLOPS或者每美元能买到多少TFLOPS。我劝你先冷静芯片标称算力和你实际能用上的算力完全是两码事而钱花在哪些地方远比纸面参数复杂。我按照一个真实项目的记账法来拆你感受一下差距。2.1 账单一硬件本身的租金和残值单看采购一张H100在国内市场大概要二十几万人民币A100也要十多万。大多数人不会买所以看租赁价格按小时租一张A100大约三五十块到上百块不等H100更贵TPU实例在谷歌云上按pod/按chip小时计费价格也不便宜Groq的LPU则对外按token数收费不用买机器。这里要注意一个容易被忽视的残值问题。GPU买了之后如果闲置二手市场还能回收一部分TPU和LPU你没有实物一旦停止续费前期跟云深度绑定的适配工作就全部沉没。换句话说你用LPU或TPU跑通了一套代码锁在别人的生态里哪天它调价你就只能被动接受。2.2 账单二电费和散热机房里最沉默的吞金兽一张A100的TDP大概在400瓦以上H100更高逼近700瓦。你以为只算单卡功耗就完事了服务器里还有CPU、内存、网卡加上机房制冷一个8卡节点整机功率轻松到10千瓦。按工业电价和冷算一度就算8毛钱一台机器开着一年光电费就是七八万。自建机房还得算UPS、空调、机柜空间和运维人力这笔钱经常比芯片租金还狠。我在帮朋友做方案时遇过一个案例他咬牙买了一台8卡机器结果公司选址在居民楼附近的办公区机房空调散热根本压不住夏天高温报警频繁最后只能降频跑——性能打了九折还额外加了一台专业空调。那台空调的钱够租一颗4090跑一年。2.3 账单三人的时间才是最贵的开发成本这个账很多人不算。GPU为什么贵还卖得好不是因为算力最强而是因为全世界90%的AI工程师都会用。装个PyTorch GPU版nvidia-smi看一眼拿来即用。TPU呢装个torch_xla调试XLA编译跑通一个模型的时间成本可能是GPU的三倍LPU更不用说生态还在早期算子支持有限不是所有模型都能直接跑。举个例子我见过一个团队贪TPU每小时单价便宜结果迁移一个微调脚本花了两个工程师两周。按工程师日薪算这笔迁移成本够在GPU上多训练好几轮了。开发者的时间在技术选型时应该算成第一成本大多数团队恰恰把它当成免费的。2.4 账单四真实利用率标称算力要打折再打折最误导人的就是拿峰值算力比单价。真正决定你花钱效率的是芯片在你这套负载下的实际利用率。训练场景还好batch size拉大利用率能到50%-70%但如果是在线聊天推理这种交互式负载GPU集群的利用率经常低得吓人。我自己就干过这种蠢事在8卡A100上部署一个7B聊天模型单次请求延迟确实很低但我盯着nvidia-smi一看单卡利用率经常在10%到20%之间跳动其他七张卡几乎在睡觉。那一刻我才意识到用打桩机去砸核桃不是打桩机不好是负载和工具不匹配。算性价比之前先算清楚你的实际吞吐和并发形态。用一个简化模型来算假设你运营一个7B模型的在线推理服务每天需要处理100万次请求每次请求约1千token连续跑一年。云上租GPU按小时计费按token计费的LPU按调用量收费大致的感觉是这样的维度GPU方案A100 8卡TPU方案云上TPU v5eLPU方案Groq云端推理算力覆盖轻松覆盖还有富余覆盖需适配吞吐高长token成本需细看主要成本卡时租金 运维实例租金 迁移开发token费用 集成开发开发成本最低中等偏高中等适合规模中小团队灵活起步有一定工程能力的大团队交互量大且追求低延迟的产品长期锁定风险低高绑云生态高新生态这个表不是让你直接抄作业而是示范一种算法不要只比每小时多少钱和每秒多少token要把电费、运维、开发、风险全部折算进去。实际跑过才有体会。3. 不同场景下的赢家别被峰值算力带偏说了这么多来点直接可用的结论。我按日常接触最频繁的几类工作负载逐一拆你对照自己属于哪一类答案自然浮现。3.1 大模型预训练与全参微调GPU和TPU的正面对决如果是从头预训练或全参微调一个大模型7B以上且你有足够的工程能力TPU在纯算力价格比上有时能打赢GPU——它天生就是吃矩阵乘法这碗饭的。但这是有前提的你的团队要能驾驭XLA编译能把模型结构和数据处理改成TPU友好的方式谷歌生态的东西你得玩得转。否则哪怕TPU再便宜卡在编译和适配上的时间成本早把差价吞了。对绝大多数团队来说GPU仍然是预训练和微调的最优解不是因为它便宜是因为它不折腾。CUDA生态太完整了你要的算子几乎都有现成的实现遇到问题搜索引擎一捞一大把答案。时间即金钱这句话在训练任务里是字面意思。3.2 LoRA微调和推理落地为什么大家转一圈还是回到GPU现在最主流的中小团队玩法是拿开源基座模型做LoRA微调用7B或13B的底座加自己领域的少量数据训练量不大但迭代频繁。这个场景我强烈建议GPU。为什么LoRA微调本身计算量有限一张消费级4090甚至都能跑7B的LoRA。这时候谈单卡理论算力意义不大真正关键的是调试效率。你用GPU今天改数据明天出结果一天能调十轮落到TPU上每次改完都要等编译光来回编译的时间就让你怀疑人生。我自己在Kaggle免费TPU上试过跑PyTorch折腾了半天XLA适配最后发现同样的活还是回本地GPU干最快。推理阶段也一样GPU生态对推理框架比如vLLM、TensorRT-LLM的支持最成熟各种量化、批处理加速手段应有尽有。哪怕LPU单token延迟再低你要部署的工具链、监控体系、模型转换方案在GPU这套体系里才是全家桶配置。3.3 在线对话与低延迟推理LPU的玫瑰和它的刺如果你做的是人机对话、助手类产品用户体验和首字延迟强相关LPU确实值得正眼看待。Groq的在线Demo给我的印象很直接同样一个7B模型LPU给人的感觉是马上有反应而GPU经常要先顿一顿再开始吐字。这个差别在产品里可能决定用户觉不觉得它听得懂人话。但LPU的甜蜜点不是免费的。首当其冲的是生态封闭它支持的模型需要转换适配不是所有开源模型拿来就能跑其次是吞吐极限在线推理并发低时它很爽一旦你追求超高并发或超长上下文它的优势会被快速稀释按token计的账单蹭蹭往上飙。更现实的是现在不少云服务商也把Groq的能力封装成标准API你通过API接入体验已经不错完全没必要自己纠结要不要买一套LPU。3.4 小模型和终端场景真正的主角不是这三家还要泼一盆冷水如果你的业务是移动端App、嵌入式设备或者PC端小工具那么GPU、TPU、LPU其实都跟你没太大关系。这类场景看的是端侧NPU或者CPUNPU混合调度比如手机芯片里的NPU、PC集成显卡的AI加速单元。你用PyTorch在英特尔核显上跑GPU推理也不是走CUDA而是走OpenVINO或者DirectML这条路线。所以别一谈AI就直奔高端服务器芯片先把工作负载的落点钉死再说。4. 普通人最关心的省钱实操免费GPU、租卡选型与CPU兜底聊完战略来点战术。我默认看这篇文章的人大概率没有几卡集群目标是花最少的钱把模型跑起来、把实验做出来。这部分我直接讲经验不讲理论。4.1 免费GPU的几条熟路以及里面的潜坑想零成本跑深度学习靠谱的路子有这么几条Kaggle Notebooks每周免费大概30小时GPU型号是T4或者P100级别跑一般的视觉模型和小的Transformer够用。缺点是会话有时限长时间训练要拆任务。Google Colab免费版有T4想用更好的就得订阅。优势是跟Google Drive配合比较顺适合小规模实验。Hugging Face Spaces一些免费的CPU/GPU实例可以跑demo适合快速验证推理效果不适合重度训练。百度的AI Studio、阿里的天池等国内平台也有免费算力额度注册后送一些GPU券做入门学习完全够用。潜坑也有几个。第一免费额度通常有单次运行时长限制你跑一个需要连续好几天的任务跑到一半被掐断是常态训练脚本一定要做好断点续训。第二免费TPU额度虽然香但你别高兴太早——我前面说过PyTorch在TPU上绕不开torch_xla很多自作聪明的骚操作在TPU上直接报不支持建议第一天就先把官方迁移指南读一遍。第三注意数据隐私免费平台的文件系统是临时的敏感数据别往上放。4.2 租GPU的隐藏体验别只看显存和价格钱不够买卡时租是主流方案。但租卡有几个坑我踩过也必须告诉你。显存是入门指标不是全部。很多人租卡先看24G显存觉得显存够大就能跑大模型。但一张卡实际算力是老一代还是新一代、NVLink有没有、GPU间通信带宽够不够这些对分布式训练才是决定性的。你拿四张老卡跑模型并行Tensor Parallelism每两个token之间都要同步一次通信带宽不够算力再多也白搭效果甚至不如一张新卡顺畅。按小时和包机价格差很多。长期训练任务一定要问包月或包周价很多平台按小时算贵得离谱但包月能砍到五折以下。竞价的Spot实例适合容错高的任务半夜中断了你爬起来重启就是。到手先跑基准测试再付长单。别信平台的型号描述自己写个简单的矩阵乘法脚本或者直接跑一遍你的训练步数看看每秒能处理多少样本。我遇到过号称优化版的4090实际速率只有正常卡的八成问客服才知道是功耗墙被锁了。注意驱动和CUDA环境。租的机器有时带着乱七八糟的旧环境nvidia-smi看到驱动版本不对直接跟平台要干净的镜像别自己浪费几个小时装环境。4.3 没有高端GPU时量化加CPU照样能跑大模型这个可能反直觉但我要强调你想体验7B甚至13B模型不一定非要高端GPU。在消费级CPU上用4bit量化跑小型模型目前已经非常流畅了。工具就选llama.cpp或者Ollama按官方文档编译安装模型文件下载好直接在命令行交互。我自己在一台普通办公电脑上跑过7B量化模型每秒能吐十几个token虽然不如GPU快但做知识问答、文本总结这类非实时任务完全够用还省下真金白银。如果你有显卡但显存不够也可以把一部分offload到内存里速度差一些但至少能跑起来。做实验验证、跑通流程这个兜底方案比反复纠结租卡划算多了。4.4 GPU环境配置的常见翻车点最后提一下最基础的配置问题别笑这题每天都有新人问。装PyTorch GPU版之前先确认三件事显卡驱动装了没、CUDA版本匹配不匹配、cuDNN齐不齐。最简单的检查方式nvidia-smi如果命令能正常打印出显存使用情况驱动基本没问题。然后装PyTorch建议用官方给出的命令pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121之类的重点是要跟你的CUDA版本对上别直接无脑装默认CPU版装完跑torch.cuda.is_available()发现是False就一脸懵。英特尔核显用户想跑GPU版本的PyTorchCUDA这条路走不通得绕道OpenVINO或DirectML别硬按NVIDIA教程配置方向错了再折腾也是白费。格式工厂这类软件提示GPU加速不出来八成也是驱动或显卡设置问题先到显卡控制面板里把硬件加速开关打开再查软件设置别一上来就重装软件。5. 我的选择逻辑先算负载再确定芯片最后才谈折扣这三四年我看了太多选型翻车案例自己也交过不少学费慢慢养成了一个固定的决策顺序分享给你做参考。第一步先定义负载性质你是做训练一次算好久、微调频繁迭代、在线推理延迟敏感还是离线批处理吞吐优先第二步看团队栈你的人是CUDA熟练工还是谷歌生态熟手多数人是前者那就老实选GPU。第三步算真实TCO把采购、电费、开发、维护、风险全部折算成钱别只看每卡每小时单价。第四步才轮到折扣和谈判。顺带说一下我对趋势的判断定制化AI芯片比如各种NPU、ASIC一定会越来越多因为Transformer应用太集中专用芯片天然能打赢通用芯片。但GPU的生态壁垒太强它在训练和通用负载上的地位短期内不会崩塌。LPU这类新势力会先在特定推理场景站稳脚跟但要让主流开发者迁移它还要补很长时间的生态账。作为普通用户我们不需要做第一个吃螃蟹的人跟随成熟生态、在边缘场景尝鲜才是最稳的性价比。最后再分享一点个人体会。我见过太多人包括我自己早期是先买了一堆算力再想它跑什么。正确顺序应该是颠倒的先把手上的模型、数据、延迟要求理清楚算出真实负载再去挑芯片。很多时候你的负载根本没到需要纠结芯片的程度——免费额度加一张普通显卡已经能解决90%的问题。把剩下的精力花在模型质量和产品打磨上那才是真正的性价比之王。