行情 新闻 快讯 机构 人物 观点 专题

首页 / 快讯 / 详情

7×24 LIVE · 实时快讯

从 Prompt 到上线:AI 推理优化成为部署新红利

18小时前来源 / Solldy
Quick Take · 快评

快讯:AI 推理正从单纯扩大模型参数转向推理时计算。GPT-4o1 等模型通过多步逻辑分析提升复杂任务表现,但带来更高延迟与成本;智能体系统反复调用模型和工具,进一步推高推理优化需求,vLLM、SGLang 等引擎受关注。推理栈可分七层,路由与推理平台商业模式不同:OpenRouter 不自建算力,按约 5% 的代币路由费聚合 Fireworks、Together AI、Baseten 等;Stripe 以超 70 亿美元收购 OpenRouter,意在掌握 AI 应用收入端与成本端。推理市场按算力所有权、企业或开发者 GTM、硬件要求、开源或闭源划分,Fireworks、RadixArk 展示开源到商业路径。代币经济学指标应从单 Token 价格转向单个完成任务成本、GPU 利用率与质量;开放权重模型在能力满足时压低价格,闭源模型仍主导能力前沿。趋势上,前沿推理留在数据中心,隐私敏感和高频任务向 PC、工作站、手机与边缘迁移,AI PC 出货量预计从 2025 年 7780 万台增至 2026 年 1.431 亿台,最终走向本地与云端混合路由。