吞吐量
Throughput
单位时间内系统能处理多少请求或生成多少 Token。
一家餐厅每小时能接待多少桌。
这个比方用于帮助入门，并不覆盖技术实现的所有细节。
高并发服务和成本规划。
先从实际任务理解概念，比死记英文缩写更有效。
单次很快不代表高并发仍然快。
如果这个概念会影响费用、数据或安全，请继续查看官方文档。
Throughput
这个比方用于帮助入门，并不覆盖技术实现的所有细节。
先从实际任务理解概念，比死记英文缩写更有效。
如果这个概念会影响费用、数据或安全，请继续查看官方文档。