ModelScope的Qwen1.5-14B-Chat需要多少大显存

ModelScope的Qwen1.5-14B-Chat模型需要的显存超过了KV缓存能够存储的最大token数（12896）。这具体意味着，如果你拥有两块4090显卡，每块拥有48GB的显存，那么总共96GB的显存可能仍然不足以满足该模型的需求。

为了确保模型能够正常运行，你可能需要增加GPU的内存利用率或减少初始化引擎时的max_model_len。请注意，显存需求可能会受到多种因素的影响，包括但不限于模型的大小、复杂度以及你的具体使用场景。因此，建议在实际应用中根据具体情况进行显存需求的评估和调整。

请注意，显存需求是一个动态的概念，可能会随着模型的更新和优化而变化。因此，为了获得最准确的信息，建议直接查阅ModelScope的官方文档或联系其技术支持团队以获取最新的显存需求数据。