快科技2月12日消息,国产GPU厂商景嘉微今天宣布,JM系列、景宏系列与DeepSeek R1系列的成功适配,进一步推动DeepSeek在云边端等各类场景的应用。
其中,景嘉微JM系列完成了DeepSeek-R1-Distill-Qwen-1.5B模型和DeepSeek-R1-Distill-Qwen-7B模型的适配。
同时,景宏系列已全面兼容并适配DeepSeek R1全系列模型,覆盖从1.5B至70B参数规模的LLaMA及千问模型架构。
基于vLLM推理框架的部署方案,实现了高效推理性能与经济性的双重优势,为开发者提供了便捷的开发支持。
该方案支持快速启动和使用,无需复杂配置,助力AI技术的规模化落地应用。
景嘉微官方还表示,向中国AI开发者致敬,这次国产GPU与国产大模型结合,也算是梦幻联动了。
值得一提的是,近期摩尔线程同样实现了对DeepSeek蒸馏模型推理服务的高效部署,开发者可以基于摩尔线程全功能GPU,进行AI应用创新。
此外,用户也可以基于摩尔线程MTT S80、MTT S4000显卡,进行DeepSeek-R1蒸馏模型的推理部署。
0 条