DeepSeek-R1 1.5B 在 SiMa.ai 上,功耗低于 10 瓦
快速阅读: 《硅半导体》消息,司马.ai宣布其ONE平台成功实施了深度探寻-R1-简化-Qwen-1.5B模型,在低于10瓦的功耗下实现了突破性性能。该平台由MLSoC模式利克斯和调色板软件驱动,响应速度快,首次令牌时间低至几毫秒。这一成就使得司马.ai在实时嵌入式边缘人工智能应用中处于领先地位,可在保持低功耗的同时确保数据安全和隐私。感兴趣的组织可加入模式利克斯早期访问计划了解更多信息。
司马.ai宣布其ONE平台成功实施了深度探寻-R1-简化-Qwen-1.5B,在低于10瓦的前所未有的功耗范围内实现了突破性性能。这一实施标志着在高效、安全的边缘人工智能部署方面取得了重大进展。该实施由司马.ai的ONE平台与MLSoC模式利克斯和调色板软件驱动,展示了卓越的响应速度,首次令牌时间(TTFT)低至仅几毫秒,并且根据查询复杂度高效扩展。这一性能指标使司马.ai处于领先地位,能够在实时嵌入式边缘人工智能应用中实现对话式人工智能和多模态推理,其中快速响应时间至关重要。
“行业领先的开源模型如深度探寻R1或Llama的可用性已经民主化了人工智能,并加速了在边缘部署通用人工智能的能力。”司马.ai的首席执行官兼创始人克里希纳·兰加塞亚表示。“司马.ai正在引领这场革命,以完全在边缘实现这种级别的性能,同时保持低于10瓦的功耗,为安全、高效的AI部署开启了新的可能性。司马.ai专为MLSoC模式利克斯设计,现在使多模态和高推理能力进入包括机器人、汽车、医疗、智能视觉以及航空航天和国防应用在内的多样化市场。”
该实施的详细信息包括:
– 深度探寻-R1-简化-Qwen-1.5B在低于10瓦的行业领先能效下运行
– 响应时间迅速,TTFT范围从0.67到2.50秒,输入令牌大小为32,输出令牌大小为1028,具有进一步优化的空间
– 性能优化路线图,将性能提升至每秒>30个令牌(TPS),完全在边缘运行确保用户对其数据拥有自主权,同时受益于低功耗下的高性能AI能力。这种方法消除了云部署中常见的安全和隐私漏洞。
有兴趣了解更多关于司马.ai的ONE平台和深度探寻R1实施的组织可以加入模式利克斯早期访问计划,探索我们的LLM和生成式AI解决方案路线图。请访问网址:https://sima.ai/modalix-eap/。
(以上内容均由Ai生成)