Tiiny推口袋AI超算，离线运行大模型

快速阅读: 据Tiiny消息，该公司近日推出AI Pocket Lab微型计算机，可在无网、无独显条件下本地运行百亿至千亿参数大模型，整机功耗低于65瓦，获吉尼斯认证为最小同类设备之一。

美国初创企业Tiiny近日推出AI Pocket Lab设备，这是一款可运行大语言模型的微型计算机，支持在无网络连接、无独立显卡的条件下执行本地化推理任务。该设备整机功耗控制在65瓦以内，宣称可离线运行参数规模介于100亿至1200亿之间的大型模型。

据该公司介绍，AI Pocket Lab采用12核ARMv9.2架构处理器，搭配自研异构AI加速模块，提供约190 TOPS算力。系统配备80GB LPDDR5X内存与1TB固态硬盘，体积接近大型移动硬盘，强调便携性与低功耗特性。所有数据处理均在本地完成，旨在降低网络延迟并减少敏感信息外泄风险。

此外，该设备依托两项软件优化技术提升效率：TurboSparse通过选择性激活神经元降低计算开销；PowerInfer则协调CPU与专用神经网络处理器（NPU）协同工作，在有限功耗下逼近服务器级吞吐能力。公司称其无需依赖高性能独立GPU，依靠精细调度即可满足复杂推理需求。

Tiiny方面表示，此举意在应对当前云计算模式带来的依赖性、安全性和可持续性挑战，推动人工智能向个人化、私有化方向发展。该产品同时支持开源生态，提供主流模型及智能体框架的一键部署功能，并计划通过远程更新持续优化性能。不过，关于其实际推理能力与宣称指标的匹配程度，目前尚缺乏第三方验证数据。据悉，该硬件已获吉尼斯世界纪录认证，成为可本地运行百亿参数级模型的最小设备之一。

近日，科技媒体人Efosa Udinmwen通过社交平台推介其内容渠道，建议关注者可通过TikTok获取新闻、产品评测及开箱视频，并通过WhatsApp接收定期更新。

Efosa是一名自由撰稿记者，从事科技领域报道已逾七年。他最初因好奇心涉足该领域，如今则凭借对科技的深厚热情持续深耕。其拥有科学领域的硕士与博士学位，扎实的学术背景为其奠定了严谨的分析思维基础。

(以上内容均由Ai生成)

引用自：TechRadar科技媒体