完整正文阅读

安静阅读模式:先了解标题与摘要,再阅读完整正文。

阅读方式
单栏正文
顺序
标题、正文、相关文章
快讯视界 · 资料整理

英伟达开源个人AI路由器PAIR使本地多设备协同运行AI任务

英伟达发布了开源的个人AI路由器PAIR,旨在解决家庭局域网内多台设备同时运行本地AI推理时资源拥堵的问题。PAIR允许用户将计算任务分配给集群中的可用设备,并支持Ollama和LM Studio等现有后端。目前,该系统已在Windows、macOS和Linux上提供测试版。

快讯视界 · 资料整理

英伟达推出的开源个人AI路由器PAIR的核心作用是解决局域网内多台电脑同时运行本地AI任务时可能出现的资源拥堵问题。具体而言,PAIR能够将彼此独立的推理请求分配给当前有可用计算能力的设备,从而实现资源的优化调度。

对于用户群体而言,PAIR的引入意味着构建一个更具弹性和扩展性的家庭或小型工作站级的本地AI计算集群。它允许用户利用家中多台不同配置的电脑资源来共同处理复杂的AI推理任务,极大地提升了本地AI应用的可用性边界。

在技术兼容性方面,英伟达确认PAIR可以与用户已熟悉的本地AI推理后端配合使用,目前支持Ollama和LM Studio。这为现有生态系统的用户提供了平滑的迁移路径,无需从零开始构建整个AI运行环境。

要将设备纳入PAIR集群,需要遵循特定的安全流程。根据公开资料显示,加入PAIR集群的设备首先必须通过一个六位数字配对码完成初始配对步骤。随后,为了确保数据传输的安全性和私密性,设备之间会建立双向TLS(mTLS)加密通信通道。

从硬件兼容性的角度看,英伟达为PAIR集群设定了广泛的支持范围。该系统兼容的硬件包括NVIDIA GeForce RTX 20系列及更新型号、基于Turing架构及更新架构的NVIDIA RTX PRO工作站GPU,以及NVIDIA DGX Spark。此外,Mac设备也得到了支持,兼容搭载Apple M4或更新芯片的机型。

除了主流的AI计算卡和Mac设备外,英伟达还给出了系统运行的基本要求:用户需要至少配备8GB内存,并建议准备20GB或以上的磁盘空间来保证流畅的运行体验。这些基础配置是确保PAIR集群稳定运行的前提条件之一。

在实际性能测试中,资源调度的优势得到了体现。有数据显示,在使用Hermes Desktop和Ollama的情况下,一个由三台设备组成的PAIR集群完成任务耗时为8分48秒,而单台RTX Spark笔记本则需要18分钟来完成相同任务量,这直观展示了多机协同的效率提升。

除了AI路由器本身的功能增强外,英伟达还宣布了对本地AI代理部署体验的简化。Perplexity Portable Computer、Hermes Agent和OpenClaw这三款AI代理软件都将针对NVIDIA GPU提供更加简单的本地配置方式,进一步降低了用户使用这些前沿工具的门槛。

从性能提升的角度看,英伟达还公布了一些加速指标:llama.cpp在GeForce RTX 5090上的吞吐量最高可提升至原来的1.9倍;vLLM在RTX PRO 6000 Blackwell Workstation Edition上的性能提升可达1.2倍;而在两台DGX Spark组成的集群上,vLLM的性能提升最高可达到1.4倍。

关于产品的时间线和后续计划方面,英伟达透露搭载RTX Spark平台的新型Windows小型AI电脑预计将在10月陆续上市。同时,需要注意的是,PAIR目前仍处于Beta阶段,但项目已经以开源形式发布,用户可以参与到测试和迭代过程中来。

综上所述,英伟达通过推出PAIR,构建了一个可扩展的、基于本地资源的AI计算网络,其影响对象是所有希望在家庭或小型工作环境中运行复杂本地AI模型的个人用户。该系统支持多样的硬件组合,并提供了从配对到加密通信的全流程管理机制。

信息来源

本文基于上述公开资料整理,未使用来源页面的图片、视频或嵌入媒体。