小火箭使用教程
在科技界的最新动向中,EXOLabs工作室最近在推特上引发轰动,宣布成功使用两台搭载512GB M3 Ultra的Mac Studio,以惊人的20 tokens每秒速度,全力运行8bit版的DeepSeek R1。这意味着仅靠这两台设备,用户就能在家中享受超级计算的能力!
EXOLabs的能力不容小觑,他们专注于将大型模型压缩至各类设备上,之前就曾成功让MacBook、iPad及手机组成集群进行LLaMA 40B的分布式推理。他们创始人Alex Cheema所做的成本分析显示,M3 Ultra的模型运行成本每GB仅为H100的6%。这一结果口口相传,让许多人惊呼苹果的性价比开始回暖。
M3 Ultra系列有着强大的配置,采用的是28核CPU和60核GPU或32核CPU配80核GPU的组合,配备32核神经引擎,统一内存提供96GB、256GB和512GB选项。其中,搭载512GB内存的版本在运行千亿参数模型的生成速度上是一往无前,达到了M1 Ultra的16.9倍。
值得注意的是,尽管M3 Ultra的内存速度略逊于NVIDIA H100,但在处理像R1这样的稀疏MoE(混合专家)模型时,内存的容量显然更加重要。凭借这一结构的优势,EXOLabs在Mac Studio上实现的表现,毫无疑问让人眼前一亮,堪称现代AI计算的新希望!
不仅如此,苹果最近还推出了更多新品,包括Mac Studio及搭载M4 Max芯片的版本小火箭使用教程,此外,MacBook Air和各类iPad的更新也引起了热议。这引发了网友对苹果最新产品的热切讨论,一场关于新产品的技术革命似乎在悄然进行。你是否准备为了这一最新的AI PC革命而入手新设备?欢迎分享你的想法!返回搜狐,查看更多