首款国产TokenStation工作站W50X现已推出!
对于工业设计团队而言,使用人工智能进行项目资料分析时常常面临一个现实问题:图纸和技术文件需要保存在本地,但现有电脑的性能可能无法满足处理复杂任务的要求。中科可控推出的TokenStation W50X为此提供了一种桌面解决方案,作为行业首款本土生产的TokenStation工作站,W50X可以支持在本地运行高达180B级的MoE模型,即大约1800亿参数的混合专家模型。将如此庞大的模型置于工作站旁,首先需要处理的是模型的存储问题,包括权重的存放和推理时的快速读取。
以往由于计算能力和显存的限制,桌面通常只能支持27B级以下模型,而W50X将这一范围扩大到了180B级。其技术背景在于,MoE模型在生成各Token时,仅调用一部分专家进行计算,但不同步骤中所用专家可能会有所不同。为了实现连续输出,所有专家权重需随时可用。如果每次需要新的专家都需从SSD读取权重,则生成速度将受到影响。因此,W50X配备高达1TB的企业级内存以及国产AI算力卡的高速显存,确保所有专家权重可以长期驻留在内存和显存中。大容量内存负责存储权重,高速显存则应对频繁访问,减少SSD读取造成的延迟。
以技术文档为例,模型可以在第一轮分析中识别出关键条款,随后结合前文进行更深入的解释。在这个过程中,模型使用一个称为KV Cache的缓存,保存了处理前文时产生的中间结果,以便后续输出使用。随着文档的长度增加和提问的增多,缓存占用空间也随之增大。因此,W50X在支持180B级模型权重的同时,确保了足够的空间来应对长上下文缓存的需求。团队可以在本地围绕同一份长文档进行连续提问。同时,如果需要在多个模型之间切换或同时运行领域知识库,更大的存储容量能够轻松适应。 球友会
在本地推理与3D建模之间,同一工作站能够有效支持设计师的各种需求。设计师可以在W50X上首先使用大模型查看项目资料,然后利用熟悉的专业软件进行建模,整个过程可保证项目文件保留在本机内。此外,通过扩展高性能显卡,W50X能够承担工业建模、3D绘图和视频编辑等工作。
为满足长时间使用的需求,W50X兼具可靠性和低噪声设计。工作站采用企业级组件和服务器级RAS机制,确保长时间运行过程中的硬件稳定性。其处理器支持最高64线程,能够同时处理复杂的并行任务。根据产品资料,W50X在满载时的噪音低于40 dB,适合在工作区域使用。
W50X对于设计团队、开发者以及小型工作室产生了显著的影响。曾经需要依赖云端算力来完成的大部分大模型推理任务,现在都可以在生产中使用的机器上实现。用户可以带上平时难以处理的长文档进行试用,按照自己的工作习惯进行连续提问。 球友会
目前,中科可控已开启W50X的免费试用申请,渠道合作伙伴的“引力计划”也在不断推进中。