趋境科技与清华共同开源的高性能异构推理框架KTransformers开云kaiyun，其论文《KTransformers:Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》近日得胜入选 “蓄意机系统鸿沟奥斯卡”SOSP 2025。这标记着其异构蓄意技能获得环球顶尖学术与工业界的认同。

KTransformers专注于高效期骗底层GPU、CPU、内存等千般化算力，让大模子在更低算力、更纯简直硬件架构上高效启动。在大模子推理中，趋境科技提议了一条不同以往的谈路：一套面向CPU+GPU异构架构的MoE推理系统有筹备，让蓝本只可依赖腾贵多卡GPU的大模子，能在CPU参与的硬件环境中已毕接近同等性能的推理体验。技能层面上，它通过一系列系统级改动，让GPU雅致在意力和骨干相聚的高并行蓄意，CPU则承担稀少群众模块的推理任务，已毕了高效的CPU+GPU协同引申。

11月6日，月之暗面发布Kimi-K2-Thinking模子后，KTransformers已完成对该模子的全面适配，援救用户在单卡环境下完成推理任务。同期，趋境科技也已完成了该模子在昇腾NPU上的全面适配，提供了完善的宇宙产化推领路决有筹备。

针对模子微调，KTransformers与LLaMA-Factory深度集成，援救用户使用LoRA等轻量级微调纪律，在极小数GPU资源下完成模子定制。传统上，LoRA微调千亿模子资本高达数百万，趋境科技提供的异构微调才能将资源需求镌汰到单个耗尽级GPU（如RTX 4090）起，这使得高校、中袖珍实验室、初创公司致使个东谈主建立者王人有契机参与进来。该微调有筹备在较小范围的MoE模子（DeepSeek-14B）上头也展现了逾越传统有筹备1.8倍的浑沌、显存占用镌汰 82%，成为耗尽级显卡上微调超大参数MoE模子的惟一可行有筹备。

KTransformers已成为一个被建立者、厂商与开源社区庸俗复用的共建式底层框架。环球头部开源模子方面，如Qwen、Kimi、智谱AI等多个主流大模子，王人在模子发布首日就保举KTransformers当作推理引擎援救；其工程执行与兼容性也被多家一体机家具线选拔。趋境科技是异构阶梯的中枢推动者，已与多个国产CPU、GPU硬件平台攀附，共同鼓吹宇宙产高性价比有筹备；为数十家行业建立伙伴提供算力底座，恬逸已毕算力普惠。趋境但愿。让AI才能不再专属于少数企业，让大模子简直为业务所用。

南边+记者 郜小平