AMD 电脑使用 NPU 本地运行大模型
换了个新电脑,发现 nup 占了 31 个 g,然后丝毫没运行情况。
然后网上找了一下 nup 是什么,发现是跑模型的。于是又搜了怎么跑。
发现了
Overview · FastFlowLM
这个文章,可以跑小模型,都是适配了 NPU 的。
可以先跑 1b 的试试。最高有 8b 的。
为 AMD 的 NPU 开启性能模式:
cd C:\Windows\System32\AMD\
.\xrt-smi configure --pmode turbo
其他模式说明
NPU Management Interface — Ryzen AI Software 1.6.1 documentation


