PC 离线部署 DeepSeek-r1-32b-Q4 成功！本地推理速度达到了 80 Token/s
刚好吃完 4090 的 24G 显存，幻方这波真的杀麻了！
TaurusXin
评论
TaurusXin
作者
:
虽然是由qwen2蒸馏而来，但在进行非强逻辑性（文字类）的问任务时，非常够用。