5070ti 12gb laptop本地部署模型记录

张开发
• 2026/4/17 13:27:18 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

5070ti 12gb laptop本地部署模型记录
5070ti 12gb laptop本地部署模型记录测试环境说明统一在 32k 上下文和 q4 量化条件下进行分别通过 Ollama 对话和在 Crush 中执行简单任务进行测试。一、Ollama 对话测试测试任务用 C 解决一道力扣题——LRU缓存允许使用标准库。概述四款模型都能很好地完成该编码任务但在资源占用和响应速度上差异明显。qwen3.5:9b显存不会爆完全可以接受的生成速度。gemma4:e4b会爆显存速度较慢用来对话难以接受lmf2:24b速度几乎同qwen3.5:9b虽然是 24b 的参数量但得益于 A2B 架构表现亮眼。rnj-1:8b四款模型中生成速度最快用来对话写代码的整体体验最好。二、Crush 工具调用测试测试任务请用 Python 编写一个日志分析脚本要求如下扫描当前目录下所有的 .log 文件。使用正则表达式提取其中的 ERROR 和 WARNING 级别的日志行。统计这两种级别的数量并按日期假设日志格式包含 YYYY-MM-DD进行分组。将统计结果导出为 JSON 文件保存为 report.json。约束条件代码必须包含异常处理比如遇到无权限读取的文件、空文件等情况不能崩溃且总代码量尽量控制在 80 行以内。写在 main.py 文件中。测试结果lmf2:24b翻车无法正常调用工具。rnj-1:8b翻车输出乱码且无法调用工具。qwen3.5:9b经过一次修改后成功运行。gemma4:e4b一次成功比qwen更通人性一点。缺点是比qwen慢。三、总结qwen3.5:9b和gemma4:e4b都能做到执行简单的编码任务另外两个小众宝藏模型用来对话在速度上挺不错的。文中如有错漏或表述不当之处恳请指正。

更多文章