Ubuntu服务器生产环境部署Qwen3.5-2B：系统配置与安全加固

Ubuntu服务器生产环境部署Qwen3.5-2B系统配置与安全加固1. 准备工作与环境检查在开始部署前我们需要确保服务器环境满足基本要求。Qwen3.5-2B作为一款2B参数规模的大模型对硬件有一定要求CPU建议至少8核支持AVX指令集内存32GB以上模型加载约需12GB存储50GB可用空间模型文件约8GBGPU非必须但推荐NVIDIA显卡显存8GB登录服务器后先更新系统sudo apt update sudo apt upgrade -y检查关键组件版本# 检查Python版本 python3 --version # 检查CUDA如有GPU nvidia-smi2. 系统内核参数优化生产环境需要调整内核参数以支持高并发请求# 编辑sysctl配置文件 sudo nano /etc/sysctl.conf添加以下优化参数# 最大文件描述符数 fs.file-max 65535 # 端口范围 net.ipv4.ip_local_port_range 1024 65000 # TCP缓冲区大小 net.ipv4.tcp_rmem 4096 87380 16777216 net.ipv4.tcp_wmem 4096 65536 16777216 # 启用SYN Cookie防护 net.ipv4.tcp_syncookies 1 # 加快TIME_WAIT回收 net.ipv4.tcp_tw_reuse 1应用配置sudo sysctl -p3. 安全加固措施3.1 防火墙配置使用UFW设置防火墙规则sudo ufw allow ssh sudo ufw allow 80/tcp sudo ufw allow 443/tcp sudo ufw enable3.2 创建专用用户为模型服务创建隔离用户sudo adduser --system --no-create-home qwen-service3.3 文件权限设置创建专用目录并设置权限sudo mkdir /opt/qwen sudo chown qwen-service:nogroup /opt/qwen sudo chmod 750 /opt/qwen4. 模型部署与配置4.1 安装依赖安装Python环境与依赖sudo apt install -y python3-pip python3-venv python3 -m venv /opt/qwen/venv source /opt/qwen/venv/bin/activate pip install torch transformers4.2 下载模型使用官方提供的模型下载方式from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(Qwen/Qwen-3.5-2B, device_mapauto) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen-3.5-2B)4.3 创建服务脚本编写简单的FastAPI服务# /opt/qwen/app.py from fastapi import FastAPI from transformers import AutoModelForCausalLM, AutoTokenizer app FastAPI() model AutoModelForCausalLM.from_pretrained(/opt/qwen/model) tokenizer AutoTokenizer.from_pretrained(/opt/qwen/model) app.post(/generate) async def generate_text(prompt: str): inputs tokenizer(prompt, return_tensorspt) outputs model.generate(**inputs) return {result: tokenizer.decode(outputs[0])}5. 服务化与反向代理5.1 使用Systemd管理服务创建服务单元文件sudo nano /etc/systemd/system/qwen.service内容如下[Unit] DescriptionQwen 3.5-2B Service Afternetwork.target [Service] Userqwen-service Groupnogroup WorkingDirectory/opt/qwen EnvironmentPATH/opt/qwen/venv/bin ExecStart/opt/qwen/venv/bin/uvicorn app:app --host 0.0.0.0 --port 8000 Restartalways [Install] WantedBymulti-user.target启动服务sudo systemctl daemon-reload sudo systemctl start qwen sudo systemctl enable qwen5.2 Nginx反向代理配置安装Nginx并配置反向代理sudo apt install -y nginx sudo nano /etc/nginx/sites-available/qwen配置内容server { listen 80; server_name your-domain.com; location / { proxy_pass http://127.0.0.1:8000; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }启用配置sudo ln -s /etc/nginx/sites-available/qwen /etc/nginx/sites-enabled sudo nginx -t sudo systemctl restart nginx5.3 SSL证书配置使用Certbot获取Lets Encrypt证书sudo apt install -y certbot python3-certbot-nginx sudo certbot --nginx -d your-domain.com6. 监控与日志管理6.1 系统监控设置安装并配置Prometheus Node Exportersudo apt install -y prometheus-node-exporter sudo systemctl enable prometheus-node-exporter6.2 日志轮转配置设置日志轮转策略sudo nano /etc/logrotate.d/qwen添加内容/var/log/qwen.log { daily rotate 7 missingok notifempty compress delaycompress sharedscripts postrotate systemctl restart qwen /dev/null 21 || true endscript }7. 总结与后续建议经过以上步骤我们已经完成了Qwen3.5-2B在生产环境的完整部署。这套配置不仅确保了服务的基本运行还通过系统优化、安全加固和服务化管理提升了整体稳定性。实际使用中建议定期检查以下几个方面通过Nginx访问日志监控API调用情况使用nvidia-smi或htop观察资源使用率定期更新模型和依赖库版本考虑添加速率限制防止滥用对于更高要求的场景可以考虑使用Docker容器化部署配置负载均衡应对高并发实现模型的热更新机制获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。