OpenClaw技能开发入门：为Phi-3-vision-128k-instruct定制自动化流程

OpenClaw技能开发入门为Phi-3-vision-128k-instruct定制自动化流程1. 为什么需要为Phi-3开发OpenClaw技能去年夏天我接手了一个图像处理自动化项目。当时每天要手动处理数百张产品图用Photoshop调整尺寸、添加水印、生成缩略图。这种重复劳动不仅枯燥还经常因为疲劳导致错误。直到发现OpenClaw可以对接多模态模型才意识到让AI理解图像并自动操作软件才是真正的解决方案。Phi-3-vision-128k-instruct作为支持图文理解的多模态模型与OpenClaw的结合能实现视觉任务自动化截图识别→内容理解→执行操作的全链路自动化复杂流程简化将需要人工判断的视觉任务转化为标准化流程7×24小时值守持续监控屏幕变化并触发预设动作2. 开发环境准备2.1 基础组件安装我的MacBook ProM1芯片macOS Ventura上实测可用的组合# 安装OpenClaw核心框架 curl -fsSL https://openclaw.ai/install.sh | bash # 验证安装 openclaw --version # 预期输出示例openclaw/0.8.2 darwin-arm64 node-v18.16.02.2 Phi-3模型服务对接假设Phi-3-vision-128k-instruct已通过vllm部署在本机http://localhost:8000修改OpenClaw配置// ~/.openclaw/openclaw.json { models: { providers: { phi3-vision: { baseUrl: http://localhost:8000/v1, apiKey: NULL, // vllm默认无需key api: openai-completions, models: [ { id: phi-3-vision-128k-instruct, name: Phi-3 Vision, contextWindow: 131072, supportsVision: true } ] } } } }踩坑记录必须声明supportsVision: true才能启用多模态支持vllm部署时需添加--enable-vision参数首次调用建议先通过curl测试接口可用性curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: phi-3-vision-128k-instruct, messages: [ { role: user, content: [ {type: text, text: 描述这张图片}, {type: image_url, image_url: {url: data:image/png;base64,...}} ] } ] }3. 开发第一个视觉Skill3.1 创建技能脚手架clawhub create screenshot-analyzer cd screenshot-analyzer生成的目录结构screenshot-analyzer/ ├── package.json ├── skill.json # 技能元数据 ├── src/ │ ├── index.ts # 主逻辑 │ └── types.ts # 类型定义 └── test/ └── index.test.ts3.2 核心功能实现修改src/index.ts实现截图分析逻辑import { Skill } from openclaw/core; export default class ScreenshotAnalyzer extends Skill { async execute(params: any) { // 1. 捕获屏幕区域 const screenshot await this.claw.captureScreen({ region: params.region || fullscreen }); // 2. 调用Phi-3分析图像 const visionResponse await this.claw.models.chat({ provider: phi3-vision, model: phi-3-vision-128k-instruct, messages: [ { role: user, content: [ { type: text, text: params.prompt }, { type: image_url, image_url: { url: screenshot.dataURL } } ] } ] }); // 3. 根据结果执行操作 if (visionResponse.includes(点击)) { await this.claw.mouse.click({ x: 100, y: 200 }); } return { analysis: visionResponse }; } }3.3 技能配置skill.json关键配置示例{ name: screenshot-analyzer, description: 屏幕截图分析工具, inputs: { prompt: { type: string, description: 对截图的提问 }, region: { type: string, enum: [fullscreen, window, selection], default: fullscreen } }, outputs: { analysis: { type: string, description: 模型分析结果 } } }4. 实战电商图片审核自动化4.1 场景需求假设需要每天审核电商平台新上传的图片检测是否包含违禁品验证图片尺寸是否符合规范识别水印位置是否正确4.2 技能增强实现在原有技能基础上增加审核逻辑async checkEcommerceImage(params: { imagePath: string; rules: { bannedItems: string[]; minResolution: number[]; watermarkPositions: string[]; }; }) { const imageData await fs.promises.readFile(params.imagePath); const base64Image imageData.toString(base64); const response await this.claw.models.chat({ provider: phi3-vision, model: phi-3-vision-128k-instruct, messages: [ { role: user, content: [ { type: text, text: 请检查图片是否包含${params.rules.bannedItems.join(,)} }, { type: text, text: 验证分辨率是否≥${params.rules.minResolution.join(x)} }, { type: text, text: 水印应出现在${params.rules.watermarkPositions.join(或)} }, { type: image_url, image_url: { url: data:image/png;base64,${base64Image} } } ] } ] }); // 解析模型返回的结构化数据 const result this.parseResponse(response); if (!result.passed) { await this.claw.keyboard.type([审核不通过] ${result.reasons.join(;)}); await this.claw.mouse.click(reject-button); } else { await this.claw.mouse.click(approve-button); } return result; }4.3 错误处理实践多模态任务常见错误处理策略try { // 尝试获取模型响应 const response await this.claw.models.chat({...}); // 处理模型返回空值 if (!response?.choices?.[0]?.message?.content) { throw new Error(模型返回格式异常); } // 处理超时 await Promise.race([ processResponse(response), new Promise((_, reject) setTimeout(() reject(new Error(处理超时)), 30000) ) ]); } catch (error) { // 重试逻辑 if (error instanceof ModelTimeoutError this.retryCount 3) { this.retryCount; return this.execute(params); } // 降级处理 await this.claw.notification.send({ title: 审核任务失败, message: error.message, level: error }); }5. 技能调试与优化5.1 本地测试方法开发阶段推荐使用openclaw test命令openclaw test ./screenshot-analyzer \ --input {prompt:图片中有文字吗,region:window} \ --model phi3-vision5.2 性能优化技巧通过实际测试发现的优化点图像压缩上传前将截图从PNG转为JPEG体积减少70%const compressed await this.claw.image.compress(screenshot, { format: jpeg, quality: 80 });提示词工程给Phi-3的指令需明确结构化要求请按以下JSON格式回复 { contains_banned_item: boolean, resolution_ok: boolean, watermark_position: top-left|top-right|bottom-left|bottom-right }缓存策略相同图片MD5哈希值避免重复分析5.3 技能发布流程打包技能clawhub pack ./screenshot-analyzer发布到ClawHub市场clawhub publish ./screenshot-analyzer --token YOUR_PUBLISH_TOKEN用户安装方式clawhub install screenshot-analyzer获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。