图像识别:微信跳一跳机器人
准备
IDE:VisualStudio
Language:VB.NET/C#
GitHub:AutoJump.NET
本文将向你介绍一种通过图像识别实现“跳一跳”机器人的方法。
第一节 图像识别
文中提到的所有方法和步骤均仅涉及简单的向量计算。
需要哪些计算?
比较像素点的颜色
求向量集合的中心
计算颜色的相似度
一个RGB颜色可以看作一个三维向量
比较两个颜色的相似度可以计算它们的欧几里得距离
也可以直接比较它们的夹角:夹角越小,两个颜色越相似,反之亦然
求平面向量集合的中心位置
首先,将集合中所有的向量相加得到向量S
再将向量S除以集合元素的个数,结果即为它们的中心
图1-1 识别效果预览
第二节 识别落点
找出盒子落点的前提是发掘每个盒子都具有的共同特征。
盒子特征
目标落点有两种类型,菱形或圆形的盒子
只有部分盒子的顶面颜色是大面积的纯色
盒子下方的地面背景是纯色,但随着游戏进行颜色会发生变化
顶点特征
顶点的上侧为背景色
顶点的左侧(可能不适用于圆形)、右侧(可能不适用于圆形)均为背景色
识别方法
从上向下逐行扫描像素找出盒子的顶点A
继续向下找出与A颜色相似的所有像素点集合C
求出C像素集合的中心点,即为落点
图2-1 盒子落点识别
第三节 识别角色
角色的颜色相对特殊,很容易从游戏图像中区分出来。
人物特征
角色呈国际象棋棋子状
角色整体颜色较为一致,部分区域有高光
顶点特征
角色的顶点颜色较深,易于区分
识别方法
从上向下逐行扫描像素找出角色的顶点A
继续向下找出与A颜色相似的所有像素点集合C
求出C像素集合的中心点,并向下偏移固定数值
中心点偏移后的像素D的位置即为角色的底部
图3-1 角色底部识别
第四节 识别干扰
通常,简单的方法只适应于绝大部分情况,特定情形时仍会出错。
哪些情况会导致识别错误
盒子顶部的颜色不一致时
角色顶部的位置高于目标盒子时
角色站立的盒子和目标盒子的顶部颜色一致时
其他干扰因素的解决方案
加分提示的动画:延时解决
击中中心的动画:延时解决
音乐盒的乐符动画:不要在音乐盒上停留ヾ(✿゚▽゚)ノ
图4-1 魔方(正确)
图4-2 商店(偏离中心)
图4-3 音乐盒 (偏离中心)
第五节 实测数值
程序的部分参数需要通过实际测试得出。
识别区域
仅屏幕中间的三分之一区域需要进行图像识别
触压时间
触压屏幕的毫秒数正好是角色与落点距离数值的两倍
例如,距离为500个像素点,那么就需要持续按下1000毫秒
图5-1 识别区域(阴影部分)
附录
(运气好时,机器人可以自动玩到1000分)
GitHub:AutoJump.NET
参考文章:.NET开发一个微信跳一跳辅助程序
参考书籍:《数学之美》[美]吴军 著人民邮电出版社