01

框架介绍

APAIST是用于开发游戏自动化AI的开源框架(开源项目名为GameAISDK)。项目的特点是以游戏图像为输入,直接输出模拟触屏操作,不依赖游戏端提供任何API接口。

APAIST 框架

APAIST框架主要包括SDKTool(配置文件工具),AI SDK两部分。SDKTool帮助我们生成跟具体游戏相关的AI SDK所需要配置文件。如游戏运行过程中,整个流程中需要动作交互的UI,需要识别的游戏元素等。AI开发过程中用到的信息可来自于游戏图像(AIClient获取)或其他数据。aitest 能够自动化完成游戏UI操作并进入游戏场景,像玩家一样操作手机玩游戏。

AI SDK部分主要包括AI Clinet模块, MC模块,IO模块, UI模块, GameReg模块,AI模块。

  • AI Client主要与手机端交互,获取游戏图像,并执行UI或AI输出的动作

  • IO模块与AI Client交互,作为AI SDK的数据输入输出控制

  • MC模块与IO模块交互,将数据分发至AI SDK后端的UI和AI模块,并做一些业务逻辑的管理控制

  • UI模块根据游戏图像,识别出需要进行的UI操作

  • GameReg模块根据游戏图像,识别出游戏场景内的数字、血条、目标物等元素

  • AI模块根据识别到的游戏元素,根据AI算法执行业务逻辑

02

适用场景

主要适用于游戏场景的自动化测试,以减少相应场景测试的人力投入,目前已应用在酷跑、竞速、FPS、格斗、MMMO、MOBA等多种类型游戏的场景自动化。

03

功能介绍

提供多种图像识别算法,识别游戏场景中的关键特征数据,如游戏场景中的技能状态、按钮位置、目标物位置等。此次发布的是2.0版本,相比于1.0版本,改进的内容包括:

  • 提供模仿学习和强化学习AI算法DQN机rainbow等,可直接用于训练游戏场景AI。

- 提供一体化的IDE工具,将所有用户的操作都集成在IDE里面,包括游戏AI配置生成、样本采集、图像标注工具,手机连接、游戏AI启动、模型训练等功能。

- 支持不同分辨率手机操作,无需限定手机长宽比。

- 支持Windows下的各种窗口(包含端游、页游和Android模拟器等)作为图像输入来源。

- 加入UI智能探索功能,可对所有的移动端应用自动探索UI场景,并以图的形式展示探索结果,直观明了。

- 升级手机驱动,android版本支持到andrioid11。

- 支持win10,ubuntu,win10+docker和mac+docker等多种工作方式。

- 提供了完善的使用文档,帮助用户快速上手。

- 针对用户的特殊需求,支持用户二次开发。

04

开源获取

github地址:

https://github.com/Tencent/GameAISDK

官网:

https://aitest.qq.com

?https://github.com/Tencent

欢迎提出你的 issue 和 PR!

国内镜像地址:

?https://git.code.tencent.com/Tencent_Open_Source

(登录后才能访问公开项目)

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

文章来源于腾讯云开发者社区,点击查看原文