测试是一种常见做法，无论我们的目标是改进关键的业务指标，还是检查我们对某个假设的判断是否正确都需要进行详细的测试才能得到最好的答案。

 

当提到手机游戏测试时，无论你是想要提高盈利、留存率还是获取新用户，掌握测试方法并仔细研究测试结果是非常重要的事情。

 

运行任何测试的主要目标都是在特定的操作过程中获得一定程度的确定性。

 

 

外部测试和内部测试

 

我们看到测试要么发生在游戏外部，要么发生在游戏内部。

 

外部测试：通常与设计、营销和用户获取活动相关，如:

 

美术风格：在开始制作游戏之前，开发者需要考虑哪种美术风格最适合他们的用户，比如卡通，亚洲风格，还是现实主义风格。

 

用户获取：从广告创意的风格到何时显示宣传内容吸引用户，以及不同市场和广告平台的价值，尽可能多方面的测试。

 

应用商店：如何改进商店本身的转换——从图标、视频列表、屏幕截图到本地化文字内容等等。

 

内部测试：在游戏内部进行，覆盖因素如下:

 

技术和QA测试：专注于提高所有设备上的游戏性能，避免游戏中的bug。

 

新玩家用户体验：测试新玩家的体验情况。

 

留存和活跃：在短期和长期来看，测试改进这些指标。

 

营收：提高玩家转化率或优化广告布局和格式。

 

最常用的测试方法

 

Google Play 测试和调研：针对特定受众用户的调研和反馈信息，可以帮助在测试前阶段快速缩小问题的范围，这样之后的A/B测试可以更具针对性的测试问题。

 

A/B测试：比较两个版本(A和B)，除了一个可能影响用户行为的变量之外，其他是相同的。这是最流行的方法之一，并且得到了许多工具的广泛支持。

 

Multi-Armed Bandit和Bayesian testing提供了更高级的测试功能，可以降低成本并更好地细化实时测试。

 

测试和Google Play控制台

 

Google Play控制台提供了多种测试工具，可用于游戏发布前和发布后的测试。

 

在发布前运行测试时，Google Play控制台有多个发布渠道(包括：内部应用程序共享、内部测试、封闭测试和开放测试)，它们提供了许多好处，比如：

 

在内部应用程序共享和内部测试轨道中，更快地将APK推出给Beta测试人员。

 

Google Play控制台中的完整报告：设备性能、Android Vitals、用户获取报告等等。

 

可以测试商品详情的转化情况。

 

游戏测试中常见的挑战

 

虽然测试提供了一些好处，但它也给开发人员带来了挑战。经过采访发现，开发人员的典型评论包括:

 

“一些测试花费了太多时间，我们有一个测试已经运行了4个多月，但我们不知道是应该关闭它，还是应该继续等待结果。”-Can Hasan Gokmen, Tiramisu Games的联合创始人。

 

最终不一定能够得到测试答案，特别是在付费玩家较少的免费游戏中。根据一名开发人员的说法，这个问题导致多达15%的测试是不确定的。

 

“实验组不够多样化，实验缺乏统计学意义；这是最常见的测试组问题。”-Hugh Binns，Eight Pixels Square的副总裁/联合创始人。

 

在下面的小节中，将通过案例的介绍如何应对这些挑战。

 

案例：Battle Legion

 

总部位于芬兰坦佩雷，成立于10年前，Traplight有一个明确的使命“打造有趣的游戏，并享受其中的美好时光!”

 

经过多次版本迭代，Traplight的Battle Legion诞生了，这是一个已PVP玩法（类似卡牌游戏的PVP玩法）为主的游戏，拥有战略的元素，在游戏中不需要玩家的操作，并且有一个独特的机制互动来开始新的比赛。

 

 

从2018年3月游戏的第一次版本迭代开始，Traplight便能够显著提高次日的留存率，将第三天的留存率提高一倍，并将第七天的用户留存提高了4倍。

 

以下是他们如何进行的测试，以及他们在这个过程中学到了什么。

 

测试之前

 

在开始大规模初始版本的测试之前:

 

设计基本获取用户的广告素材：展示游戏玩法的20秒视频广告。目标是确定每次安装成本(CPI)，因为用户获取是了解项目经济可行性的关键。

 

建立基本的分析基础架构：能够以一致和可靠的方式提取测试结果。

 

对新玩家用户体验和用户界面(UI)进行了初步的适用性测试。

 

beta测试

 

在最初的测试中，Traplight想要针对具有同类主题游戏较多的区域测试。在考虑了这些选项之后，Traplight决定在巴西进行这些测试，巴西以合理的成本(每个用户不到0.25美元)为他们提供了足够大的用户池。

 

 

Traplight的另一个关键步骤是在测试期间设置要跟踪的关键指标，同时为每个案例定义目标。这些清晰的目标使团队能够构建测试周期，并根据对目标的预期确定测试的优先级。

 

对于测试，Traplight设定了以下目标：

 

次日留存至少40%

 

新玩家首次游戏时间长度为20分钟

 

三日留存/次日留存的比例至少为70%

 

下一步是将第一个版本发布为公开测试版，并迭代核心测试。

 

在测试中，Traplight的目标是改善他们的短期保留率，主要包括次日留存和三日留存。

 

分解这个过程:

 

Beta 1

 

这个测试的目的是为用户留存和技术测试事件(如崩溃率)建立一个基线。在这次测试中，游戏只包含了1 - 2天的基本游戏玩法和内容。所有后续的beta测试的目标都是提高用户的参与度，比如游戏时间、用户留存等。

 

结果：

➢次日留存：44％

➢三日留存：18％

➢ 三日/ 次日比率：41％

经验：次日留存表明核心是牢固的，但是内容的缺乏导致三日 / 次日的比率很弱，没有重大技术问题。

 

Beta 2

 

这个测试的目的是测试添加系统，为玩家创造后续长期目标。增加的功能和内容包括战斗单位升级系统、基本货币和附加内容。

 

结果：

➢次日留存：51％（+ 7点）

➢三日留存：22％（+ 3点）

➢三日/ 次日比率：43％（+ 2点）

经验：增加了无尽的任务导致游戏节奏放缓，每天的游戏时间从30分钟跃升至48分钟，在每日留存数据上也看到了类似的改善。

 

Beta 3

 

这个测试增加主要战斗单位以及改进UI(包括新玩家用户体验)的影响。

 

结果：

➢次日留存：48％（-3点）

➢三日留存：23％（+ 1点）

➢三日/ 次日比率：48％（+ 5点）

经验：添加新的玩法内容并不会影响次日和三日留存，在此期间新玩家可能无法体验新的内容。

 

Beta 4

 

这个测试的目的是评估添加时间限制相关功能、资源上限和每日目标任务等比较耗时的系统对游戏的影响。

 

结果：

➢次日留存：56％（+8点）

➢三日留存：39％（+ 16点）

➢三日/ 次日比率：69％（+ 21点）

经验：一些系统的时间限制有助于延长游戏寿命，添加一些目标使用户有动机在三日内频繁登陆。每日任务目标让用户有更多的事情可做，同时也提供了更多的游戏内容，因此三日留存率比次日有了更大的提高。

 

Beta 5

 

这个测试的目的是评估新玩家用户体验、更多内容和附加的支线任务对系统的影响。

 

结果：

➢次日留存：59％（+3点）

➢三日留存：41％（+ 2点）

➢三日/ 次日比率：69％（+ 0点）

经验：新用户体验的改善和额外内容继续确保更高的留存率，但改善甚微，三日留存/次日留存比例稳定，表明已经接近稳定状态。

 

从所有的beta测试中可以得到的共同经验是，有意义的升级和时间控制对用户留存和用户活跃的影响最大。但从长远来看，拥有足够的内容是关键。

 

这些测试表明，三日留存/次日留存上70%是很困难的，在完成测试后，Traplight将焦点转移到7日留存和30日留存上。

 

对于付费获取用户的测试，确保在开始之前对广告系列参数进行标准化是至关重要的。使用公开测试版获取自然用户，对于测试功能非常有帮助。

 

最后，预先决定要测试哪些指标，更重要的是要实现哪些目标，这是确定功能优先级的关键。

 

来源：medium.com