UI自动化 --- 微软UI Automation

引言

自动化测试平台的意义就三个字 --- 稳定性。

无论是接口自动化测试，还是UI自动化测试，目的就是为了提高产品的稳定性，保证用户体验。

那常见的接口自动化测试比如有 Postman ，SoapUI，JMeter 等等。这一类网上的资料就太多太多了。本篇内容主要想讨论的是UI自动化测试，我搜集了一下常见的UI自动化测试平台：.

「Selenium」：Selenium是开源且免费的，使用非常广泛的Web应用程序自动化测试框架，它既支持多种语言的脚本驱动测试，也支持记录与回放的方式测试。
「Appium」：Appium是一个开源免费的移动应用程序自动化测试框架，也支持多种语言的脚本驱动测试。
「Katalon Studio」：Katalon Studio是一款免费的UI自动化测试工具，适用于Web、移动和API测试。它基于Selenium和Appium，并提供了图形化界面和内置的测试功能。
「TestComplete」：TestComplete是一款功能强大的商业UI自动化测试工具，适用于Web、桌面和移动应用程序。它提供了多种脚本语言和图形化界面，以及灵活的对象识别和回放功能。
「Ranorex」: Ranorex是一款商业UI自动化测试工具，适用于Web、桌面和移动应用程序。它提供了易于使用的录制和回放功能，支持多种编程语言。

从上面的数据中其实不难发现，对于桌面应用的UI自动化测试，上述框架或工具要么免费但是仅支持Web应用，要么就是商业化工具，一言难尽啊。

所以这就提到了我们的主题了 --- UIAutomation。

UIAutomation 介绍

来看一下微软官方对此的介绍 UIAutomation:

Microsoft UI Automation是适用于Microsoft Windows的辅助功能框架。它满足了辅助技术产品和自动化测试框架的需求，通过提供对用户界面（UI）信息的编程访问来实现。此外，UI Automation还使控件和应用程序开发人员能够使其产品具有辅助功能。

里边提到了，使用编程访问可以通过代码模仿由传统鼠标和键盘输入展开的任何交互和体验，UIAutomation 通过五个组件实现编程访问：

UI Automation tree（UI自动化树）
UI Automation elements（UI自动化元素）
UI Automation properties(UI自动化属性)
Control patterns（控件模式）
UI Automation events（UI自动化事件）

如下图所示： UI自动化 --- 微软UI Automation

最后列出了测试应用程序中实现UI自动化的步骤：

辅助工具介绍

步骤中提到了一个工具 --- 「Inspect.exe」 ，该工具是一个图形用户界面 (GUI) 应用程序，可用于收集用于提供程序和客户端开发和调试的 UI 自动化信息，它包含在 Windows SDK 中。

所以要使用「Inspect.exe」去查询控件的 AutomationIdProperty，必须安装Windows SDK。

然后可以直接使用Everything直接搜索 Inspect.exe ，可以看到 SDK 安装目录下，分别有x64，x86，arm64，arm四个，我们一般选择 x64 就可以。

然后使用该工具可以找到目标应用的控件，并根据AutomationProperties 进行编码模拟点击。

小试牛刀

接下来编写代码测试一下：

创建目标程序，一个WPF程序，放置一个TextBox输入框，命名为 textbox1，再放置一个按钮，命名为 button1,button1点击后弹窗提示“UIAutomation按钮测试”。
接下来创建测试程序，创建一个控制台程序，使用 UIAutomation API 执行在点击button1在 textbox1文本框输入"UIAutomation按钮测试"后缀时间。
使用「Inspect.exe」找到目标程序的的进程ID和控件的AutomationID。输入到测试程序中，看执行结果。

测试控制台程序代码如下：

using System;
using System.Diagnostics;
using System.Windows.Automation;

publicclassProcessButtonClickAutomation
{
    public static void Main()
    {
        Console.WriteLine("请输入目标进程ID:");
        var targetProcessId = Console.ReadLine();
        Console.WriteLine("请输入目标控件AutomationId:");
        var automationId = Console.ReadLine();

        // 根据进程ID查找进程
        Process targetProcess = FindProcessById(int.Parse(targetProcessId));

        if (targetProcess != null)
        {
            // 查找进程的主窗口句柄
            IntPtr mainWindowHandle = targetProcess.MainWindowHandle;

            if (mainWindowHandle != IntPtr.Zero)
            {
                // 使用主窗口句柄获取AutomationElement
                AutomationElement mainWindowElement = AutomationElement.FromHandle(mainWindowHandle);

                // 查找按钮元素，根据需要修改按钮查找条件
                PropertyCondition condition = new PropertyCondition(AutomationElement.AutomationIdProperty, automationId);
                AutomationElement buttonElement = mainWindowElement.FindFirst(TreeScope.Descendants, condition);

                if (buttonElement != null)
                {
                    // 获取按钮元素的InvokePattern
                    InvokePattern invokePattern = buttonElement.GetCurrentPattern(InvokePattern.Pattern) as InvokePattern;

                    if (invokePattern != null)
                    {
                        // 模拟按钮点击操作
                        invokePattern.Invoke();
                        Console.WriteLine("按钮已被点击  " + DateTime.Now);
                    }
                    else
                    {
                        Console.WriteLine("按钮不可用");
                    }
                }
                else
                {
                    Console.WriteLine("找不到按钮元素");
                }
            }
            else
            {
                Console.WriteLine("找不到进程的主窗口");
            }
        }
        else
        {
            Console.WriteLine("找不到指定的进程");
        }
        Console.WriteLine("执行完成~");

        Console.ReadLine();
    }

    // 根据进程ID查找进程
    public static Process FindProcessById(int processId)
    {
        try
        {
            Process process = Process.GetProcessById(processId);
            return process;
        }
        catch (ArgumentException)
        {
            returnnull;
        }
    }
}

使用「Inspect.exe」可以看到目标WPF程序的 ProcessID = 24984 ，按钮控件的 AutomationId = button1

在控制台输入 ProcessID 和 AutomationId 可以看到结果测试程序执行结束后，目标WPF程序的文本框同时刷新。

写在结尾

UI Automation说是框架，我觉得更像是一组API，只是提供了你能够做自动化测试的基本能力，如果想要搭建一个桌面应用的UI自动化测试平台，那需要做的还有很多。比如你需要实现脚本支持，需要实现执行报告和日志，需要实现数据驱动测试，甚至需要支持持续集成和持续交付（CI/CD）流程中自动执行UI自动化测试。

现在我想搭建一个基于 UI Automation 的桌面应用的UI自动化测试平台，现在只是有一个大体思路：

UI Automation 提供桌面应用自动化测试的基本能力。
Roslyn 编译器平台提供脚本支持。
执行报告和日志在封装UI Automation API的过程中，就可以添加进去了
数据驱动测试就可以在脚本中完成。
最后一点，持续集成和持续交付可以交给Jenkins

还是文章开头说到的，于桌面应用的UI自动化测试，现有框架或工具要么免费但是仅支持Web应用，要么就是商业化工具，所以想自己整一个，想法和方案都有了，至于可以做成什么样，那就拭目以待吧。

不了解 Roslyn 编译器平台的，可以看我之前的两篇文章

.Net 编译器平台 --- Roslyn（https://niuery.com/post/67）
.Net 编译器平台--- Roslyn Scripting APIs（https://niuery.com/post/68）

参考链接
Using UI Automation for Automated Testing：

https://learn.microsoft.com/en-us/dotnet/framework/ui-automation/using-ui-automation-for-automated-testing

引言

UIAutomation 介绍

辅助工具介绍

小试牛刀

写在结尾

董川民