Java + Selenium + OpenCV解决自动化测试中的滑块验证问题

2023年5月25日上午8:26 • 人工智能概论

我来为您详细讲解“Java + Selenium + OpenCV解决自动化测试中的滑块验证问题”的攻略。

一、背景

在进行自动化测试时，经常会遇到需要通过滑块验证的情况，这时候如果采取传统的UI元素定位、模拟鼠标拖动等方式，不仅效率低下，而且容易被反爬虫策略拦截。本文将介绍一种利用Java + Selenium + OpenCV的方式来解决滑块验证问题的方法。

二、步骤

1.环境准备

首先，我们需要在本地安装好Java开发环境、Selenium库和OpenCV库。其中，Selenium库用于模拟用户操作，OpenCV库用于图像识别和处理。

2.录制滑块验证的操作

利用Selenium的WebDriver来打开目标网站，同时录制用户手动操作滑块验证的过程。具体操作步骤包括：

打开目标网站
定位滑块元素
拖动滑块到目标位置
验证是否成功通过滑块验证

通过录制操作，我们可以获得滑块验证过程的相关信息，包括滑块的位置、大小、颜色等。

3.利用OpenCV处理滑块验证图片

将录制的滑块验证图片经过一定的处理，使其能够被OpenCV识别和处理。具体处理过程包括：

灰度化
二值化
去噪
Edge detection

处理后的图片可以提高滑块验证的识别准确度。

4. 利用OpenCV识别滑块位置信息

将录制的滑块验证和滑块验证过程的图片经过一定的匹配和识别，得到滑块的位置信息。具体处理过程包括：

模板匹配
二值化
边缘检测
轮廓识别

利用上述方式，我们可以从滑块验证图片中识别到滑块以及验证滑道的位置信息。

5.模拟滑块操作

将得到的滑块位置信息传递给WebDriver，并模拟拖动滑块的操作。具体操作步骤包括：

定位验证滑道
将滑块拖动到目标位置
判断是否通过滑块验证

通过以上的操作，就可以成功地完成滑块验证。

三、示例说明

示例一：模拟滑块验证淘宝登录

我们可以利用淘宝网站的登录页面，来进行滑块验证的模拟操作。以下是具体的实现步骤：

1.打开淘宝网站登录页面

WebDriver driver = new ChromeDriver();
driver.get("https://login.taobao.com/member/login.jhtml");

2.定位滑块元素

WebElement slider = driver.findElement(By.cssSelector("#nc_1_n1z"));

3.录制滑块验证过程

使用Selenium的Actions类来模拟用户操作，并记录滑块的位置信息。

Actions actions = new Actions(driver);
actions.clickAndHold(slider)
    .moveByOffset(258, 0)
    .release()
    .perform();

4.处理滑块验证图片

利用OpenCV库对滑块验证图片进行处理。

Mat grayImage = Imgcodecs.imread("origin.png", Imgcodecs.IMREAD_GRAYSCALE);
Mat binaryImage = new Mat();
Imgproc.threshold(grayImage, binaryImage, 200, 255, Imgproc.THRESH_BINARY);

5.识别滑块位置信息

利用OpenCV库对处理后的图片进行匹配和识别，得到滑块的位置信息。

Mat template = Imgcodecs.imread("template.png", Imgcodecs.IMREAD_GRAYSCALE);
Mat result = new Mat();
Imgproc.matchTemplate(binaryImage, template, result, Imgproc.TM_CCOEFF_NORMED);
Core.MinMaxLocResult mmr = Core.minMaxLoc(result);

6.模拟滑块操作

利用Selenium的Actions类模拟用户拖动滑块的操作。

int xOffset = (int) mmr.maxLoc.x + 10;
Actions actions = new Actions(driver);
actions.clickAndHold(slider)
    .moveByOffset(xOffset, 0)
    .release()
    .perform();

示例二：模拟滑块验证极验验证码

我们可以利用极验验证码的官网，来进行滑块验证的模拟操作。以下是具体的实现步骤：

1.打开极验验证码官网

WebDriver driver = new ChromeDriver();
driver.get("http://www.geetest.com/type/");