Pytest框架 — 10、Pytest的标记(一)(跳过和预期失败)

yizhihongxing

1、前言

引用自官方文档
您可以标记无法在某些平台上运行或您预计会失败的测试功能,以便 pytest 可以相应地处理它们并提供测试会话的摘要,同时保持测试套件绿色。

跳过(skip)意味着您希望测试仅在满足某些条件时才能通过,否则 pytest 应该完全跳过运行测试。常见的例子是跳过非 Windows 平台上的纯 Windows 测试,或者跳过依赖于目前不可用的外部资源(例如数据库)的测试。

预期失败(xfail)意味着您希望测试由于某种原因而失败。一个常见的例子是测试尚未实现的功能或尚未修复的错误。

2、标记跳过

(一)无条件跳过skip

使用方法:通过@pytest.mark.skip(reason=跳过原因)装饰器标记要跳过的测试用例

  • 参数reason:跳过的原因,非必填
import pytest


@pytest.mark.skip
def test_register():
    # 测试注册功能
    raise Exception("该功能尚未开发完成")


@pytest.mark.skip(reason="该功能尚未开发完成")
def test_logout():
    # 注销
    raise Exception("该功能尚未开发完成")


def test_login():
    # 登录功能
    assert True

"""
执行结果
mark/skip_mark.py::test_register SKIPPED (unconditional skip)
mark/skip_mark.py::test_logout SKIPPED (该功能尚未开发完成)
mark/skip_mark.py::test_login PASSED
"""

(二)有条件跳过skipif

使用方法:通过@pytest.mark.skipif(condition=跳过条件,reason=跳过原因)标记要跳过的测试用例。

  • 参数condition:跳过的条件,值为True则跳过,值为False则继续执行,默认值为True
  • 参数reason:必填,跳过的原因
import pytest

version = 3.0


@pytest.mark.skipif(condition=version > 3.0 or version == 3.0, reason="3.0及以上版本不提供下载功能")
def test_download():
    print("下载功能")


def test_upload():
    print("上传功能")


"""
执行结果
mark/skipif_mark.py::test_download SKIPPED (3.0及以上版本不提供下载功能)
mark/skipif_mark.py::test_upload 上传功能
PASSED
"""

(三)使用pytest.skip(reason)函数标记跳过

当无法评估跳过条件或不想在模块级别检查条件的情况时,可以根据条件在测试函数中使用pytest.skip(reason)进行强制跳过。类似于循环中的break

import pytest


def test_fuction():
    try:
        with open("config.ini") as f:
            pass
    except Exception as e:
        pytest.skip("读取配置文件失败,跳过测试")

def test_function2():
    for i in range(10):
        if i == 3:
            pytest.skip("老子不数了")
        print(i)

"""
执行结果
mark/skip/pytest_skip.py::test_fuction SKIPPED (读取配置文件失败,跳过测试)
mark/skip/pytest_skip.py::test_function2 0
1
2
SKIPPED (老子不数了)
"""

(四)跳过整个模块

在模块级别使用跳过整个模块

import pytest
current_environment = "ios"

if current_environment != "Android":
    pytest.skip("非安卓环境,跳过此模块测试", allow_module_level=True)

def test_login():
    # 登录
    print("登录成功")

def test_add_cart():
    # 加购物车
    print("加购物车成功")

def test_pay():
    # 支付
    print("支付成功")

"""
执行结果
============================= test session starts ==============================
collecting ... 
Skipped: 非安卓环境,跳过此模块测试
collected 0 items / 1 skipped
============================== 1 skipped in 0.01s ==============================
"""

3、标记预期失败

  • 如果xfail标记的用例执行失败,则结果是xfail,符合预期结果,在测试摘要中报告,不会显示错误回溯信息。
  • 如果xfial标记的用例执行成功,则结果是xpass,不符合预期结果,在测试摘要中报告。

(一)参数详解

@pytest.mark.xfail(condition,reason,raises,run,strict)

  • condition:当满足某种条件时才会预期失败(即满足某种条件此标记才生效,否则正常执行),值为布尔值或字符串,默认为True,注意,当值为布尔值时必须传递reason参数。
import pytest
version = 3.0


@pytest.mark.xfail(version==3.0, reason="判断只有3.0版本才会才会失败")
def test_1():
    print("测试函数1")

@pytest.mark.xfail(version>3.0, reason="判断只有3.0版本才会才会失败")
def test_2():
    print("测试函数2")

@pytest.mark.xfail("version==3.0")
def test_3():
    print("测试函数3")

"""
执行结果
mark/xfail/xfail_condition.py::test_1 测试函数1
XPASS (判断只有3.0版本才会才会失败)
mark/xfail/xfail_condition.py::test_2 测试函数2
PASSED
mark/xfail/xfail_condition.py::test_3 测试函数3
XPASS (condition: version==3.0)
"""
  • reason:说明用例标记为预期失败的原因,默认为None
  • raises:指定单个异常或异常元组,期望抛出这些异常
    • 如果用例失败不是因为指定的这些异常,则执行结果标记为failed
    • 如果用例失败因为指定的这些异常,则执行结果标记为xfailed
import pytest


@pytest.mark.xfail(raises=ZeroDivisionError)
def test_1():
    res = 21 / 0

@pytest.mark.xfail(raises=(ValueError, IndexError))
def test_2():
    res = 21 / 0

"""
执行结果
mark/xfail/xfail_raises.py::test_1 XFAIL
mark/xfail/xfail_raises.py::test_2 FAILED

================================================================== FAILURES ===================================================================
___________________________________________________________________ test_2 ____________________________________________________________________

    @pytest.mark.xfail(raises=(ValueError, IndexError))
    def test_2():
>       res = 21 / 0
E       ZeroDivisionError: division by zero

mark/xfail/xfail_raises.py:15: ZeroDivisionError
=========================================================== short test summary info ===========================================================
FAILED mark/xfail/xfail_raises.py::test_2 - ZeroDivisionError: division by zero
"""
  • run:标识是否执行此用例,若为True则执行,否则直接标记为xfail,默认为True
  • strict:若为True,如果测试用例xpass则执行结果为failed,默认为False。也可以全局配置,在pytest.ini中添加一条xfail_strict=True即可。
import pytest


@pytest.mark.xfail(strict=True)
def test_1():
    print("预期失败,结果成功")
    assert True

@pytest.mark.xfail(strict=True)
def test_2():
    print("预期失败,结果失败")
    assert False

"""
执行结果
mark/xfail/xfail_strict.py::test_1 预期失败,结果成功
FAILED
mark/xfail/xfail_strict.py::test_2 预期失败,结果失败
XFAIL
"""

(二)使用pytest.xfail(reason)函数标记预期失败

当无法评估是否预期失败或不想在模块级别检查条件的情况时,可以根据情况在测试函数使用pytest.xfail(reason)进行强制预期失败的标记。类似于循环的break

import pytest


def test_fuction():
    try:
        with open("config.ini") as f:
            pass
    except Exception as e:
        pytest.xfail("读取配置文件失败,预期失败")

def test_fuction2():
    for i in range(10):
        if i == 3:
            pytest.xfail("强制预期失败")
        print(f"数值{i}")

"""
执行结果
mark/xfail/pytest_xfail.py::test_fuction XFAIL (读取配置文件失败,预期失败)
mark/xfail/pytest_xfail.py::test_fuction2 数值0
数值1
数值2
XFAIL (强制预期失败)
"""

(三)示例

import pytest


# 预期失败,结果失败
@pytest.mark.xfail(True, reason="预期失败")
def test_1():
    print("预期失败,结果失败")
    assert False

# 预期失败,结果成功
@pytest.mark.xfail(True, reason="预期失败")
def test_2():
    print("预期失败,结果成功")
    assert True

# 不预期失败,结果失败
@pytest.mark.xfail(False, reason="不预期失败")
def test_3():
    print("不预期失败,结果失败")
    assert False

# 不预期失败,结果成功
@pytest.mark.xfail(False, reason="不预期失败")
def test_4():
    print("不预期失败,结果成功")
    assert True

"""
执行结果
mark/xfail/xfail.py::test_1 预期失败,结果失败
XFAIL (预期失败)
mark/xfail/xfail.py::test_2 预期失败,结果成功
XPASS (预期失败)
mark/xfail/xfail.py::test_3 不预期失败,结果失败
FAILED
mark/xfail/xfail.py::test_4 不预期失败,结果成功
PASSED
"""

(四)忽略xfail标识

命令:pytest --runxfail,在执行时添加--runxfail参数可以将所有预期失败标记忽略

import pytest


@pytest.mark.xfail
def test_1():
    assert False

@pytest.mark.xfail
def test_2():
    assert True

"""
执行结果
mark/xfail/ignore_xfail.py::test_1 FAILED
mark/xfail/ignore_xfail.py::test_2 PASSED
"""

(五)xfail总结

  • 如果@pytest.mark.xfail不添加任何参数,那么测试结果为xpassxfail
  • condition值用于判断xfail标记是否生效,如果生效则测试结果为xfailxpass,否则为failedpassed
  • 如果测试失败的原因在raises中,则标记为xfailed,否则标记为failed
  • 如果设置了strict=True,则当执行结果为xpass时,测试结果为failed

参考
https://docs.pytest.org/en/7.1.x/how-to/skipping.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Pytest框架 — 10、Pytest的标记(一)(跳过和预期失败) - Python技术站

(0)
上一篇 2023年4月2日 下午5:10
下一篇 2023年4月2日

相关文章

  • Pytest框架 — 12、Pytest的标记(三)(重复执行)

    目录 1、前言 2、–count参数使用 (一)在命令行或者main函数使用 (二)在全局配置文件中使用 3、–repeat-scope参数使用 4、@pytest.mark.repeat(count)装饰器使用 5、结合参数x使重复执行在失败时停止 1、前言 在自动化测试的时候我们可能会遇到某些原因,如模块不稳定等,出现一些测试失败,此时我们想要针对单…

    Python开发 2023年4月2日
    00
  • Pytest框架 — 09、Pytest的conftest.py文件

    目录 1、conftest.py介绍 2、conftest.py的特点 3、conftest.py文件的使用 4、conftest.py的作用域 1、conftest.py介绍 conftest.py是pytest框架的一种固定写法,把fixture或者自己定义的插件写到这个文件里就会自动去调用。我们前面都是将fixture写到测试用例文件里,在实际工作中更…

    Python开发 2023年4月2日
    00
  • Pytest框架 — 08、Pytest的Fixture(部分前后置)(三)

    目录 8、Fixture带返回值 9、Fixture实现参数化 10、可靠的Fixture写法 (一)一个不可靠Fixture的例子 (二)修改成可靠Fixture的例子 8、Fixture带返回值 在fixture中我们可以使用yield或者return来返回我们需要的东西,如测试数据,数据库连接对象,文件对象等。 没有后置处理 直接采用return的方式…

    Python开发 2023年4月2日
    00
  • Pytest框架 — 04、Pytest的断言

    目录 1、前言 2、常用断言 3、预期异常断言 4、优化断言提示 5、自定义失败断言提示 1、前言 Pytest使用python自带关键字assert进行断言,断言内容为一个表达式,只要表达式的最终结果为True,那么断言通过,用例执行成功,否则用例执行失败。assert + 表达式 2、常用断言 assert xx:判断xx为真 assert not xx…

    Python开发 2023年4月2日
    00
  • Pytest框架 — 05、setup和teardown(全部前后置)

    目录 1、前言 2、各级别详解 3、总结 1、前言 在自动化测试过程中经常需要进行初始化和后期处理等工作,如电商加购物车测试需要先登录,测试完毕需要关闭浏览器等。Pytest提供了5种类型的setup和teardown的方法,具体如下: 模块级别:setup_module,teardown_module 函数级别:setup_function,teardow…

    Python开发 2023年4月2日
    00
  • Pytest框架 — 13、Pytest的标记(四)(分组执行)

    目录 1、前言 2、mark的使用 (一)注册自定义标记 (二)在测试用例上标记 (三)执行 3、扩展 (一)在同一个测试用例上使用多个标记 (二)在测试类上使用标记 1、前言 在自动化测试工作中我们有时候并不需要测试所有的测试用例,比如在冒烟测试阶段,我们只需要测试基本功能是否正常就可以了。在pytest中提供了mark标记功能来实现分组执行。 2、mar…

    Python开发 2023年4月2日
    00
  • Allure定制报告

    目录 1、定制报告常用的装饰器 2、allure.dynamic在测试方法中动态添加定制 3、用例等级的定制 4、用例描述的定制 5、链接的定制 6、步骤的定制 7、附件的定制 1、定制报告常用的装饰器 结合表和示例图查看 使用方法 参数值 参数说明 @allure.epic() 项目名称 项目名称,树结构第一层 @allure.feature() 模块名称…

    2023年4月2日
    00
  • Pytest框架 — 14、Pytest的标记(五)(控制测试用例执行顺序)

    目录 1、前言 2、使用 3、标记最先执行和最后执行 1、前言 在执行自动化测试时,我们通常都希望能够控制执行测试用例的顺序。 在unittest框架中默认按照ACSII码的顺序加载测试用例并执行,顺序为:0~9、A~Z、a~z,测试目录、测试模块、测试类、测试方法/测试函数都按照这个规则来加载测试用例。 在pytest测试框架中,默认从上至下执行,也可以通…

    Python开发 2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部