1、前言
引用自官方文档
您可以标记无法在某些平台上运行或您预计会失败的测试功能,以便 pytest 可以相应地处理它们并提供测试会话的摘要,同时保持测试套件绿色。
跳过(skip)意味着您希望测试仅在满足某些条件时才能通过,否则 pytest 应该完全跳过运行测试。常见的例子是跳过非 Windows 平台上的纯 Windows 测试,或者跳过依赖于目前不可用的外部资源(例如数据库)的测试。
预期失败(xfail)意味着您希望测试由于某种原因而失败。一个常见的例子是测试尚未实现的功能或尚未修复的错误。
2、标记跳过
(一)无条件跳过skip
使用方法:通过@pytest.mark.skip(reason=跳过原因)
装饰器标记要跳过的测试用例
- 参数
reason
:跳过的原因,非必填
import pytest
@pytest.mark.skip
def test_register():
# 测试注册功能
raise Exception("该功能尚未开发完成")
@pytest.mark.skip(reason="该功能尚未开发完成")
def test_logout():
# 注销
raise Exception("该功能尚未开发完成")
def test_login():
# 登录功能
assert True
"""
执行结果
mark/skip_mark.py::test_register SKIPPED (unconditional skip)
mark/skip_mark.py::test_logout SKIPPED (该功能尚未开发完成)
mark/skip_mark.py::test_login PASSED
"""
(二)有条件跳过skipif
使用方法:通过@pytest.mark.skipif(condition=跳过条件,reason=跳过原因)
标记要跳过的测试用例。
- 参数
condition
:跳过的条件,值为True则跳过,值为False则继续执行,默认值为True - 参数
reason
:必填,跳过的原因
import pytest
version = 3.0
@pytest.mark.skipif(condition=version > 3.0 or version == 3.0, reason="3.0及以上版本不提供下载功能")
def test_download():
print("下载功能")
def test_upload():
print("上传功能")
"""
执行结果
mark/skipif_mark.py::test_download SKIPPED (3.0及以上版本不提供下载功能)
mark/skipif_mark.py::test_upload 上传功能
PASSED
"""
(三)使用pytest.skip(reason)函数标记跳过
当无法评估跳过条件或不想在模块级别检查条件的情况时,可以根据条件在测试函数中使用pytest.skip(reason)
进行强制跳过。类似于循环中的break
。
import pytest
def test_fuction():
try:
with open("config.ini") as f:
pass
except Exception as e:
pytest.skip("读取配置文件失败,跳过测试")
def test_function2():
for i in range(10):
if i == 3:
pytest.skip("老子不数了")
print(i)
"""
执行结果
mark/skip/pytest_skip.py::test_fuction SKIPPED (读取配置文件失败,跳过测试)
mark/skip/pytest_skip.py::test_function2 0
1
2
SKIPPED (老子不数了)
"""
(四)跳过整个模块
在模块级别使用跳过整个模块
import pytest
current_environment = "ios"
if current_environment != "Android":
pytest.skip("非安卓环境,跳过此模块测试", allow_module_level=True)
def test_login():
# 登录
print("登录成功")
def test_add_cart():
# 加购物车
print("加购物车成功")
def test_pay():
# 支付
print("支付成功")
"""
执行结果
============================= test session starts ==============================
collecting ...
Skipped: 非安卓环境,跳过此模块测试
collected 0 items / 1 skipped
============================== 1 skipped in 0.01s ==============================
"""
3、标记预期失败
- 如果
xfail
标记的用例执行失败,则结果是xfail
,符合预期结果,在测试摘要中报告,不会显示错误回溯信息。 - 如果
xfial
标记的用例执行成功,则结果是xpass
,不符合预期结果,在测试摘要中报告。
(一)参数详解
@pytest.mark.xfail(condition,reason,raises,run,strict)
condition
:当满足某种条件时才会预期失败(即满足某种条件此标记才生效,否则正常执行),值为布尔值或字符串,默认为True
,注意,当值为布尔值时必须传递reason
参数。
import pytest
version = 3.0
@pytest.mark.xfail(version==3.0, reason="判断只有3.0版本才会才会失败")
def test_1():
print("测试函数1")
@pytest.mark.xfail(version>3.0, reason="判断只有3.0版本才会才会失败")
def test_2():
print("测试函数2")
@pytest.mark.xfail("version==3.0")
def test_3():
print("测试函数3")
"""
执行结果
mark/xfail/xfail_condition.py::test_1 测试函数1
XPASS (判断只有3.0版本才会才会失败)
mark/xfail/xfail_condition.py::test_2 测试函数2
PASSED
mark/xfail/xfail_condition.py::test_3 测试函数3
XPASS (condition: version==3.0)
"""
reason
:说明用例标记为预期失败的原因,默认为None
raises
:指定单个异常或异常元组,期望抛出这些异常- 如果用例失败不是因为指定的这些异常,则执行结果标记为
failed
- 如果用例失败因为指定的这些异常,则执行结果标记为
xfailed
- 如果用例失败不是因为指定的这些异常,则执行结果标记为
import pytest
@pytest.mark.xfail(raises=ZeroDivisionError)
def test_1():
res = 21 / 0
@pytest.mark.xfail(raises=(ValueError, IndexError))
def test_2():
res = 21 / 0
"""
执行结果
mark/xfail/xfail_raises.py::test_1 XFAIL
mark/xfail/xfail_raises.py::test_2 FAILED
================================================================== FAILURES ===================================================================
___________________________________________________________________ test_2 ____________________________________________________________________
@pytest.mark.xfail(raises=(ValueError, IndexError))
def test_2():
> res = 21 / 0
E ZeroDivisionError: division by zero
mark/xfail/xfail_raises.py:15: ZeroDivisionError
=========================================================== short test summary info ===========================================================
FAILED mark/xfail/xfail_raises.py::test_2 - ZeroDivisionError: division by zero
"""
run
:标识是否执行此用例,若为True
则执行,否则直接标记为xfail
,默认为True
strict
:若为True
,如果测试用例xpass
则执行结果为failed
,默认为False
。也可以全局配置,在pytest.ini
中添加一条xfail_strict=True
即可。
import pytest
@pytest.mark.xfail(strict=True)
def test_1():
print("预期失败,结果成功")
assert True
@pytest.mark.xfail(strict=True)
def test_2():
print("预期失败,结果失败")
assert False
"""
执行结果
mark/xfail/xfail_strict.py::test_1 预期失败,结果成功
FAILED
mark/xfail/xfail_strict.py::test_2 预期失败,结果失败
XFAIL
"""
(二)使用pytest.xfail(reason)函数标记预期失败
当无法评估是否预期失败或不想在模块级别检查条件的情况时,可以根据情况在测试函数使用pytest.xfail(reason)
进行强制预期失败的标记。类似于循环的break
。
import pytest
def test_fuction():
try:
with open("config.ini") as f:
pass
except Exception as e:
pytest.xfail("读取配置文件失败,预期失败")
def test_fuction2():
for i in range(10):
if i == 3:
pytest.xfail("强制预期失败")
print(f"数值{i}")
"""
执行结果
mark/xfail/pytest_xfail.py::test_fuction XFAIL (读取配置文件失败,预期失败)
mark/xfail/pytest_xfail.py::test_fuction2 数值0
数值1
数值2
XFAIL (强制预期失败)
"""
(三)示例
import pytest
# 预期失败,结果失败
@pytest.mark.xfail(True, reason="预期失败")
def test_1():
print("预期失败,结果失败")
assert False
# 预期失败,结果成功
@pytest.mark.xfail(True, reason="预期失败")
def test_2():
print("预期失败,结果成功")
assert True
# 不预期失败,结果失败
@pytest.mark.xfail(False, reason="不预期失败")
def test_3():
print("不预期失败,结果失败")
assert False
# 不预期失败,结果成功
@pytest.mark.xfail(False, reason="不预期失败")
def test_4():
print("不预期失败,结果成功")
assert True
"""
执行结果
mark/xfail/xfail.py::test_1 预期失败,结果失败
XFAIL (预期失败)
mark/xfail/xfail.py::test_2 预期失败,结果成功
XPASS (预期失败)
mark/xfail/xfail.py::test_3 不预期失败,结果失败
FAILED
mark/xfail/xfail.py::test_4 不预期失败,结果成功
PASSED
"""
(四)忽略xfail标识
命令:pytest --runxfail
,在执行时添加--runxfail
参数可以将所有预期失败标记忽略
import pytest
@pytest.mark.xfail
def test_1():
assert False
@pytest.mark.xfail
def test_2():
assert True
"""
执行结果
mark/xfail/ignore_xfail.py::test_1 FAILED
mark/xfail/ignore_xfail.py::test_2 PASSED
"""
(五)xfail总结
- 如果
@pytest.mark.xfail
不添加任何参数,那么测试结果为xpass
或xfail
condition
值用于判断xfail
标记是否生效,如果生效则测试结果为xfail
或xpass
,否则为failed
或passed
- 如果测试失败的原因在
raises
中,则标记为xfailed
,否则标记为failed
- 如果设置了
strict=True
,则当执行结果为xpass
时,测试结果为failed
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Pytest框架 — 10、Pytest的标记(一)(跳过和预期失败) - Python技术站