如何使用 SeleniumWebdriver 和 Python 通过滚动查找网页上的所有元素

2023年4月8日上午10:22 • Python开发

【问题标题】：How to find all elements on the webpage through scrolling using SeleniumWebdriver and Python如何使用 SeleniumWebdriver 和 Python 通过滚动查找网页上的所有元素
【发布时间】：2023-04-02 02:11:01
【问题描述】：

我似乎无法获取网页上的所有元素。不管我用硒尝试过什么。我确定我错过了一些东西。这是我的代码。该 url 至少有 30 个元素，但每当我抓取时只有 6 个元素返回。我错过了什么？

import requests
import webbrowser
import time
from bs4 import BeautifulSoup as bs
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import NoSuchElementException



headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}
url = 'https://www.adidas.com/us/men-shoes-new_arrivals'

res = requests.get(url, headers = headers)
page_soup = bs(res.text, "html.parser")


containers = page_soup.findAll("div", {"class": "gl-product-card-container show-variation-carousel"})


print(len(containers))
#for each container find shoe model
shoe_colors = []

for container in containers:
    if container.find("div", {'class': 'gl-product-card__reviews-number'}) is not None:
        shoe_model = container.div.div.img["title"]
        review = container.find('div', {'class':'gl-product-card__reviews-number'})
        review = int(review.text)



driver = webdriver.Chrome()
driver.get(url)
time.sleep(5)
shoe_prices = driver.find_elements_by_css_selector('.gl-price')

for price in shoe_prices:
    print(price.text)
print(len(shoe_prices))

【问题讨论】：

这似乎不是硒问题。
这正是我用来查找元素的方法。由于某种原因，当我运行我的脚本时，我无法找到 shoe_prices 中的所有元素
你使用 requests + bs，而不是 selenium，对吧？
是的，但是 requests + bs 无法访问使我导入 Selenium 的 span 标签。我使用 webdriver.Chrome() 帮助找到鞋子的价格。当我为所有元素运行我的 for 循环时，只显示 6 个价格。它应该是 30+ 的价格，我不知道我做错了什么。