17370845950

要从动态渲染的网页中可靠提取特定链接（如每个

以下是一个完整、健壮的实现示例：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

# 可选：无头模式（适合服务器环境）
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)

try:
    driver.get("https://example.com")  # 替换为目标网站 URL

    # 显式等待：等待所有匹配的  元素出现在 DOM 中（不需可点击，仅需存在）
    wait = WebDriverWait(driver, 25)  # 最长等待 25 秒
    link_elements = wait.until(
        EC.presence_of_all_elements_located((
            By.XPATH, 
            '//li//h4[@class="programme titles"]/a[@class="br-blocklink__link"]'
        ))
    )

    # 提取所有 href 属性，自动过滤 None 值（若某元素无 href，get_attribute 返回 None）
    href_list = [elem.get_attribute('href') for elem in link_elements if elem.get_attribute('href')]

    print(f"成功提取 {len(href_list)} 个有效链接：")
    for i, url in enumerate(href_list, 1):
        print(f"{i}. {url}")

    # ✅ 此时 href_list 即为可直接迭代的 Python 列表，例如：
    # for url in href_list:
    #     driver.get(url)
    #     # 进行详情页解析...

finally:
    driver.quit()

关键说明与注意事项：

• XPath 精准性：//li//h4[@class="programme titles"]/a[@class="br-blocklink__link"] 使用了 @class 的全值匹配，适用于 class 名固定且无动态拼接的场景。若实际 HTML 中 class 含多个值（如 class="programme titles featured"），建议改用 contains(@class, 'programme titles') 或更鲁棒的 CSS 选择器（如 li h4.programme.titles a.br-blocklink__link）。
• 显式等待优于 time.sleep()：presence_of_all_elements_located 确保元素已存在于 DOM，但不保证可见或可点击；如需进一步交互（如点击），应改用 element_to_be_clickable。
• 空 href 防御：get_attribute('href') 在元素无 href 属性时返回 None，代码中已通过 if elem.get_attribute('href') 过滤，避免无效链接混入结果。
• 异常处理建议：生产环境中应包裹 try/except 捕获 TimeoutException、NoSuchElementException 等，提升脚本健壮性。
• 性能提示：若页面含大量
• ，可考虑限制 XPath 范围（如添加父容器 ID）或分页加载，避免定位耗时过长。

通过该方法，你将获得一个纯净、可用的 href 字符串列表，无缝对接后续的多页面抓取、并发请求或数据持久化流程。