本文介绍在 webscraper.io 中实现自动填写搜索框与触发下拉菜单选择的操作方法,包括 selectorelementclick 配置技巧、实际 json 代码示例及替代方案建议,助你高效抓取 alberta 地区脊医列表。
WebScraper.io 是一款功能强大的浏览器扩展型爬虫工具,适用于结构化网页的可视化采集,但其原生能力不支持直接模拟键盘输入(如 typing into a text field)或动态交互式表单提交。不过,它提供了 SelectorElementClick 类型选择器,可模拟真实点击行为——这正是解决你问题的关键突破口。
目标网站
由于 WebScraper 无法执行 .sendKeys() 类操作,我们应优先检查该页面是否支持URL 参数驱动筛选(例如 ?city=Edmonton&radius=25),或是否存在静态可点击的区域链接/筛选卡片(如“Edmonton”、“Calgary”等城市标签)。若存在,推荐优先使用 URL 参数 + 分页组合方式,最稳定可靠。
若必须通过表单交互,则需借助 SelectorElementClick 模拟点击已渲染的
{
"id": "select-radius-25km",
"parentSelectors": ["_root"],
"type": "SelectorElementClick",
"clickActionType": "real",
"clickElementSelector": "select[name='radius'] option[value='25']",
"clickElementUniquenessType": "uniqueCSSSelector",
"clickType": "clickOnce",
"delay": 1500,
"discardInitialElements": "do-not-discard",
"multiple": false,
"selector": "body"
}⚠️ 注意事项:
对于需要强交互的场景(如输入+回车+等待 AJAX 加载+翻页),建议迁移到 Playwright(Python),代码简洁且稳定性高:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_pa
ge()
page.goto("https://chiropractic.ca/find-a-chiro/alberta/")
# 输入城市
page.fill("#search-city", "Edmonton")
# 选择半径(支持 value/text 多种方式)
page.select_option("select[name='radius']", value="25")
# 触发搜索(可能为按钮或回车)
page.press("#search-city", "Enter")
# 等待结果加载
page.wait_for_selector(".chiropractor-list-item", timeout=10000)
# 提取数据(示例)
chiropractors = page.eval_on_selector_all(
".chiropractor-list-item",
"els => els.map(el => ({name: el.querySelector('h3')?.innerText, phone: el.querySelector('.phone')?.innerText}))"
)
print(chiropractors)? 小结:WebScraper.io 适合静态或简单交互页面;涉及输入框+下拉+异步加载的复合操作,建议转向 Playwright/Selenium。同时务必查阅 WebScraper 官方论坛 和 Dropdown Variation 教程视频,获取最新 selector 配置实践。