17370845950

Go爬虫需关闭resp.Body并检查StatusCode；用http.Client设超时；解析HTML优先选golang.org/x/net/html；colly需限并发、设Header；反爬需分析响应头与JS行为。

用 net/http 发起 GET 请求时，别漏掉 resp.Body.Close()

不关闭响应体是 Go 爬虫最常踩的内存泄漏坑。每次 http.Get() 后，resp.Body 是一个未关闭的 io.ReadCloser，长期运行会耗尽文件描述符或内存。

• 必须在 defer resp.Body.Close() 前检查 resp.StatusCode，否则可能 panic：比如 404 或 500 时仍尝试读取 body
• 如果用 http.Client 自定义超时，记得设 Timeout 字段，否则默认无超时，请求卡住就阻塞整个 goroutine
• 简单场景用 http.Get() 没问题；需要复用连接、带 Cookie 或 Header 时，必须显式构造 http.Client 和 http.Request

client := &http.Client{
    Timeout: 10 * time.Second,
}
req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0")
resp, err := client.Do(req)
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close() // 必须放在这里，且在检
查 status 之后
if resp.StatusCode != http.StatusOK {
    log.Fatalf("HTTP %d", resp.StatusCode)
}

解析 HTML 优先选 golang.org/x/net/html，不是正则或 strings

用 strings.Contains() 或正则匹配 HTML 标签，在真实网页中基本不可靠：标签换行、属性顺序变化、自闭合写法（）、CDATA 段都会让匹配失败。

• golang.org/x/net/html 是 Go 官方维护的流式 HTML 解析器，符合 HTML5 规范，能处理乱序、嵌套、大小写混用等真实情况
• 不要一次性把整个 HTML 加载进内存再解析（比如用 io.ReadAll(resp.Body) + strings），对大页面浪费内存；应直接用 html.Parse() 接 resp.Body
• 遍历节点时注意区分 html.ElementNode 和 html.TextNode，文本内容藏在 TextNode 的 Data 字段里，不是 Attr

doc, err := html.Parse(resp.Body)
if err != nil {
    log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
    if n.Type == html.ElementNode && n.Data == "a" {
        for _, a := range n.Attr {
            if a.Key == "href" {
                fmt.Println(a.Val) // 提取链接
            }
        }
    }
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        f(c)
    }
}
f(doc)

提取结构化数据时，用 colly 比手写更稳，但得理解它怎么调度

colly 是 Go 生态中最成熟的爬虫框架，封装了请求队列、去重、并发控制和选择器（类似 jQuery）。但它不是“开箱即用就安全”，默认配置下容易被封或漏数据。

• 必须调用 c.Limit(&colly.LimitRule{DomainGlob: "*", Parallelism: 2}) 控制并发，否则默认无限并发，目标站可能拒绝连接
• c.OnHTML("div.title", ...) 回调里的 e.DOM 是 goquery.Selection，支持链式调用，但 e.ChildAttrs("a", "href") 这类方法只查直接子元素，深层嵌套需用 e.Find("a").Attr("href")
• Cookie、User-Agent、Referer 都要手动设置：用 c.WithTransport(&http.Transport{...}) 或 c.OnRequest(...) 注入 header

c := colly.NewCollector(
    colly.AllowedDomains("quotes.toscrape.com"),
)
c.WithTransport(&http.Transport{
    TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
})
c.OnRequest(func(r *colly.Request) {
    r.Headers.Set("User-Agent", "Mozilla/5.0 (compatible; Bot/1.0)")
})
c.OnHTML(".quote", func(e *colly.HTMLElement) {
    title := e.ChildText(".text")
    author := e.ChildText(".author")
    fmt.Printf("%s — %s\n", title, author)
})
c.Visit("https://quotes.toscrape.com/")

反爬绕过不是加个 User-Agent 就完事，重点看响应头和 JS 行为

很多站点返回 200 但 HTML 是空的，或者返回“请启用 JavaScript”，说明服务端做了 UA 检查、Cookie 验证、甚至执行了 JS 渲染逻辑。Go 原生 net/http 不执行 JS，无法解决后者。

• 先用 curl -I 或 Go 打印 resp.Header，检查是否含 Set-Cookie；若需登录态，后续请求必须携带该 cookie
• 检查 resp.Header.Get("Content-Type") 是否为 text/html；如果是 application/json，说明接口走的是 AJAX，直接请求 API 更高效
• 遇到 JS 渲染页（如 React/Vue SPA），colly 无解，得换 chromedp 或调用 Puppeteer；但代价是体积大、启动慢、资源占用高

真正难的不是写几行 http.Get，而是判断这个页面到底靠什么渲染、哪些字段必须从哪次请求里带出来、哪些 header 缺一不可——这些只能靠反复抓包、比对响应、看 network 面板来确认。