自动语言重定向基于 `http_accept_language` 会严重阻碍搜索引擎抓取和索引多语言内容,导致页面未被索引并影响 seo 表现。本教程将解释此类重定向为何有害,并提出一个稳健的解决方案:用用户主动选择的语言切换提示取代自动重定向,从而同时提升 seo 和用户体验。
许多多语言网站为了提升用户体验,会根据用户的浏览器语言设置(通过 $_SERVER['HTTP_ACCEPT_LANGUAGE'] 请求头)进行自动的302重定向。例如,一个访问 example.com/fr/article123 的英语浏览器用户可能会被自动重定向到 example.com/article123(英文版)。虽然这看似方便了用户,但这种机制对搜索引擎优化(SEO)和实际用户体验带来了严重问题。
搜索引擎爬虫(如GoogleBot、Bingbot,以及Ahrefs等审计工具的爬虫)通常不携带持久化的Cookie,并且其请求头中的 HTTP_ACCEPT_LANGUAGE 往往默认为英语或其默认设置。当爬虫尝试访问一个特定语言版本的URL(例如 example.com/fr/article123)时,如果服务器检测到爬虫的浏览器语言与该页面的语言不符,就会触发302重定向,将其导向另一个语言版本(通常是默认语言,如英文)。
这导致以下问题:
尽管自动重定向旨在提升用户体验,但在某些情况下反而适得其反:
原始实现中的Cookie机制虽然尝试缓解了重复重定向的问题,但它并不能解决爬虫无法抓取的问题,因为爬虫通常不处理Cookie。
为了解决上述问题,最佳实践是移除基于 $_SERVER['HTTP_ACCEPT_LANGUAGE'] 的自动重定向。取而代之的是,提供一个明显且用户可控的语言选择机制。
核心思想: 不强制重定向,而是提供一个友好的提示,让用户自行决定是否切换语言。
实现方式:
移除自动重定向逻辑: 首先,删除或禁用网站中所有依赖于 $_SERVER['HTTP_ACCEPT_LANGUAGE'] 进行302重定向的代码。例如,以下PHP代码应被移除:
// 原始的自动重定向代码(应被移除或禁用)
function lang_redirect() {
if (isset($_COOKIE['lang_redirect']))
return;
global $lang, $requesturi;
$browserlang = getlang($_SERVER['HTTP_ACCEPT_LANGUAGE']);
$link = lang_translation_link($browserlang);
if (($browserlang != $lang) && ($link != ''))
header("Location: " . $link); // 这一行是导致问题的关键
header("Set-Cookie: lang_redirect=1; Max-Age=86400; Path=/; HttpOnly; SameSite=Lax");
}实施用户提示与语言切换: 在页面的显著位置(例如页面顶部或一个浮动通知栏)显示一个提示,告知用户可以切换到他们浏览器偏好的语言版本。
示例代码(HTML/JavaScript 概念):
您的浏览器偏好语言是 。您希望访问 版本吗?
注意事项:
x-default 用于指示当没有其他语言匹配时应显示的默认页面。
为了确保多语言网站能够被搜索引擎正确抓取和索引,并提供优质的用户体验,关键在于避免使用基于浏览器语言(HTTP_ACCEPT_LANGUAGE)的自动302重定向。相反,应采用用户主动选择的语言切换机制,并通过 hreflang 标签清晰地向搜索引擎指示各语言版本的对应关系。这种方法不仅能解决爬虫重定向循环的问题,还能赋予用户更大的控制权,从而全面优化网站的全球SEO表现和用户满意度。