在搜索引擎优化(SEO)领域,关于必应(Bing)的公开信息相对较少。然而,许多前沿技术实际上早于Google在必应中应用。近期,必应首席项目经理Fabrice Canel向Kalicube创始人Jason Barnard分享了大量核心信息,深入解析了必应的运作机制及通用搜索引擎原理。
内容索引标准:实用性优先
Fabrice Canel负责Bingbot爬虫、URL发现与选择、文档处理及必应站长工具,是了解搜索引擎爬取逻辑的权威人士。他指出,必应对索引内容的筛选极为严格,并非网站所有页面都能获得排名机会。
必应首要索引的是“实用页面”。由于互联网URL数量无限,搜索引擎无法抓取所有内容,必须基于业务导向进行取舍,优先识别对微软必应用户最有价值的内容,而非盲目爬取如日历等可无限生成的无效页面。
Jason Barnard 的截图

关键域名与高质量内容发现
Fabrice提出了“关键域名”概念,即通过互联网上的核心页面引导发现高质量内容。这类似于一种结合受信任站点种子集的算法:站点距离关键网站越近,被判定为垃圾或无用内容的概率越低。
针对“网络上大多数内容是否无用”的疑问,Fabrice回应称,必应并非无休止地挖掘无用内容,而是由关键页面引导,通过链接关系定位高质量内容,从而保持索引的新鲜度与全面性。
深度抓取的触发机制
对于网站如何获得深度抓取,Fabrice表示这取决于网站主题的专业性与用户关注度。如果网站专注于有趣且客户关心的垂直领域,必应更倾向于深入挖掘其内容。
需要明确的是,决定是否深度抓取的是机器学习算法,而非人工偏好。机器没有情感或信任概念,其决策完全基于预设目标——即满足必应客户需求。因此,在创建内容时,运营者应思考如何让页面真正服务于访问者,而非迎合所谓的“搜索引擎喜好”。
传统抓取模式的局限与变革
现行的搜索引擎抓取模式已有近三十年历史,主要依赖定期访问网站“拉取”数据以检查更新。这种方式效率低下,因为搜索引擎需持续扫描整个已索引网络,即便页面未发生变化。
Fabrice指出,这种被动猜测变化时间的模型亟需改变。解决方案在于引入主动推送机制:网站所有者可通过API通知搜索引擎内容已更新,促使爬虫精准获取最新内容。这一转变标志着行业从反复爬取向高效发现的演进。
搜索理念的演进:从用户到客户
不同于Google强调的“用户”概念,必应引入了“客户”理念,衍生出“客户永远是对的”等服务准则。正如史蒂夫·乔布斯所言,创新不能仅靠询问客户想要什么,因为当产品建成时,需求可能已经改变。这也解释了为何必应推出IndexNow等技术,旨在超越传统问答式搜索,提供更前瞻性的服务。
搜索的未来:推送技术IndexNow
Bing推出的IndexNow是一种新型推送技术,允许出版商主动通知搜索引擎抓取新页面或更新内容。该技术不仅节省了托管和数据中心资源(电力与带宽),还解决了传统爬取模式的延迟问题,确保内容能被更快索引。

