欢迎来到 Dotnet 工具箱！在这里，你可以发现各种令人惊喜的开源项目！
Abot
在 .NET 技术栈中，如果你需要一个高性能、可扩展、不过度设计的网页爬虫框架，Abot 是一个绕不开的选择。它是一个开源的 C# Web Crawler Framework，核心目标只有两个：快，以及足够灵活。
Abot 把复杂、繁琐的底层工作全部包揽下来，比如多线程调度、HTTP 请求、链接解析、抓取策略控制等，而开发者只需要通过事件或接口，专注于“页面抓下来之后我想干什么”。
核心特点一览：为什么选择 Abot？
🚀 快，而且是真的快
Abot 天生为并发和高吞吐而设计，内置线程管理与调度器，能够在保证“礼貌爬取”的前提下，最大化抓取效率。
🔧 高度可定制的可插拔架构
从是否抓取页面、是否下载内容、是否继续爬链接，到线程管理、调度器、HTTP 请求器、链接解析器，几乎所有关键行为都可以替换。
你可以：
-
用配置控制常见行为 -
用回调快速加规则 -
用接口实现完全接管爬虫逻辑
🧪 单元测试覆盖率高
Abot 不是“玩具型爬虫”，而是一个经过大量单元测试验证的工程化框架，适合长期维护的项目使用。
🪶 轻量、纯净、无外部依赖
-
不依赖数据库 -
不依赖外部服务 -
不需要额外进程
拿来即用，非常适合做 数据采集工具、搜索引擎原型、站点分析系统。
版本与兼容性说明
-
Abot ≥ 2.0 -
基于 .NET Standard 2.0 -
可运行在 .NET Framework / .NET Core / .NET 6+ 等环境 -
Abot < 2.0 -
面向 .NET Framework 4.0
这让 Abot 在老项目和新项目中都具备很强的适配能力。
快速上手：几分钟跑起来一个爬虫
1️⃣ 使用 NuGet 安装
Install-Package Abot
一个最简单的爬虫示例
var config = new CrawlConfiguration
{
MaxPagesToCrawl = 10,
MinCrawlDelayPerDomainMilliSeconds = 3000
};
var crawler = new PoliteWebCrawler(config);
crawler.PageCrawlCompleted += (s, e) =>
{
Console.WriteLine(e.CrawledPage.Uri);
};
await crawler.CrawlAsync(new Uri("https://example.com"));
不需要复杂配置，就能完成一个遵守 robots、支持并发、可监听事件的爬虫。
深度可定制的爬虫行为
🧠 爬取决策（CrawlDecision）
你可以通过委托快速决定：
这个页面要不要爬？
页面内容要不要下载？
页面里的链接还要不要继续爬？
crawler.ShouldCrawlPageDecisionMaker = (page, context) =>
{
if (page.Uri.Authority.Contains("google.com"))
return new CrawlDecision { Allow = false };
return new CrawlDecision { Allow = true };
};
如果规则复杂？直接实现 ICrawlDecisionMaker 接口即可。