推荐一个 .NET 分布式爬虫框架RuiJi.Net

RuiJi.Net 是一个可以分布式部署的爬虫框架，使用 C# 开发，项目的最终目的是可以对大量的网站进行自动更新检查及抓取。

RuiJi.Net 支持自管理Cookie,并且自动维护不同浏览器标识的Cookie，这意味着您可以在使用独立IP的基础上，虚拟出任意多的Cookie. RuiJi.Net 同样支持使用抓取服务器上的IP进行轮询抓取，并且也可以使用代理服务器。.

RuiJi.Net具有自己的抽取模型，称为RuiJi Expression（RuiJi表达式），您可以使用RuiJi表达式定义抽取模型，并对需要提取的元数据进行精确清洗。RuiJi 表达式可以存储为文本文档、数据库及高速缓存中。

使用本地 IP

var crawler = new RuiJiCrawler();
var request = new Request("https://www.baidu.com");
var response = crawler.Request(request);

使用指定 IP

var crawler = new RuiJiCrawler();
var request = new Request("https://www.baidu.com");
request.Ip = "192.168.31.196";
var response = crawler.Request(request);

使用代理

var crawler = new RuiJiCrawler();
var request = new Request("https://www.baidu.com");
request.Proxy = new RequestProxy("223.93.172.248", 3128);

var response = crawler.Request(request);

提取URL

var crawler = new RuiJiCrawler();
var request = new Request("https://www.oschina.net/blog");

var response = crawler.Request(request);
var content = response.Data.ToString();

var parser = new RuiJiParser();
var eb = parser.ParseExtract("css a.blog-title-link[href]\nexp https://my.oschina.net/*/blog/*");
var result = RuiJiExtractor.Extract(content, eb.Block);

提取标题

var crawler = new RuiJiCrawler();
var request = new Request("http://www.ruijihg.com/archives/category/tech/bigdata");

var response = crawler.Request(request);
var content = response.Data.ToString();

var parser = new RuiJiParser();
var eb = parser.ParseExtract(@"[tile]\ncss article:html

[meta]
#title
css .entry-header:text

#summary
css .entry-header + p:text
ex /Read more »/ -e");

var result = RuiJiExtractor.Extract(content, eb.Block);

https://github.com/zhupingqi/RuiJi.Net