前段时间有个需求,需要实现打开某个页面,在修改页面前截取图片保存留底。在github找了两个开源软件方案,一个是PuppeteerSharp另外一个是Selenium.WebDriver。两者都是可以实现无头模式的网页抓取工具,使用也非常简单。下面介绍这两个开源的组件以及他们抓取图片的案例。
1、PuppeteerSharp
PuppeteerSharp 是一个用于在 .NET 平台上控制无头(Headless) Chrome 浏览器的库。它允许开发者通过编程方式模拟浏览器行为,执行网页操作,截取网页截图,获取网页内容,可以把网页转换成PDF等等。PuppeteerSharp 是 Puppeteer 在 .NET 环境中的等效实现,Puppeteer 是由 Google 提供的一个用于控制无界面浏览器 Chrome 的工具。.
抓取网页图片案例
//初始化浏览器await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultChromiumRevision);var browser = await Puppeteer.LaunchAsync(new LaunchOptions{Headless = true//是否隐藏浏览器,true为隐藏});// 创建一个页面对象var page = await browser.NewPageAsync();// 导航到指定的URLawait page.GoToAsync("https://www.baidu.com");//截图 FullPage是全屏await page.ScreenshotAsync("test001.png",new ScreenshotOptions() { FullPage=true });
2、Selenium.WebDriver
Selenium.WebDriver 是一个用于自动化浏览器操作的 .NET 库,它提供了一组 API,允许开发者模拟用户在浏览器中的行为,从而进行自动化测试、数据抓取、网页操作等操作。Selenium 是一个广泛使用的工具,用于自动化浏览器操作和测试,而 Selenium.WebDriver 是其在 .NET 平台上的一个实现。同时Selenium.WebDriver也支持无头模式。
抓取网页图片案例
public void WebDriverGetPic(){// 初始化 ChromeDrivervar chromeOptions = new ChromeOptions();chromeOptions.AddArgument("--headless"); // 使用无头模式,即不显示浏览器界面string currentDirectory = Environment.CurrentDirectory+ "\\selenium-manager\\windows\\";chromeOptions.BinaryLocation = "selenium-manager.exe";using (var driver = new ChromeDriver(chromeOptions)){// 要截取的网页的 URLvar url = "https://www.baidu.com"; // 替换为你想要截取的网页的 URL// 打开网页driver.Navigate().GoToUrl(url);// 等待网页加载完成System.Threading.Thread.Sleep(5000); // 这里等待 5 秒,你可以根据实际情况调整等待时间// 截取整个网页的截图var screenshot = ((ITakesScreenshot)driver).GetScreenshot();// 保存截图为文件screenshot.SaveAsFile("screenshot.png", ScreenshotImageFormat.Png);}}
结语
