§ ITPOW >> 文档 >> ASP.NET >> 网络

作者：vkvi 来源：ITPOW（原创） 日期：2013-2-25

利用 WebClient、WebRequest 抓取网页时出现 403 禁止的错误，有些没报错，但抓下来是空白，有没有解决办法呢？

这是由于服务器或防火墙做了一定的限制，常见的限制是限制 UserAgent，由于抓取代码没有指定 UserAgent，就限制到了。

// WebClient 的 WebClient wc = new WebClient(); wc.Headers.Add(HttpRequestHeader.UserAgent, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"); wc.Encoding = System.Text.Encoding.GetEncoding("gbk"); string html = wc.DownloadString(url); // HttpWebRequest 的 HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create("http://127.0.0.1/index.htm"); //request.Headers.Add(HttpRequestHeader.Referer, "http://www.itpow.com/"); // 错误 //request.Headers[HttpRequestHeader.Referer] = "http://www.itpow.com/"; // 错误 request.Referer = "http://www.itpow.com/"; // 正确

终极解决办法是：利用模拟浏览器抓取，秒杀一切限制，那就是使用 WebBrowser 控件，并处理 DocumentCompleted 事件。

具体技术请参见：WebBrowser 的 Navigated、DocumentCompleted 使用及区别。