sogou

ASP.NET 抓取网页内容－文字

作者：vkvi 来源：千一网络（原创） 时间：2007-8-13
ezj - 驱动 JavaScript!

ASP.NET 中抓取网页内容是非常方便的，而其中更是解决了 ASP 中困扰我们的编码问题。

需要三个类：WebRequest、WebResponse、StreamReader。

WebRequest、WebResponse 的名称空间是：

System.Net

StreamReader 的名称空间是：

System.IO

核心代码

WebRequest request = WebRequest.Create("http://www.cftea.com/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
  • WebRequest 类的 Create 为静态方法，参数为要抓取的网页的网址；
  • Encoding 指定编码，Encoding 中有属性 ASCII、UTF32、UTF8 等全球通用的编码，但没有 gb2312 这个编码属性，所以我们使用 GetEncoding 获得 gb2312 编码。

示例

<%@ Page Language="C#" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<script runat="server">
    void Page_Load(object sender, EventArgs e)
    {
        try
        {
            WebRequest request = WebRequest.Create("http://www.cftea.com/");
            WebResponse response = request.GetResponse();
            StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
            
            tb.Text = reader.ReadToEnd();
            
            reader.Close();
            reader.Dispose();
            response.Close();
        }
        catch (Exception ex)
        {
            tb.Text = ex.Message;
        }
    }
</script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
    <title>抓取网页内容 - 千一网络</title>
</head>
<body>
    <form id="form1" runat="server">
    <div>
    <asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox>
    </div>
    </form>
</body>
</html>

相关阅读

订阅千一，精彩随你。

  • 订阅到 Google
  • 订阅到 QQ 邮箱
  • 订阅到有道
  • 订阅到雅虎
  • 订阅到鲜果
  • 订阅到抓虾
  • 订阅到哪吒
  • 订阅到九点
  • 订阅到 bloglines
  • 订阅到 newsgator
文章评论
  • 评论
    文章简洁而明了，一个很好网站！贴子也很好
  • 路人甲
    同意，文章做的非常漂亮。
    非常具有实际意义。
  • 评论
    同意，这么好的网站今天才发现！
  • 评论
    编码有问题，如果不是gb2312编码的网页，得到的就是乱码
标题：必填
内容：
请您投票

给文章打分，表达您的观点。
专题
  • 一句话代码 XPath
  • 转换 随机数
在线工具
站内推荐
栏目最新
栏目最热