【C#】使用 WebRequest 、 WebResponse ,進行爬蟲、抓取網頁、網站資料

前言:

  在寫程式時,有的時候會需要直接使用網路上的資料,來進行資料分析,但我們有沒有辦法直接連進去他該網站的資料庫,這個時候我們只好抓取網頁,在將需要的網頁內容擷取出來,那在 C# 中,我們該如何實現網頁擷取呢? 那我們廢話不多說,直接來看範例吧!

範例程式:

1. 引入標頭擋

using System.IO;
using System.Net;

2. 宣告 Url、WebRequest

string kWebStr = "";
string url = @"https://masteryeeeeee.wordpress.com/";
WebRequest kRequest = WebRequest.Create (@url);
WebResponse kResponse;
StreamReader sr;

3. 選用模組

kRequest.Method = "GET";

4. 取得資料

try
{
    kResponse = kRequest.GetResponse ();
}
 catch
{
    return;
}

sr = new StreamReader (kResponse.GetResponseStream ());
kWebStr = sr.ReadToEnd ();

// 關閉 StreamReader 與 WebResponse
sr.Close();
kResponse.Close();

5. 印出網頁

Console.Write (kWebStr);

結果:

<html>
.
略
.
</html> 
<!--

     generated 139 seconds ago

     generated in 0.241 seconds

     served from batcache in 0.002 seconds

     expires in 161 seconds
 -->

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。

1 + 4 =