C#HttpHelper類

C#HttpHelper實現(xiàn)了C#HttpWebRequest抓取時無視編碼，無視證書，無視Cookie，并且實現(xiàn)的代理的功能，使用它您可以進行Get和Post請求，可以很方便 的設置Cookie，證書，代理，編碼問題您不用管，因為類會自動為您識別網(wǎng)頁的編碼。

這個類是我以前寫百度，Google，Soso，Sogou等網(wǎng)絡蜘蛛時使用的，經過上千萬個網(wǎng)站的測試，上萬個網(wǎng)站抓取的例子總結出來的，中間的方法也是我實驗了很久之后方案，所以大家可以放心使用。我不敢說100%，但是應該是99%的網(wǎng)站都沒有問題，都可以無視編碼，證書，和Cookie，如果你確實發(fā)現(xiàn)那個網(wǎng)站在使用本類過程中有問題，出現(xiàn)亂碼，或者是獲取不了，不能帶Cookie，不能帶證書等問題.

更新日志：

1.4正式版 更新
更新了很多高端問題，優(yōu)化的請求方式，是一個新技術跨越的版本

1.3正式版更新 
本次主要是修復了一些測試版本中的問題，大家可以放心使用

1.3測試版更新
本來對類的結構進行的重大修改增加了返回參數(shù)，并添加了相應的Cookie幫助解析類，大家去看看吧

1.2正式版 更新 
與上個版本相比較只是增加了Header參數(shù)，可以直接輸入一些不能用屬性設置的請求參數(shù)，并對代碼結構進行的整改，是比較穩(wěn)定的一個版本。還加入了如何獲取圖片的方法

1.2測試版
本版本對Httphelper類的返回參數(shù)進行的修改，加入了HttpResult返回參數(shù)類。并對代理以及性能方面做了重要修改，比如（返回Byte類型，可傳入Byte類型，文件類型等等）

1.1正式版
本版本是最早的一版，只實現(xiàn)的解決編碼，證書等問題。不過也能滿足大部分人的使用了

在webBrowser中取Cookie的方法

在很多情況下我們會使用間進程的webBrowser去實現(xiàn)一些網(wǎng)頁的請求和抓去，這個時候有部分網(wǎng)頁是取不到Cookie的，那怎么辦呢？下面我提供一個方法，應該99%的都能取到，

//取當前webBrowser登錄后的Cookie值
[DllImport("wininet.dll", CharSet = CharSet.Auto, SetLastError = true)]
static extern bool InternetGetCookieEx(string pchURL, string pchCookieName, StringBuilder pchCookieData, ref int pcchCookieData, int dwFlags, object lpReserved);
//取出Cookie，當?shù)卿浐蟛拍苋?
private static string GetCookieString(string url)
{
// Determine the size of the cookie
int datasize = 256;
StringBuilder cookieData = new StringBuilder(datasize);
if (!InternetGetCookieEx(url, null, cookieData, ref datasize, 0x00002000, null))
{
if (datasize < 0)
return null;
// Allocate stringbuilder large enough to hold the cookie
cookieData = new StringBuilder(datasize);
if (!InternetGetCookieEx(url, null, cookieData, ref datasize, 0x00002000, null))
return null;
}
return cookieData.ToString();
}

去掉所有的Html代碼

普通瀏覽復制代碼
/// <summary>
/// 過濾html標簽
/// </summary>
/// <param name="strHtml">html的內容</param>
/// <returns></returns>
public static string StripHTML(string stringToStrip)
{
// paring using RegEx //
stringToStrip = Regex.Replace(stringToStrip, "</p(?:\\s*)>(?:\\s*)<p(?:\\s*)>", "\n\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);
stringToStrip = Regex.Replace(stringToStrip, "
", "\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);
stringToStrip = Regex.Replace(stringToStrip, "\"", "''", RegexOptions.IgnoreCase | RegexOptions.Compiled);
stringToStrip = StripHtmlXmlTags(stringToStrip);
return stringToStrip;
}
private static string StripHtmlXmlTags(string content)
{
return Regex.Replace(content, "<[^>]+>", "", RegexOptions.IgnoreCase | RegexOptions.Compiled);
}

方法如上面所示直接調用StripHTML方法就行了
4.設置URl格式的問題
普通瀏覽復制代碼
public static string URLDecode(string text)
{
return HttpUtility.UrlDecode(text, Encoding.Default);
}
public static string URLEncode(string text)
{
return HttpUtility.UrlEncode(text, Encoding.Default);
}

方法也是直接調用就行了一個加密一個解密大家可以直接使用