用XPATH解析网页并抓取要的内容

最新推荐文章于 2025-04-24 16:30:00 发布
最新推荐文章于 2025-04-24 16:30:00 发布
阅读量1.6w 收藏 9
点赞数
分类专栏： Tools C# asp.net 文章标签： xpath html解析器

用XPATH解析网页并抓取要的内容

HTML解析器有很多种，最常用的是HtmlAgilityPack和SgmlReader(http://sourceforge.net/projects/dekiwiki/files/SgmlReader/)。


这里使用的是HtmlAgilityPack：

下载地址：http://htmlagilitypack.codeplex.com
也可以用nuget
To install HtmlAgilityPack, run the following command in the Package Manager Console
PM> Install-Package HtmlAgilityPack

同时官网提供了一个自动生成xpath路径的工具HAP Explorer。(http://htmlagilitypack.codeplex.com/downloads/get/120936)

关于XPATH表达式以及相关教程参见：http://blog.csdn.net/huwei2003/article/details/48338165

获取HTML的方式有很多种：

1.通过HttpWebRequest类可实现模拟登录并获取页面信息

2.用第三方控件模拟登录
如下：
1.实现模拟登录：

从http://code.google.com/p/autotester/downloads/list 下载AutoTesterLib.dll
在项目里添加AutoTesterLib.dll的引用.

代码如下：

    protected void Page_Load(object sender, EventArgs e)
    {
        string url = "http://rencai.baidu.com/user/login.jsp";
        TestSession ts = new HTMLTestSession();
        ts.Browser.Start(url);
　　　　//这里你可以用任意属性查找,比如name=1;type=password等等.用分号分隔.


        ts.Objects.TextBox("name=username").Input("用户名"); 
        ts.Objects.TextBox("name=password").Input("密码");
        ts.Objects.Button("type=submit").Click();
    }

3 分析网页内容
使用方法：
首先引用HtmlAgilityPack的DLL文件 using HtmlAgilityPack;


根据XPath提取内容的函数: 
/// <summary>
        /// 根据XPATH获取筛选的字符串
        /// </summary>
        /// <param name="content">需要提取HTML的内容</param>
        /// <param name="xpath">XPath表达式</param>
        /// <param name="separ">分隔符</param>
        /// <returns>提取后的内容</returns>
        public static string GetStrByXPath(string content, string xpath, string separ)
        {
            var doc1 = new HtmlDocument();
            doc1.LoadHtml(content);
            var repeatNodes = doc1.DocumentNode.SelectNodes(xpath);
            var text = "";
            //循环节点  
            foreach (var node in repeatNodes)
            {
                //text += node.InnerText + separ;
                text += node.InnerHtml + separ;
            }
        }


例如用 //div[@itemprop='articleBody'] 这个xpath可以抓取 http://news.sohu.com/20151029/n424555111.shtml 这个新闻的正文内容

一段例子代码

public async Task<News> NewsGathering(string newsUrl)
        {
            //获取网页所有内容
            var strContent = await HttpHelper.GetContentAsync(newsUrl, Encoding.UTF8);
            var title = "";
            var content = "";
            var pubTime = DateTime.Now;
            try
            {
                //取出标题，时间
				title = StrHelperUtil.GetStrByXPath(strContent, "//h1[@class='art_title_h1']", "");
                var strTime = StrHelperUtil.GetStrByXPath(strContent, "//time", "");
                strTime = StrHelperUtil.FormatHTML(strTime).Replace("\n","").Replace("\\n","");
                if (strTime.Length > 18)
                {
                    strTime = strTime.Substring(0, 17);
                    DateTime.TryParse(strTime, out pubTime);
                }
                //取出正文区内容
                content = StrHelperUtil.GetStrByXPath(strContent, "//section[@data-sudaclick='articleContent']", "");
                //利用正则去掉一些不要的内容
                content = Regex.Replace(content, "<h1 class=\"art_title_h1\">[\\s\\S]*?</h1>", "");
                content = Regex.Replace(content, "<time>[\\s\\S]*?</time>", "");
                content = Regex.Replace(content, "<aside>[\\s\\S]*?</aside>", "");
                content = Regex.Replace(content, "<script type=\"comos/ver\">[\\s\\S]*?</script>", "");
                content = Regex.Replace(content, "<section class=\"M_attitude\" data-pl=\"attitude\" data-sudaclick=\"attitude\">[\\s\\S]*?</section>", "");
                content = Regex.Replace(content, "<!--.*?-->", "");

                var news = new News
                {
                    Content = content,
                    Title = title,
                    PubDate = pubTime,
                    From = newsUrl
                };
                return news;
            }
            catch (Exception ex)
            {
                return null;
            }
            return null;
        }

解释：

1 content = Regex.Replace(content, "<time>[\\s\\S]*?</time>", ""); 这个是用正则替换<time>开头，</time>结尾的（含头尾tag 字符串 

<pre name="code" class="csharp">[\\s\\S]*? 这个是非贪婪匹配 如
<time>2015-9-10 12:25</time>afkjldkfkljkl<time>2015-10-11 11:25</time>

只会匹配 <time>2015-9-10 12:25</time> 和 <time>2015-10-11 11:25</time>
如果是这样 [\\s\\S]* 不要后面的?则是贪婪匹配 则匹配 <time>2015-9-10 12:25</time>afkjldkfkljkl<time>2015-10-11 11:25</time>

附上获取网页内容的类 

里面有些方法是多余的

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading.Tasks;
using System.Web;

namespace Net.Tools
{
    public class HttpHelper
    {
        /// <summary>
        /// 获取指定网页的内容
        /// </summary>
        /// <param name="strUrl">网页地址</param>
        /// <param name="encoder">网页编码格式</param>
        /// <returns>string</returns>
        public static string GetContent(string strUrl, Encoding encoder)
        {
            string strMsg = string.Empty;
            try
            {
                CookieContainer cc = new CookieContainer();
                //WebRequest request = WebRequest.Create(strUrl);
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(strUrl);

                //set request args
                request.Method = "Get";
                request.CookieContainer = cc;
                request.KeepAlive = true;

                //request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";
                request.ContentType = "text/html";

                //模拟goole浏览器访问
                request.UserAgent =
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36";
                //request.Referer = strUrl;
                //request.Headers.Add("x-requested-with:XMLHttpRequest");
                request.Headers.Add("x-requested-with:com.android.browser");
                request.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh-CN,zh;q=0.8,en;q=0.6,nl;q=0.4,zh-TW;q=0.2");
                //request.ContentLength = postdataByte.Length;  text/html; charset=utf-8
                request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
                request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip |
                                                 DecompressionMethods.None;
                //支持跳转页面，查询结果将是跳转后的页面
                request.AllowAutoRedirect = true;

                request.Headers.Add("Accept-Encoding", "gzip, deflate");
                if (request.Method == "POST")
                {
                    (request as HttpWebRequest).ContentType = "application/x-www-form-urlencoded";
                }

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();

                //StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
                StreamReader reader = new StreamReader(response.GetResponseStream(), encoder);

                strMsg = reader.ReadToEnd();
                // .\0为null，空字符，也是字符串结束标志
                strMsg = strMsg.Replace("\0", "");
                reader.Close();
                reader.Dispose();
                response.Close();
            }
            catch
            {
            }
            return strMsg;
        }

        public static async Task<string> GetContentAsync(string strUrl, Encoding encoder)
        {
            var strMsg = await Task.Run<string>(() =>
            {
                try
                {
                    #region

                    CookieContainer cc = new CookieContainer();
                    //WebRequest request = WebRequest.Create(strUrl);
                    HttpWebRequest request = (HttpWebRequest) WebRequest.Create(strUrl);

                    //set request args
                    request.Method = "Get";
                    request.CookieContainer = cc;
                    request.KeepAlive = true;

                    //request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";
                    request.ContentType = "text/html";

                    //模拟goole浏览器访问
                    request.UserAgent =
                        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36";
                    //request.Referer = strUrl;
                    //request.Headers.Add("x-requested-with:XMLHttpRequest");
                    request.Headers.Add("x-requested-with:com.android.browser");

                    request.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh-CN,zh;q=0.8,en;q=0.6,nl;q=0.4,zh-TW;q=0.2");
                    //request.ContentLength = postdataByte.Length;  text/html; charset=utf-8
                    request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
                    request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip |
                                                     DecompressionMethods.None;
                    //支持跳转页面，查询结果将是跳转后的页面
                    request.AllowAutoRedirect = true;

                    request.Headers.Add("Accept-Encoding", "gzip, deflate");
                    if (request.Method == "POST")
                    {
                        (request as HttpWebRequest).ContentType = "application/x-www-form-urlencoded";
                    }

                    HttpWebResponse response = (HttpWebResponse) request.GetResponse();

                    //StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
                    StreamReader reader = new StreamReader(response.GetResponseStream(), encoder);

                    var strcontent = reader.ReadToEnd();
                    // .\0为null，空字符，也是字符串结束标志
                    strcontent = strcontent.Replace("\0", "");
                    reader.Close();
                    reader.Dispose();
                    response.Close();
                    return strcontent;

                    #endregion
                }
                catch (Exception ex)
                {
                    return "";
                }
            });

            return strMsg;
        }
        public static async Task<string> GetContentByMobileAgentAsync(string strUrl, Encoding encoder)
        {
            var strMsg = await Task.Run<string>(() =>
            {
                try
                {
                    #region

                    CookieContainer cc = new CookieContainer();
                    //WebRequest request = WebRequest.Create(strUrl);
                    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(strUrl);

                    //set request args
                    request.Method = "Get";
                    request.CookieContainer = cc;
                    request.KeepAlive = true;

                    //request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";
                    request.ContentType = "text/html";

                    //模拟goole浏览器访问
                    request.UserAgent =
                        "CoolPad8750_CMCC_TD/1.0 Linux/3.4.5 Android/4.2.1 Release/06.31.2013 Browser/1.0 Profile/MIDP-1.0 Configuration/CLDC-1.0";
                    //request.Referer = strUrl;
                    //request.Headers.Add("x-requested-with:XMLHttpRequest");
                    request.Headers.Add("x-requested-with:com.android.browser");

                    request.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh-CN,zh;q=0.8,en;q=0.6,nl;q=0.4,zh-TW;q=0.2");
                    //request.ContentLength = postdataByte.Length;  text/html; charset=utf-8
                    request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
                    request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip |
                                                     DecompressionMethods.None;
                    //支持跳转页面，查询结果将是跳转后的页面
                    request.AllowAutoRedirect = true;

                    request.Headers.Add("Accept-Encoding", "gzip, deflate");
                    if (request.Method == "POST")
                    {
                        (request as HttpWebRequest).ContentType = "application/x-www-form-urlencoded";
                    }

                    HttpWebResponse response = (HttpWebResponse)request.GetResponse();

                    //StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
                    StreamReader reader = new StreamReader(response.GetResponseStream(), encoder);

                    var strcontent = reader.ReadToEnd();
                    // .\0为null，空字符，也是字符串结束标志
                    strcontent = strcontent.Replace("\0", "");
                    reader.Close();
                    reader.Dispose();
                    response.Close();
                    return strcontent;

                    #endregion
                }
                catch (Exception ex)
                {
                    return "";
                }
            });

            return strMsg;
        }
        public static string GetContent(string strUrl, Encoding encoder, CookieContainer cc)
        {
            string strMsg = string.Empty;
            try
            {
                //CookieContainer cc = new CookieContainer();
                //WebRequest request = WebRequest.Create(strUrl);
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(strUrl);

                //set request args
                request.Method = "Get";
                request.CookieContainer = cc;
                request.KeepAlive = true;

                //request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";
                request.ContentType = "text/html";

                //模拟goole浏览器访问
                request.UserAgent =
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36";
                //request.Referer = strUrl;
                request.Headers.Add("x-requested-with:XMLHttpRequest");
                request.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh-CN,zh;q=0.8,en;q=0.6,nl;q=0.4,zh-TW;q=0.2");
                //request.ContentLength = postdataByte.Length;  text/html; charset=utf-8
                request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
                request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip |
                                                 DecompressionMethods.None;
                //支持跳转页面，查询结果将是跳转后的页面
                request.AllowAutoRedirect = true;

                request.Headers.Add("Accept-Encoding", "gzip, deflate");
                if (request.Method == "POST")
                {
                    (request as HttpWebRequest).ContentType = "application/x-www-form-urlencoded";
                }

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();

                //StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
                StreamReader reader = new StreamReader(response.GetResponseStream(), encoder);

                strMsg = reader.ReadToEnd();
                // .\0为null，空字符，也是字符串结束标志
                strMsg = strMsg.Replace("\0", "");
                reader.Close();
                reader.Dispose();
                response.Close();
            }
            catch
            {
            }
            return strMsg;
        }
        /// <summary>
        /// 获取指定网页的内容
        /// </summary>
        /// <param name="strUrl">网页地址</param>
        /// <param name="encoder">网页编码格式,不指定null时将自动获取网页编码格式</param>
        /// <returns>string</returns>
        public static string GetContent2(string strUrl, Encoding encoder)
        {
            string strMsg = string.Empty;
            CookieContainer cc = new CookieContainer();
            //WebRequest request = WebRequest.Create(strUrl);
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(strUrl);

            //set request args
            request.Method = "Get";
            request.CookieContainer = cc;
            request.KeepAlive = true;
            //request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";
            request.ContentType = "text/html";
            //request.UserAgent = "Mozilla/5.0 (Windows NT 5.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1";
            request.UserAgent =
                "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36";
            request.Referer = strUrl;
            request.Headers.Add("x-requested-with:XMLHttpRequest");
            request.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh-CN,zh;q=0.8,en;q=0.6,nl;q=0.4,zh-TW;q=0.2");
            //request.ContentLength = postdataByte.Length;  text/html; charset=utf-8
            request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
            request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip |
                                             DecompressionMethods.None;
            //支持跳转页面，查询结果将是跳转后的页面
            request.AllowAutoRedirect = true;

            request.Headers.Add("Accept-Encoding", "gzip, deflate");
            if (request.Method == "POST")
            {
                (request as HttpWebRequest).ContentType = "application/x-www-form-urlencoded";
            }

            #region 获取数据

            using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
            {
                //从这里开始我们要无视编码了
                if (encoder == null)
                {
                    MemoryStream _stream = new MemoryStream();
                    response.GetResponseStream().CopyTo(_stream, 10240);
                    byte[] RawResponse = _stream.ToArray();
                    string temp = Encoding.Default.GetString(RawResponse, 0, RawResponse.Length);
                    //<meta(.*?)charset([\s]?)=[^>](.*?)>
                    Match meta = Regex.Match(temp, "<meta([^<]*)charset=([^<]*)[\"']",
                        RegexOptions.IgnoreCase | RegexOptions.Multiline);
                    string charter = (meta.Groups.Count > 2) ? meta.Groups[2].Value : string.Empty;
                    charter = charter.Replace("\"", string.Empty).Replace("'", string.Empty).Replace(";", string.Empty);
                    if (charter.Length > 0)
                    {
                        encoder = Encoding.GetEncoding(charter);
                    }
                    else
                    {
                        if (string.IsNullOrEmpty(response.CharacterSet))
                        {
                            encoder = Encoding.UTF8;
                        }
                        else
                        {
                            encoder = Encoding.GetEncoding(response.CharacterSet);
                        }
                    }
                    strMsg = encoder.GetString(RawResponse);
                }
                else
                {
                    //开始读取流并设置编码方式
                    using (StreamReader reader = new StreamReader(response.GetResponseStream(), encoder))
                    {
                        strMsg = reader.ReadToEnd();
                    }
                }
            }

            #endregion

            return strMsg.Replace("\0", "");
        }

        public static string PostLogin(string postData, string requestUrlString, ref CookieContainer cookie)
        {
            ASCIIEncoding encoding = new ASCIIEncoding();
            byte[] data = encoding.GetBytes(postData);
            //向服务端请求
            HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create(requestUrlString);
            myRequest.Method = "POST";
            myRequest.ContentType = "application/x-www-form-urlencoded";
            myRequest.ContentLength = data.Length;
            myRequest.CookieContainer = new CookieContainer();
            Stream newStream = myRequest.GetRequestStream();
            newStream.Write(data, 0, data.Length);
            newStream.Close();
            //将请求的结果发送给客户端(界面、应用)
            HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();
            cookie.Add(myResponse.Cookies);
            StreamReader reader = new StreamReader(myResponse.GetResponseStream(), Encoding.UTF8);
            return reader.ReadToEnd();
        }
    }
}


 

 

 

 

 

 
 

 

 

 


                

        

    

  



    



                



	

		

			

				
					
100天精通Python（爬虫篇）——第116天：利用lxml与Xpath解析提取网页数据

				
			

			

				

					努力让自己发光，对的人才能迎着光而来
				

				

					07-03
					
					2万+
					
				

			

		

		

			
				
一、爬虫提取网页数据的流程图
二、lxml库

    1. 下载安装
    2. 解析HTML网页

三、Xpath介绍

    1. 选取节点
    2. 谓语
    3. 选取未知节点
    4. 选取若干路径
    5. Chrome插件 XPath Helper安装使用
    6. Xpath实战..................

			
		

	



                

            
              



	

		

			

				
					
使用XPath抓取网页中的链接：Python爬虫入门与实战

				
			

			

				

					2201_76125261的博客
				

				

					01-19
					
					1336
					
				

			

		

		

			
				
与其他解析方法（如正则表达式、CSS选择器）相比，XPath在处理复杂结构时更具优势，特别是在抓取网页中的链接、图片、标题等元素时，XPath可以更直观地表达数据提取规则。XPath在网页抓取中的作用不可小觑，尤其是在抓取网页中的链接信息时，它提供了一种强大而方便的方式。我们将通过一个简单的实例，详细讲解XPath的基本使用方法，并展示如何在Python中实现一个完整的爬虫程序，抓取网页中的所有链接。希望通过本文的学习，你能够掌握如何使用Python爬虫抓取网页中的链接，并应用于实际项目中。

			
		

	



              


  
              

                


	

		

			

				
					
requests + xpath抓取网站内容

				
			

			

				

					小白_努力
				

				

					11-12
					
					1293
					
				

			

		

		

			
				
1.Requests

第三方的python HTTP库，其口号是“让HTTP服务人类（HTTP for Humans）”，功能丰富，接口简洁优雅，文档也很完备。支持python 2.6-3.5

安装

通过 pip 安装：

pip install requests

示例：

获取某个网页


import requests

r = requests.get('http://www.bai...

			
		

	





	

		

			

				
					
Request模块和Xpath

				
			

			

				

					小方的博客
				

				

					01-03
					
					632
					
				

			

		

		

			
				
requests模块
1、安装

Linux

sudo pip3 install requests


Windows


方法一
进入cmd命令行 ：python3 -m pip install requests
方法二
右键管理员进入cmd命令行 ：pip3 install requests

2、requests.get()

作用：向网站发起请求,并获取响应对象 res = requests.get(url,headers=headers,timeout = 10) # requests.post

			
		

	



		

			
		



	

		

			

				
					
【Python爬虫详解】第四篇：使用解析库提取网页数据——XPath

				
			

			

				

					Luck_ff的博客
				

				

					04-24
					
					2543
					
				

			

		

		

			
				
XPath (XML Path Language) 最初是为了在XML文档中进行导航而设计的语言，后来被广泛应用于HTML文档的解析。语法强大：可以通过简洁的表达式精确定位元素高效性能：通常比BeautifulSoup更快，特别是在处理大型文档时跨平台通用：几乎所有编程语言都有XPath的实现灵活性高：可以通过各种轴、谓词和函数构建复杂的选择条件在Python中，我们主要通过lxml库来使用XPath功能。XPath是一个强大的工具，特别适合处理结构复杂的HTML文档。平衡精确性和健壮性。

			
		

	





	

		

			

				
					
Javascript—XPATH技术解析XML

				
			

			

				

					Akk
				

				

					12-26
					
					6860
					
				

			

		

		

			
				
XML可扩展标记语言
通过javascript解析XML
XPATH技术

			
		

	





	

		

			

				
					
requests模块和XPath表达式

				
			

			

				

					GaGa的博客
				

				

					11-20
					
					316
					
				

			

		

		

			
				
requests模块和XPath表达式

			
		

	





	

		

			

				
					
python 页面script xpath_scrapy xpath如何获取源代码<script></script>里面的内容

				
			

			

				

					weixin_39706491的博客
				

				

					12-24
					
					1770
					
				

			

		

		

			
				
小弟被这个问题折腾几天了，实在搞不定啊。恳求大神出马了。网站：https://www.glprop.com.cn/net...我要获取这个网站里面的物流地址信息情况。可以直接通过查看源代码，发现内容都在xpath规则('//*[@id="shadow"]/script[5]/text()')里面如下部分网页源码展示var cities = [{"id":"312","name":"\u6606\u...

			
		

	





	

		

			

				
					
PHP xpath提取网页数据内容代码解析

				
			

			

				

					10-15
				

			

		

		

			
				
示例代码展示了如何使用DOMDocument和DOMXpath来加载HTML内容并提取出特定元素的outerHTML、innerHTML等信息。其中，$dom变量是DOMDocument类的一个实例，通过调用loadHTML方法将HTML内容加载进去，然后使用...

			
		

	





	

		

			

				
					
网络爬虫与数据采集-Java微内核插件架构-XPath解析多线程爬虫-用于灵活高效地抓取解析各类网页数据并转换为业务数据无需编写代码只需简单配置即可实现复杂网页内容的自动化采集与结.zip

					
最新发布

				
			

			

				

					05-08
				

			

		

		

			
				
在网络爬虫与数据采集领域，Java微内核插件架构与XPath解析技术结合的多线程爬虫系统为高效自动化采集网页内容提供了强有力的解决方案。这种爬虫系统的设计理念基于对复杂网页内容进行灵活高效的抓取和解析，并且...

			
		

	





	

		

			

				
					
java读取html的全部xpath,Java - XPath解析爬取内容

				
			

			

				

					weixin_35948011的博客
				

				

					06-28
					
					816
					
				

			

		

		

			
				
所需引入jar包：https://jsoup.org/packages/jsoup-1.13.1.jarorg.jsoupjsoup1.13.1java代码importorg.jsoup.Jsoup;1.搜索词的地址采用模拟地址方法(通过分析搜索引擎的参数得到，如百度)，然后将搜索词加到模拟的地址中。2.函数的输入参数是模拟地址。String query = URLEncoder.encode(...

			
		

	





	

		

			

				
					
XPathUtil,根据Xpath解析xml文件

				
			

			

				

					01-15
				

			

		

		

			
				
根据xmlPath路径,找到对应的xml文件,进行解析!之前找了好多感觉和自己的需求不太一样,这个可以根据Xpath解析出来xml里所有的信息,十分好用
举个例子
 xmlPath = "E://upload/xml/1580242.163.xml";
  XPathUtil util = XPathUtil.newInstance(xmlPath);
   Product product = new Product();
  String title = util.getSingleValue("book/title");
  product.setTitle(title);
  String classification = util.getSingleValue("/book/info/classification");
   product.setFenlei(classification);
  String language = util.getSingleValue("/book/info/language");
   String yuYan = XPathUtil.LANUAGE_MAP.get(language);
      product.setYuYan(yuYan);
 String personname =util.getSingleValue("/book/info/authorgroup/author/personname");
 String role = util.getDomAttribute("/book/info/authorgroup/author", "role");
            String author = personname + " " + role;
            product.setAuthor(author);
 String personblurb = util.getSingleValue("/book/info/authorgroup/author/personblurb");
            product.setAuthorRemarks(personblurb);

			
		

	





	

		

			

				
					
HtmlAgilityPack中XPath怎么写

				
			

			

				

					
				

				

					07-14
					
					353
					
				

			

		

		

			
				
HtmlAgilityPack XPath 使用技巧

			
		

	





	

		

			

				
					
C# 网络爬虫+HtmlAgilityPack+Xpath+爬虫工具类的封装的使用

				
			

			

				

					qq_53679247的博客
				

				

					09-30
					
					3211
					
				

			

		

		

			
				
C# 网络爬虫+HtmlAgilityPack+Xpath的使用

			
		

	





	

		

			

				
					
通过HtmlAgilityPack插件和xpath解析html完成爬虫抓取数据

				
			

			

				

					qq_43196691的博客
				

				

					03-26
					
					284
					
				

			

		

		

			
				
通过HtmlAgilityPack插件和xpath解析html完成爬虫抓取数据
public static void GetData(string url, ref DataTable dt)
{
try
{
//WebClient获取Amazon的html会返回校验页面的html
//WebClient wc = new WebClient();
//string html = wc.Dow...

			
		

	





	

		

			

				
					
C# Xpath

				
			

			

				

					weixin_34221775的博客
				

				

					05-06
					
					208
					
				

			

		

		

			
				
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。XML 实例文档我们将在下面的例子中使用这个 XML 文档。<?xml version="1.0" encoding="ISO-8859-1"?><bookstore><book> <title lang="eng">...

			
		

	





	

		

			

				
					
innerHtml与innertext区别

				
			

			

				

					weixin_45072327的博客
				

				

					08-02
					
					178
					
				

			

		

		

			
				
innerHtml
innerHTML 属性设置或返回表格行的开始和结束标签之间的 HTML
innertext
innerText可获取或设置指定元素标签内的文本值，从该元素标签的起始位置到终止位置的全部文本内容(不包含html标签)。

...

			
		

	





	

		

			

				
					
记一个python scrapy爬取script标签中某个var变量的值

				
			

			

				

					Primer5
				

				

					05-04
					
					7095
					
				

			

		

		

			
				
app移动端没有后台数据，没办法自己写呗，凑合着用，日子凑合着过，慢慢开始爬虫了
这是一个 python scrapy项目，具体关于scrapy的知识自己扩展
首先来一张自己稍稍总结的导图：

代码不做过多解释
功能：获取动态申请数据的url
class HomeNewsSpidersSpider(scrapy.Spider):
    name = 'home_news_spiders'
   ...

			
		

	





	

		

			

				
					
python抓取script  VAR变量

				
			

			

				

					adai5210的博客
				

				

					07-29
					
					5516
					
				

			

		

		

			
				
因工作需要对一个脚本里的var变量进行提取，看了很多教程，安装了一堆的库lxml、bs4、json，后来发现都没有，最基本的re和requests就够了，先上var所在script 内容



			
		

	





	

		

			

				
					
xpath解析网页，并保存在html中

				
			

			

				

					04-03
				

			

		

		

			
				
### 使用 XPath 解析网页内容并保存为 HTML 文件的方法

要实现使用 XPath 解析网页内容并将结果存储为 HTML 文件，可以按照以下方法完成：

#### 1. 安装必要的库
为了处理 HTML 和 XML 数据，通常会使用 `lxml` 库。该库支持 XPath 表达式的解析和提取功能[^3]。

可以通过 pip 命令安装此库：
```bash
pip install lxml
```

---

#### 2. 获取网页内容
首先需要从目标网站抓取 HTML 页面的内容。这一步可以通过发送 HTTP 请求来完成，例如使用 Python 的 `requests` 库获取页面源码。

示例代码如下：
```python
import requests

url = 'https://example.com'  # 替换为目标网址
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
else:
    raise Exception(f"Failed to retrieve the page: {response.status_code}")
```

---

#### 3. 创建可解析的对象
将获取到的 HTML 内容转换成可供 XPath 查询的数据结构。这里可以借助 `lxml.etree.HTML()` 方法创建一个解析对象[^1]。

示例代码如下：
```python
from lxml import etree

# 转换成可解析的层级对象
tree = etree.HTML(html_content)
```

---

#### 4. 使用 XPath 提取所需数据
通过定义合适的 XPath 表达式，可以从 HTML 中精确地定位所需的节点或属性。以下是几个常见的 XPath 示例：

- **提取所有链接**：  
  ```xpath
  //a/@href
  ```

- **按 ID 查找元素**：  
  ```xpath
  //*[@id="element_id"]
  ```

- **查找具有特定类名的元素**：  
  ```xpath
  //div[contains(@class, "classname")]
  ```

假设我们希望提取某个表格中的所有单元格内容，则可以编写如下代码：
```python
table_data = tree.xpath('//table//td/text()')
print(table_data)
```

对于更复杂的场景，还可以结合变量动态构建表达式[^4]。

---

#### 5. 构建新的 HTML 结构
如果仅需保留部分原始内容或将某些字段替换掉，那么可以根据需求重新组装一个新的 HTML 片段。比如下面的例子展示了如何生成一段简单的列表形式的结果页：
```python
new_html = '<ul>\n'
for item in table_data[:5]:  # 取前五个作为例子展示
    new_html += f'<li>{item.strip()}</li>\n'

new_html += '</ul>'
```

最终得到的是自定义格式化的字符串表示的新版布局。

---

#### 6. 存储为本地文件
最后一步就是把修改后的 HTML 输出至磁盘上的实际文档当中去。利用内置 open 函数即可轻松达成目的。
```python
output_file_path = './result.html'

with open(output_file_path, mode='w', encoding='utf-8') as file_obj:
    file_obj.write(new_html)
    
print(f'Saved successfully at path: {output_file_path}')
```

这样就完成了整个流程——从网络请求开始直到形成独立存档为止的一系列操作过程概述完毕！

---

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值