Jsoup爬虫学习笔记

最新推荐文章于 2025-06-01 12:58:03 发布

木羽丶

最新推荐文章于 2025-06-01 12:58:03 发布

阅读量201

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： java

本文链接：https://blog.csdn.net/qq_41615959/article/details/112587140

爬虫专栏收录该内容

2 篇文章

订阅专栏

博客围绕Jsoup展开，提及了pom.xml和Java代码。指出部分版本的Url不支持中文解析，原因是编码格式问题，推测编码格式为IOS - …。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#Jsoup

pom.xml

<!--jsoup解析网页-->
        <!--如果想爬一些电影音乐，可以学tika-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.2</version>
        </dependency>

java代码

//本次实验对象以京东为例
//key是要搜索的关键字
public List<Content> queryKey(String key){
		List<Content> list = new ArrayList<Content>();
		//获得请求   https://search.jd.com/Search?keyword=java
		//前提，需要联网！ ajax获取不到
		String url = "https://search.jd.com/Search?keyword="+key;
		//解析网页 Jsoup返回Document就是浏览器Document对象
		Document document = null;
		try {
			document = Jsoup.parse(new URL(url), 30000);
		} catch (IOException e) {
			e.printStackTrace();
		}
		//所有你在js中可以使用的方法这里都可以使用
		Element element = document.getElementById("J_goodsList");
		Elements lis = element.getElementsByTag("li");
		for (Element li : lis) {
			//关于图片特别多的网站，所有的图片都是延迟加载的
			//放在了source-data-lazy-img中
			String img = li.getElementsByTag("img").eq(0).attr("data-lazy-img");
			String price = li.getElementsByClass("p-price").text();
			String name = li.getElementsByClass("p-name").text();
			Content content = new Content();
			content.setImg(img);
			content.setName(name);
			content.setPrice(price);
			list.add(content);
		}
		return list;
	}