Java自动化-selenium_java selenium自动化-CSDN博客

本文链接：https://blog.csdn.net/hellwindy/article/details/130576996

本文介绍了Selenium作为Web自动化测试工具的用途，以及Jsoup在HTML解析和简单爬虫实现中的应用。同时，讨论了爬虫协议的重要性，并提供了使用Jsoup和Selenium进行网页数据提取的示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、准备

最近在学习写自动化控件，自动化脚本开发。可能会需要学到的知识，提前了解一下：
idea，maven，谷歌驱动，网络
个人建议使用maven自动导入，因为需要的依赖包确实不少。

<dependency>  
  <groupId>org.seleniumhq.selenium</groupId>  
  <artifactId>selenium-java</artifactId>  
  <version>3.4.0</version>  
</dependency>

二、selenium介绍

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，
Selenium可以直接运行在浏览器上，它支持所有主流的浏览器（包括
PhantomJS这些无界面的浏览器（2018年开发者说暂停开发，
chromedriver也可以实现同样的功能），可以接收指令，
让浏览器自动加载页面，获取需要的数据，甚至页面截屏。

三、什么是抓取技术

个人通俗的理解就是：模拟人的行为去各个网站溜达,点点按钮,查查数据,或者把看到的信息背回来。就像一只蜘蛛在一幢楼里不知疲倦地爬来爬去。

四、爬虫协议

路边的野花不要踩，如果你控制不住，你偏要踩，小心回家跪搓衣板。

那么爬虫也是一样，很多系统是很讨厌爬虫的，它们希望自己的业务数据不被窃取，而爬虫违背了它们利益。但并不是所有的网站都讨厌爬虫，因为很多网站做SEO，它们希望被搜索引擎收录，被爬虫主流搜索引擎的爬虫抓取。

比如： www.hao123.com ，我们观察它的爬虫协议( https://www.hao123.com/robots.txt ) 就能看出它允许部分（百度、谷歌、有道、搜狗、搜搜）等爬虫对他进行蹂躏。其他的爬虫它一律不允许。

User-agent: Baiduspider
Allow: /

User-agent: Baiduspider-image
Allow: /

User-agent: Baiduspider-video
Allow: /

User-agent: Baiduspider-news
Allow: /

User-agent: Googlebot
Allow: /

User-agent: MSNBot
Allow: /

User-agent: YoudaoBot
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: Sogou inst spider
Allow: /

User-agent: Sogou spider2
Allow: /

User-agent: Sogou blog
Allow: /

User-agent: Sogou News Spider
Allow: /

User-agent: Sogou Orion spider
Allow: /

User-agent: JikeSpider
Allow: /

User-agent: Sosospider
Allow: /

User-agent: *
Disallow: /

如何查看爬虫协议：在网站根域名下，一般会放一个robots.txt文件，文件中会清楚的描述哪些允许，哪些不允许。

五、Jsoup实现简单爬虫

Jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。

它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

总之，如果对HTML页面很了解的话，是可以很容易的用Jsoup来抓取页面的信息的。

1、分析页面元素

通过浏览器打开“开发者调试工具” 通过选择器审查页面元素，按照盒子模型思维分析页面元素信息，如下图所示：

页面元素定位路径：coolsites_wrapper->cool-row-> href

Jsoup 实现简单爬虫源代码入下：

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.helper.StringUtil;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

/**
 * Jsoup 实现
 */
public class Spider {
    static List<LinkEntity> stores = new ArrayList<>();
    public static void main(String[] args) {
        //1、与目标服务建立连接  
        Connection connection = Jsoup.connect("https://www.***.com/");
        connection.header("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36");
        try {
            // 2、执行请求、解析结果  
            Document document = connection.get();
            Element element = document.getElementById("coolsites_wrapper");
            // 3、定位到->"酷站列表"  
            Elements elements = element.getElementsByClass("cool-row");
            Iterator iterator = elements.iterator();
            while (iterator.hasNext()) {
                Element ulElement = (Element) iterator.next();
                // 4、获取当前盒子模型下<a>标签列表  
                Elements links = ulElement.getElementsByTag("a");
                Iterator iteratorLinks = links.iterator();
                // 5、迭代遍历超链接列表  
                while (iteratorLinks.hasNext()) {
                    Element items = (Element) iteratorLinks.next();
                    String text = items.text();
                    String attribute = items.select("a").attr("href");
                    if (StringUtil.isBlank(attribute) || StringUtil.isBlank(text)) {
                        continue;
                    }
                    stores.add(new LinkEntity(text, attribute));
                }
            }
            // 6、遍历爬取的结果（此处只做演示，不做任何存储操作）  
            stores.parallelStream().forEach(item -> {
                System.out.println(item.getName() + " -> " + item.getUrl());
            });
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

class LinkEntity {
    private String name;
    private String url;
    public LinkEntity(String name, String url) {
        this.name = name;
        this.url = url;
    }
    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public String getUrl() {
        return url;
    }
    public void setUrl(String url) {
        this.url = url;
    }
}

2、Jsoup爬虫技术实现思路

①、得到自己想要爬取数据的url，与服务器建立链接

②、通过Jsoup的jar包中的方法将Html解析成Document

③、使用Document中的一些列get、first、children等方法获取自己想要的数据，如图片地址、名称、时间。

④、将得到的数据封装成自己的实体类。将实体中的数据在页面加载出来。

3、Jsoup爬虫框架的不足

只有html元素有的情况下，才能通过jsoup来爬虫，如果是这接口获得的数据，那么通过jsoup是无法获取到的。

六、Selenium自动化测试+爬虫

Selenium 是一款自动化测试框架，支持多种主流的开发，对各种开发语言提供了丰富的API，通过API你可以快速定位页面元素，模拟用户点击，滑动，翻页，截屏等一系列操作。

它可模拟用户真实操作行为，并且是基于真实浏览器运行环境，所以在自动化测试中受到了很多测试同学的青睐。

Selenium 实现自动化测试源代码入下：

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import java.util.List;
import java.util.concurrent.TimeUnit;
/**
 * 使用Java+Selenium 自动框架实现
 */
public class SeleniumSpider {
    private static ChromeOptions initChromeOptions(){
        ChromeOptions options = new ChromeOptions();  
        /* 
            // 启动时自动最大化窗口 
            options.addArguments("--start-maximized"); 
            // 禁用阻止弹出窗口 
            options.addArguments("--disable-popup-blocking"); 
            // 启动无沙盒模式运行 
            options.addArguments("no-sandbox"); 
            // 禁用扩展 
            options.addArguments("disable-extensions"); 
            // 默认浏览器检查 
            options.addArguments("no-default-browser-check"); 
            // 设置chrome 无头模式 
            options.setHeadless(Boolean.TRUE); 
            //不用打开图形界面。 
            options.addArguments("--headless"); 
        */
        options.setBinary("C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe");
        return options;
    }
    private static WebDriver initWebDriver (ChromeOptions options){
        WebDriver webDriver = new ChromeDriver(options);
        webDriver.manage().window().maximize();
        webDriver.manage().timeouts().implicitlyWait(10,TimeUnit.SECONDS);
        return webDriver;
    }
    public static void main(String [] args){
        // 1、设置chrome浏览器驱动  
        System.setProperty("webdriver.chrome.driver", "D:\\tools\\chromedriver_win32\\chromedriver.exe");
        // 2、设置ChromeOptions  
        ChromeOptions chromeOptions= initChromeOptions();
        // 3、初始化一个浏览器实例  
        WebDriver webDriver= initWebDriver(chromeOptions);
        // 4、加载网页程序（某度）  
        webDriver.get("https://image.baidu.com");
        // 5、通过ID选择器定位输入框,并设置搜索关键字”帅哥“  
        webDriver.findElement(By.id("kw")).sendKeys("帅哥");
        // 6、通过Class类样式选择器定位,模拟点击事件并提交表单  
        webDriver.findElement(By.className("s_btn")).submit();
        // 7、加载第二个页面：展示搜索页面元素信息  
        WebElement webElement = webDriver.findElement(By.id("imgid"));
        // 8、定位搜索到所有图片元素  
        List<WebElement> imgs= webElement.findElements(By.className("imgbox"));
        // 9、异步获取图片地址  
        syncThread(imgs);
        // 10、模拟页面图片点击事件  
        imgs.forEach(images ->{
            images.click();
        });
    }
    public static void syncThread(List<WebElement> imgs){
        Thread thrad = new Thread(new myThread(imgs));
        thrad.start();
    }
}
class myThread implements Runnable {
    List<WebElement> imgs;
    public myThread(List<WebElement> imgs) {
        this.imgs = imgs;
    }
    @Override
    public void run() {
        imgs.forEach(images -> {
            WebElement currentImages = images.findElement(By.className("main_img"));
            String src = currentImages.getAttribute("src");
            System.out.println("图片地址：->" + src);
            //TODO  
        });
    }
}

Selenium 核心步骤如下：

1、下载对应版本驱动

2、安装浏览器产品，并定位至浏览器运行程序

#  Chrome各版本驱动的下载地址
http://chromedriver.storage.googleapis.com/index.html
#  Firefox浏览器对应各个版本驱动下载地址：
https://github.com/mozilla/geckodriver/releases/

3、设置chrome浏览器驱动

4、设置ChromeOptions

5、初始化一个浏览器实例

6、加载网页程序

7、通过ID选择器定位输入框,并设置搜索关键字”美女“

8、通过Class类样式选择器定位,模拟点击事件并提交表单

9、加载第二个页面：展示搜索页面元素信息

10、定位搜索到所有图片元素

11、异步获取图片地址

12、模拟页面图片点击事件