用Java写K站爬虫

背景

近些日子对java爬虫有兴趣，所以又做了一个K站的爬虫，只实现基础功能对请求头没有什么封装（初衷是爬些图片做壁纸），因为以前又做过D站的爬虫，所以这次就一起总结一下吧。

不放源码，想要的同学在git上找：https://github.com/Yan1less/MySpriders

梳理关系

写爬虫主要是逻辑梳理清楚，总站->输入检索标签->每个匹配的图片连接入队->挨个进入连接->获得图片src->下载。

逻辑是这么个逻辑，具体实现时有一些容易忘记的点，这里点名提一下吧

具体操作

    1.需要先通过HttpURLConnection类来获取到页面的代码（这个工具类网上到处都是）

    2.然后就是标准的素质三连（要硬说是干嘛的我觉得应该视为了符合Jsoup的筛选格式吧。。。？）

        String code = GetCode.GetPageCodeByUrl(url);
        Document document = Jsoup.parse(code);
        Elements select = document.select(".inner a");//里面内容的书写方法看下文

3.这是后我们拿到了关键的Elements对象，其通过get(int index).toString()方法来获得某一行的数据，并把它变成String（不然是Element对象）

  4.这个时候我们一般拿到的是整个标签，而我想要标签里面的一些连接，这时候就要用正则了

  5.一个十分好用的正则（想要href就把src换成href，不行在改变括号外面的东西，这一步完了之后就可以拿到一个能用的连接了）

    public static String getImgSrc(String img){
        String src = "";
        Pattern p = Pattern.compile("[\\s|\\S]* src=\"([^<]*)\" [\\s|\\S]*");
        Matcher m =p.matcher(img);
        if(m.matches()){
            src= m.group(1);
        }
        return src;
    }

 6.拿到连接就下载到本地，工具类也到处都是

关于Jsoup的选择器

    https://jsoup.org/apidocs/org/jsoup/select/Selector.html

  这个页面十分好用，不过这里也放一些常用的吧