HIVE UDF编写之两个时间之内的工作日天数,自动去除节假日和添加调休日

因为提交UDF的时候,阿里云的MAXcompelet 不支持加载resource下的文件,故将节假日日期写入到list集合里面,这个UDF 产出的形式是
UDF_name(Start_time,End_time) 返回 工作日天数
入参日期格式为 : yyyy-MM-dd

首先编写日期遍历utils 工具类
package com.shnqin.udf.dev.util;

import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Date;
import java.util.List;

public class Timeiter {
//    public static void main(String[] args) {
//        System.out.println(getDays("2018-06-28", "2018-07-3"));
//    }

    /**
     * 获取两个日期之间的所有日期
     *
     * @param startTime
     *            开始日期
     * @param endTime
     *            结束日期
     * @return
     */
    public static List<String> getDays(String startTime, String endTime) {

        // 返回的日期集合
        List<String> days = new ArrayList<String>();

        DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd");
        try {
            Date start = dateFormat.parse(startTime);
            Date end = dateFormat.parse(endTime);

            Calendar tempStart = Calendar.getInstance();
            tempStart.setTime(start);

            Calendar tempEnd = Calendar.getInstance();
            tempEnd.setTime(end);
            tempEnd.add(Calendar.DATE, +1);// 日期加1(包含结束)
            while (tempStart.before(tempEnd)) {
                days.add(dateFormat.format(tempStart.getTime()));
                tempStart.add(Calendar.DAY_OF_YEAR, 1);
            }

        } catch (ParseException e) {
            e.printStackTrace();
        }

        return days;
    }
}

然后编写UDF主类

package com.shnqin.udf.dev;

import com.aliyun.odps.udf.UDF;
import com.shnqin.udf.dev.util.Timeiter;

import java.io.*;
import java.util.*;

public class WorkDay extends UDF {


    public String evaluate(String Start_date, String End_date) throws IOException {
        int sum = 0;
        List list01 = Timeiter.getDays(Start_date, End_date);
//        for(int i = 0; i < list01.size(); ++i) {
//        }
//        String path = ClassLoader.getSystemResource(" D:\\software\\idea\\work_place\\Date_toDate\\src\\main\\java\\com\\shnqin\\udf\\dev\\date").getPath();
//        String  path = String.valueOf(new File("D:\\software\\idea\\work_place\\Date_toDate\\src\\main\\resources\\date"));
//        String path= WorkDay.getClass().getClassLoader().getResourceAsStream("date");

//        Properties properties=new Properties();
//        String path=WorkDay.class.getResource("date").getPath();
//        InputStream in=new FileInputStream(path);
//        properties.load(in);
//        System.out.println(   properties.getProperty("path"));
//        String  path = String.valueOf(new File("D:\\software\\idea\\work_place\\Date_toDate\\src\\main\\resources\\date"));
//        File file = new File(path);
//        FileReader fr = new FileReader(file);
//        BufferedReader br = new BufferedReader(fr)
        List<String> list = new ArrayList();
        Map<String, String> map = new LinkedHashMap();

        String str = null;

//        while((str = br.readLine()) != null) {
//            list.add(str);
//        }
        list.add("2019-05-01,2");

        list.add("2020-12-31,0");

        System.out.println("Before" + list.size());

        for(int i = 0; i < list.size(); ++i) {
            String[] b = null;
            b = ((String)list.get(i)).split(",");
            map.put(b[0], b[1]);
        }

        Set<String> set = map.keySet();
        Iterator var19 = set.iterator();

        while(var19.hasNext()) {
            String c = (String)var19.next();

            for(int i = 0; i < list01.size(); ++i) {
                if (c.equals(list01.get(i)) && ((String)map.get(c)).equals("0")) {
                    System.out.println("A____" + c + "_____" + (String)map.get(c) + "______B____" + list01.get(i));
                    ++sum;
                }
            }
        }

        System.out.println("Work Day! " + sum);
        return String.valueOf(sum);
    }

//    public static void main(String[] args) {
//        WorkDay workDay =new WorkDay();
//        try {
//            System.out.println(workDay.evaluate("2020-05-01","2020-05-08"));
//        } catch (IOException e) {
//            e.printStackTrace();
//        }
//    }
}

这就可以了,如果阿里云UDF提交编写可以带静态文件就更好了,
顺便说一下,list集合里面的数据形式为
LIST (day,type)
type 有三种类型 :
0 为工作日
1 为周六周日
2 为节假日

源码地址:
链接:https://pan.baidu.com/s/1CzE-PnBK81znCcpP2eMziQ
提取码:6w8u
复制这段内容后打开百度网盘手机App,操作更方便哦

普通客户机需要添加对应版本jar包

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.1</version>
        </dependency>


        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>19.0</version>
        </dependency>
    </dependencies>
注册的时候
CREATE FUNCTION HelloUDF09 AS 'com.shnqin.udf.dev.WorkDay' USING JAR 'hdfs://min01:9000/udfs/jar66.jar';
注意点:
1.获取HDFS集群地址: hdfs getconf -confKey fs.default.name
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值