Hive UDF实现一个字符串解码函数

LuckyJune

2012-07-27

其实hive的udf 是比较容易实现的，只需要继承UDF,实现其evaluate（）方法，代码如下。

@Description(name = "decoder_url", value = "_FUNC_(url [,code][,count]) - decoder a URL from a String for count times using code as encoding scheme ", extended = ""
+ "if count is not given ,the url will be decoderd for 2 time,"

+ "if code is not given ,GBK is used") public class UDFDecoderUrl extends UDF { private String url = null; private int times = 2; private String code = "GBK"; public UDFDecoderUrl() { } public String evaluate(String urlStr, String srcCode, int count) { if (urlStr == null) { return null; } if (count <= 0) { return urlStr; } if (srcCode != null) { code = srcCode; } url = urlStr; times = count; for (int i = 0; i < times; i++) { url = decoder(url, code); } return url; } public String evaluate(String urlStr, String srcCode) { if (urlStr == null) { return null; } url = urlStr; code = srcCode; return evaluate(url, code,times); } public String evaluate(String urlStr, int count) { if (urlStr == null) { return null; } if (count <= 0) { return urlStr; } url = urlStr; times = count; return evaluate(url, code,times); } public String evaluate(String urlStr) { if (urlStr == null) { return null; } url = urlStr; return evaluate(url, code,times); } private String decoder(String urlStr, String code) { if (urlStr == null || code == null) { return null; } try { urlStr = URLDecoder.decode(urlStr, code); } catch (Exception e) { return null; } return urlStr; } }

在类中org.apache.Hadoop.hive.ql.exec.FunctionRegistry中添加

registerUDF("decoder_url", UDFDecoderUrl.class, false);

编译hive ,或者通过配置文件方式，让其读取，以后新加的函数配置到配置文件中一劳永逸。

上面的类UDFDecoderUrl需要打成jar包加载到hive中，需要再hive-site.xml配置如下加载jar包

<property>
<name>hive.aux.jars.path</name>
<value>file:///opt/hive/sohu/hive-udf-0.0.1.jar</value>
<description>These JAR file are available to all users for all jobs</description>
</property>

font 字符串函数 hive string class

安科网

Hive UDF实现一个字符串解码函数

LuckyJune

LuckyJune

相关推荐

win10家庭版找不到gpedit.msc的解决办法

Linux解压文件

VS Code + PlantUML实现跨平台设计

jackson gson

让数据处理更简单？百度EasyData推出首个高级智能数据清洗功能

总结一些，我在书写 CSS 的时候，经常犯的错误！

如何用Spring WebFlux构建Reactive REST API

css常用的简写技巧_css background简写、css border 简写、css font属性简写等

数据科学家、开发者的新神器 Amazon SageMaker正式上线中国区

雷林鹏分享：Apache POI字体/Fonts

虹软开放平台算法上新助力全面拓展人脸识别细分化场景

JQuery省市联动效果实现过程详解

代码（移动端rem初始化设置1rem=15px）

Blogs顶部添加欢迎信息

Markdown常用语法

JAVA数据结构与算法之数组与队列（二）

CSS之em、rem、px区别介绍

css动画 animation

CSS3（6）字体

Win10 19592快速预览版怎么手动更新？

LuckyJune