1，技術背景

       在(zai)使用Hive的過程中，尤其(qi)是(shi)統(tong)計(ji)分(fen)(fen)析和(he)數(shu)據分(fen)(fen)層清(qing)晰(xi)的場(chang)景下(xia)，有(you)些自(zi)定(ding)義(yi)的業(ye)務場(chang)景使用自(zi)帶(dai)函(han)數(shu)無法實現(xian)，就需(xu)要借助自(zi)定(ding)義(yi)函(han)數(shu)實現(xian)特有(you)業(ye)務邏(luo)輯。此篇大概講述下(xia)在(zai)hive里實現(xian)自(zi)定(ding)義(yi)函(han)數(shu)： 根(gen)據圖(tu)片的hash向量計(ji)算其(qi)漢(han)明距離(li)。

2，Java 實現部(bu)分

根據兩張圖片的16位16進制Hash向量計算(suan)漢明距離(li)。自定義函數需要(yao)實(shi)現(xian) org.apache.hadoop.hive.ql.exec.UDF 類。

public class HanmingCal extends UDF{
	public Integer evaluate(String imgAHash, String imgBHash){
		// 空串不處理
		if(imgAHash == null || imgBHash == null){
			return null;
		}
		// 定長
		if(imgAHash.trim().length() != 16 || imgBHash.trim().length() != 16){
			return null;
		}
		
		// 將16位Hash向量轉成64位的二進制字符串
		String imgABin = hexToBinary(imgAHash);
		String imgBBin = hexToBinary(imgBHash);
		
		// 使用異或算法計算漢明距離
		return getHammingDistance(imgABin, imgBBin);
	}
}

將該部(bu)分Java打包(bao)成.jar包(bao)文件（此處命名為(wei)：testUDF.jar）

3，在Hive中創建永(yong)久UDF

將(jiang). jar 導入HDFS 文件(jian)系統。

hadoop fs -put testUDF.jar /user/hive/udf/

創建UDF。

hive> create function hanmingCal as 'test.udf.HanmingCal' using jar 'hdfs://hadoop:8020/user/hive/udf/testUDF.jar';

測試。

hive> select hanmingCal('0113ae06f6feef5e','0112af05b7dece1c') from default.dual

其它操作。

# 查看所有函數
hive> show functions;
# 刪除函數
hive> drop function hanmingCal;

4，總結

總體(ti)來說(shuo)還是較(jiao)簡單(dan)的，沒有難點。