安科网

hive 的 test case

三棱球

三棱球

2011-05-07

关注 关注

src/data目录下面是输入数据

src/ql/src/test/queries下面是测试用例，clientpositive是运行成功的用例，clientnegative是运行失败，返回非0的用例。

src/ql/src/test/results下面是测试用例对应的输出结果。如src/ql/src/test/queries/case_sensitivity.q对应的输出结果是src/ql/src/test/results/case_sensitivity.q.out

测试会运行case_sensitivity.q产生的输出放入build/ql/test/logs/clientpositive/case_sensitivity.q.out文件中，然后通过diff比对build/ql/test/logs/clientpositive/case_sensitivity.q.outsrc/ql/src/test/results/case_sensitivity.q.out两个文件，如果相同则测试通过，如果不同则测试失败。

CREATETABLEsales(nameSTRING,idINT)

ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t’;

CREATETABLEthings(idINT,nameSTRING)partitionedby(dsstring)

ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t’;

loaddatalocalinpath'examples/files/sales.txt'INTOTABLEsales;

loaddatalocalinpath'examples/files/things.txt'INTOTABLEthingspartition(ds='2011-10-23’);

loaddatalocalinpath'examples/files/things2.txt'INTOTABLEthingspartition(ds='2011-10-24’);

SELECTname,idFROMsalesORDERBYnameASC,idASC;

SELECTid,nameFROMthingsORDERBYidASC,nameASC;

SELECTname,idFROMsalesLEFTSEMIJOINthingsON(sales.id=things.id)ORDERBYnameASC,idASC;

测试前会事先create一些table,并load一些数据进去。

比如：case_sensitivity.q的代码是

tianzhao@tianzhao-VirtualBox:~/hive/hive-1.1.2/src/ql/src/test/queries/clientpositive$catcase_sensitivity.q

CREATETABLEDEST1(KeyINT,VALUESTRING)STOREDASTEXTFILE;

EXPLAIN

FROMSRC_THRIFT

INSERTOVERWRITETABLEdest1SELECTsrc_Thrift.LINT[1],src_thrift.lintstring[0].MYSTRINGwheresrc_thrift.liNT[0]>0;

FROMSRC_THRIFT

INSERTOVERWRITETABLEdest1SELECTsrc_Thrift.LINT[1],src_thrift.lintstring[0].MYSTRINGwheresrc_thrift.liNT[0]>0;

SELECTDEST1.*FROMDest1;

///上面的HSQL中并没有创建SRC_THRIFT表，但是能够用，那是因为在执行该文件的语句前已经创建好了这个表。

代码在org.apache.hadoop.hive.ql.QTestUtil.java中，它的方法init、createSources等。

从anttest-Dtestcase=TestCliDriver-Dqfile=case_sensitivity.q-Dtest.silent=false在终端的输出也可以看出：

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-08',hr='11')

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcpart

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Loadingdatatotabledefault.srcpartpartition(ds=2008-04-08,hr=11)

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-08',hr='11')

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcpart

[junit]POSTHOOK:Output:default@srcpart@ds=2008-04-08/hr=11

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-08',hr='12')

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcpart

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Loadingdatatotabledefault.srcpartpartition(ds=2008-04-08,hr=12)

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-08',hr='12')

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcpart

[junit]POSTHOOK:Output:default@srcpart@ds=2008-04-08/hr=12

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-09',hr='11')

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcpart

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Loadingdatatotabledefault.srcpartpartition(ds=2008-04-09,hr=11)

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-09',hr='11')

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcpart

[junit]POSTHOOK:Output:default@srcpart@ds=2008-04-09/hr=11

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-09',hr='12')

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcpart

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Loadingdatatotabledefault.srcpartpartition(ds=2008-04-09,hr=12)

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'OVERWRITEINTOTABLEsrcpartPARTITION(ds='2008-04-09',hr='12')

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcpart

[junit]POSTHOOK:Output:default@srcpart@ds=2008-04-09/hr=12

[junit]OK

[junit]PREHOOK:query:CREATETABLEsrcbucket(keyint,valuestring)CLUSTEREDBY(key)INTO2BUCKETSSTOREDASTEXTFILE

[junit]PREHOOK:type:CREATETABLE

[junit]POSTHOOK:query:CREATETABLEsrcbucket(keyint,valuestring)CLUSTEREDBY(key)INTO2BUCKETSSTOREDASTEXTFILE

[junit]POSTHOOK:type:CREATETABLE

[junit]POSTHOOK:Output:default@srcbucket

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt'INTOTABLEsrcbucket

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcbucket

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt

[junit]Loadingdatatotabledefault.srcbucket

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt'INTOTABLEsrcbucket

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcbucket

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt'INTOTABLEsrcbucket

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcbucket

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt

[junit]Loadingdatatotabledefault.srcbucket

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt'INTOTABLEsrcbucket

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcbucket

[junit]OK

[junit]PREHOOK:query:CREATETABLEsrcbucket2(keyint,valuestring)CLUSTEREDBY(key)INTO4BUCKETSSTOREDASTEXTFILE

[junit]PREHOOK:type:CREATETABLE

[junit]POSTHOOK:query:CREATETABLEsrcbucket2(keyint,valuestring)CLUSTEREDBY(key)INTO4BUCKETSSTOREDASTEXTFILE

[junit]POSTHOOK:type:CREATETABLE

[junit]POSTHOOK:Output:default@srcbucket2

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt'INTOTABLEsrcbucket2

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcbucket2

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt

[junit]Loadingdatatotabledefault.srcbucket2

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt'INTOTABLEsrcbucket2

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcbucket2

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt'INTOTABLEsrcbucket2

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcbucket2

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt

[junit]Loadingdatatotabledefault.srcbucket2

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt'INTOTABLEsrcbucket2

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcbucket2

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt'INTOTABLEsrcbucket2

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcbucket2

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt

[junit]Loadingdatatotabledefault.srcbucket2

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt'INTOTABLEsrcbucket2

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcbucket2

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt'INTOTABLEsrcbucket2

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@srcbucket2

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt

[junit]Loadingdatatotabledefault.srcbucket2

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt'INTOTABLEsrcbucket2

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@srcbucket2

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'INTOTABLEsrc

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@src

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt

[junit]Loadingdatatotabledefault.src

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.txt'INTOTABLEsrc

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@src

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv3.txt'INTOTABLEsrc1

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@src1

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/kv3.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/kv3.txt

[junit]Loadingdatatotabledefault.src1

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv3.txt'INTOTABLEsrc1

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@src1

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.seq'INTOTABLEsrc_sequencefile

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@src_sequencefile

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/kv1.seq

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/kv1.seq

[junit]Loadingdatatotabledefault.src_sequencefile

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/kv1.seq'INTOTABLEsrc_sequencefile

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@src_sequencefile

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/complex.seq'INTOTABLEsrc_thrift

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@src_thrift

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/complex.seq

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/complex.seq

[junit]Loadingdatatotabledefault.src_thrift

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/complex.seq'INTOTABLEsrc_thrift

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@src_thrift

[junit]OK

[junit]PREHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/json.txt'INTOTABLEsrc_json

[junit]PREHOOK:type:LOAD

[junit]PREHOOK:Output:default@src_json

[junit]Copyingdatafromfile:/home/tianzhao/apache/hive-trunk/data/files/json.txt

[junit]Copyingfile:file:/home/tianzhao/apache/hive-trunk/data/files/json.txt

[junit]Loadingdatatotabledefault.src_json

[junit]POSTHOOK:query:LOADDATALOCALINPATH'/home/tianzhao/apache/hive-trunk/data/files/json.txt'INTOTABLEsrc_json

[junit]POSTHOOK:type:LOAD

[junit]POSTHOOK:Output:default@src_json

[junit]OK

上面显示了创建的表和load的数据。

测试case_sensitivity.q的显示是：

[junit]Runningorg.apache.hadoop.hive.cli.TestCliDriver

[junit]Beginquery:case_sensitivity.q

[junit]Deletedfile:/home/tianzhao/apache/hive-trunk/build/ql/test/data/warehouse/dest1

[junit]diff-a-Ifile:-Ipfile:-Ihdfs:-I/tmp/-Iinvalidscheme:-IlastUpdateTime-IlastAccessTime-I[Oo]wner-ICreateTime-ILastAccessTime-ILocation-Itransient_lastDdlTime-Ilast_modified_-Ijava.lang.RuntimeException-Iatorg-Iatsun-Iatjava-Iatjunit-ICausedby:-ILOCK_QUERYID:-IgrantTime-I[.][.][.][0-9]*more-IUSING'java-cp/home/tianzhao/apache/hive-trunk/build/ql/test/logs/clientpositive/case_sensitivity.q.out/home/tianzhao/apache/hive-trunk/ql/src/test/results/clientpositive/case_sensitivity.q.out

[junit]Donequery:case_sensitivity.q

[junit]CleaningupTestCliDriver

生成的结果在build/ql/test/logs/clientpositive/case_sensitivity.q.out中，通过diff比对它与ql/src/test/results/clientpositive/case_sensitivity.q.out是否相同来判断该UT是否通过。

我们来看如何手工创建src_thrift表，load数据，并执行case_sensitivity.q中的HSQL。

org.apache.hadoop.hive.ql.QTestUtil.createSources()中创建src_thrift表的语句是：

TablesrcThrift=newTable(db.getCurrentDatabase(),"src_thrift");

srcThrift.setInputFormatClass(SequenceFileInputFormat.class.getName());

srcThrift.setOutputFormatClass(SequenceFileOutputFormat.class.getName());

srcThrift.setSerializationLib(ThriftDeserializer.class.getName());

srcThrift.setSerdeParam(Constants.SERIALIZATION_CLASS,Complex.class

.getName());

srcThrift.setSerdeParam(Constants.SERIALIZATION_FORMAT,

TBinaryProtocol.class.getName());

db.createTable(srcThrift);

存储格式是SequenceFile，serde是ThriftDeserializer，serde的两个属性是SERIALIZATION_CLASS和SERIALIZATION_FORMAT。创建表的时候需要知道表的字段，这里没有写。但是在（Constants.SERIALIZATION_CLASS,Complex.class.getName()）中已经定义了。

那么看org.apache.hadoop.hive.serde2.thrift.test.Complex的定义：

publicintaint;

publicstaticfinalintAINT=1;

publicStringaString;

publicstaticfinalintASTRING=2;

publicList<Integer>lint;

publicstaticfinalintLINT=3;

publicList<String>lString;

publicstaticfinalintLSTRING=4;

publicList<IntString>lintString;

publicstaticfinalintLINTSTRING=5;

publicMap<String,String>mStringString;

publicstaticfinalintMSTRINGSTRING=6;

IntString的定义：

publicintmyint;

publicstaticfinalintMYINT=1;

publicStringmyString;

publicstaticfinalintMYSTRING=2;

publicintunderscore_int;

publicstaticfinalintUNDERSCORE_INT=3;

可以还原src_thrift的字段：

建表语句是：

hive>createtablesrc_thrift(aintint,aStringstring,lintarray<int>,lStringarray<string>,lintStringarray<struct<myint:int,mString:string,underscore_int:int>>,mStringStringmap<string,string>)

>rowformatserde'org.apache.hadoop.hive.serde2.thrift.ThriftDeserializer'withserdeproperties("serialization.class"="org.apache.hadoop.hive.serde2.thrift.test.Complex","serialization.format"="org.apache.thrift.protocol.TBinaryProtocol")

>storedassequencefile;

OK

Timetaken:0.462seconds

load数据是：

hive>loaddatalocalinpath'src/data/files/complex.seq'intotablesrc_thrift;

Copyingdatafromfile:/home/tianzhao/hive/hive-1.1.2/src/data/files/complex.seq

Loadingdatatotablesrc_thrift

OK

Timetaken:0.286seconds

查看数据是：

hive>select*fromsrc_thriftlimit2;

OK

1712634731record_0[0,0,0]["0","0","0"][{"myint":0,"mystring":"0","underscore_int":0}]{"key_0":"value_0"}

465985200record_1[1,2,3]["10","100","1000"][{"myint":1,"mystring":"1","underscore_int":1}]{"key_1":"value_1"}

Timetaken:0.34seconds

查看表的信息是：

hive>descsrc_thrift;

OK

aintintfromdeserializer

astringstringfromdeserializer

lintarray<int>fromdeserializer

lstringarray<string>fromdeserializer

lintstringarray<org.apache.hadoop.hive.serde2.thrift.test.IntString>fromdeserializer

mstringstringmap<string,string>fromdeserializer

Timetaken:0.085seconds

运行case_sensitivity.q里面的一个语句：（截取了一部分）

hive>fromsrc_thriftSELECTsrc_Thrift.LINT[1],src_thrift.lintstring[0].MYSTRINGwheresrc_thrift.liNT[0]>0;

TotalMapReducejobs=1

LaunchingJob1outof1

Numberofreducetasksissetto0sincethere'snoreduceoperator

StartingJob=job_201105281127_0001,TrackingURL=http://localhost:50030/jobdetails.jsp?jobid=job_201105281127_0001

KillCommand=/home/tianzhao/hive/hadoop-0.20.2/bin/../bin/hadoopjob-Dmapred.job.tracker=localhost:54311-killjob_201105281127_0001

2011-05-2812:04:52,869Stage-1map=0%,reduce=0%

2011-05-2812:04:55,921Stage-1map=100%,reduce=0%

2011-05-2812:04:58,962Stage-1map=100%,reduce=100%

EndedJob=job_201105281127_0001

OK

21

48

627

864

10125

12216

14343

16512

18729

Timetaken:12.147seconds

src表

org.apache.hadoop.hive.ql.QTestUtil.createSources()：

LinkedList<String>cols=newLinkedList<String>();

cols.add("key");

cols.add("value");

for(Stringtname:newString[]{"src","src1"}){

db.createTable(tname,cols,null,TextInputFormat.class,

IgnoreKeyTextOutputFormat.class);

}

src、src1两表都是两个columns：

createtablesrc(keystring,valuestring);

load数据：

//loadtheinputdataintothesrctable

fpath=newPath(testFiles,"kv1.txt");

newfpath=newPath(tmppath,"kv1.txt");

fs.copyFromLocalFile(false,true,fpath,newfpath);

//db.loadTable(newfpath,"src",false);

runLoadCmd("LOADDATAINPATH'"+newfpath.toString()+"'INTOTABLEsrc");

loaddatalocalinpath'src/data/files/kv1.txt'intotablesrc;

有了这些东西，我们可以手工测试使用src/ql/src/test/queries下面的各个UT里面的语句。

目录下面的文件hive-0.7.0\src\ql\src\test\queries\clientpositive

(1)add_part_exist.q创建有partition的表，增加partition，显示partition

CREATETABLEadd_part_test(keySTRING,valueSTRING)PARTITIONEDBY(dsSTRING);

SHOWPARTITIONSadd_part_test;

ALTERTABLEadd_part_testADDPARTITION(ds='2010-01-01');

SHOWPARTITIONSadd_part_test;

ALTERTABLEadd_part_testADDIFNOTEXISTSPARTITION(ds='2010-01-01');

SHOWPARTITIONSadd_part_test;

ALTERTABLEadd_part_testADDIFNOTEXISTSPARTITION(ds='2010-01-02');

SHOWPARTITIONSadd_part_test;

ALTERTABLEadd_part_testADDIFNOTEXISTSPARTITION(ds='2010-01-01')PARTITION(ds='2010-01-02')PARTITION(ds='2010-01-03');

SHOWPARTITIONSadd_part_test;

DROPTABLEadd_part_test;

SHOWTABLES;

descextendedadd_part_testpartition(ds='2010-01-03');

需要注意的是：

SHOWTABLES，SHOWPARTITIONS时，PARTITIONS和TABLES都需要加上S,复数形式.

关于'2010-01-02'的一些困惑。

hive>altertableadd_part_testaddifnotexistspartition(ds=2010-01-02);

FAILED:ParseError:line1:61mismatchedinput'-'expecting)inaddpartitionstatement

hive>altertableadd_part_testaddifnotexistspartition(ds='2010-01-02');

OK

Timetaken:0.294seconds

hive>altertableadd_part_testaddifnotexistspartition(ds=2011102);

OK

Timetaken:0.178seconds

hive>showpartitionsadd_part_test;

OK

ds=2010-01-01

ds=2010-01-02

ds=2011102

Timetaken:0.057seconds

(2)alter1.q修改一个表的属性，表的serde以及serde属性。修改column信息。

(3)create_default_prop.q创建表

create_1.q创建表的操作

create_*

DESCRIBEtable3;

DESCRIBEEXTENDEDtable3;

DESCtable3;

DESCEXTENDEDtable3;

是一样的，大小写不区分。

desc0.7版本支持，0.5不支持

hive.map.aggrhive.groupby.skewindata(倾斜)

https://issues.apache.org/jira/browse/HIVE-223

test hive

三棱球

三棱球

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

hive函数之~reflect函数

reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。create table test_udf row format delimited fields terminated by ‘,‘;hive > create ta

SignalDu 2020-07-05

MySQL外键约束的实例讲解

MySQL的外键约束是用来在两个表之间建立链接的，其中一个表发生变化，另外一个表也发生变化。从这个特点来看，它主要是为了保证表数据的一致性和完整性的。也就是说，只要外键的每个非空值出现在指定的主键中，这个外键的内容就是正确的。

敏敏张 2020-11-11

详解MySQL alter ignore 语法

今天上班的时候，业务方问了我这样一个问题：我有一个表，需要添加一个唯一的字段，但是目前这个字段存在一些重复值，有没有好的解决办法。于是我详细询问了一下他的需求，最终得知，这个过程中重复的数据只需要保存一条就可以了，可以容忍一部分数据丢失，而重复的字段恰好是

SCNUHB 2020-11-10

nginx配置proxy_pass中url末尾带/与不带/的区别详解

proxy_pass配置中url末尾带/时，nginx转发时，会将原uri去除location匹配表达式后的内容拼接在proxy_pass中url之后。到此这篇关于nginx配置proxy_pass中url末尾带/与不带/的区别详解的文章就介绍到这了,更多

小木兮子 2020-11-11

PHP dirname(__FILE__)原理及用法解析

即使这个文件被其他文件引用，__file__始终是它所在文件的完整路径，而不是引用它的那个文件完整路径。dirname;得到的是__FILE__所在文件的上一层目录名。_FILE_ 得到的就是完整路径 即 F:\Modoer_2.6_SC_UTF8\upl

wwwsurfphpseocom 2020-10-28

Yii中特殊行为ActionFilter的使用方法示例

'only' => ['test', 'test-one'], // 仅对 'test'、'test-one' 生效。Yii 中的 ActionFilter（过滤器）相当于 Laravel 中的 Middleware（中间件），beforeActio

WasteLand 2020-10-18

四种ABAP单元测试隔离(test isolation)技术

Hi friends, As far as I know test isolation is widely used in SAP internal to build unit test code, at least in my team. Test is

Cocolada 2020-11-12

shiro配合druid使用下URL拦截权限设置为anno时遇到的问题

在使用shiro做权限控制的一个系统中，其中有一个页面需要配置为无需登录就能访问，配置方法如下。这里配置的意思就是所有人都能直接访问 /test 这个路径，但是实际访问时，却报如下错误：

杜鲁门 2020-11-05

使用Java JUnit框架里的@Rule注解的用法举例

Suppose you need to repeatedly execute some test method in your unit test case, for example, you would like to test getPrice bas

shirleypaddy 2020-10-19

使用Java JUnit框架里的@SuiteClasses注解管理测试用例

Suppose I have four test cases in my project, the total methods to be tested: 7. Based on the blogRun only given sets of your un

qingmumu 2020-10-19

拥有此神技，脚本调试从此与 echo、set、test 说分手

为什么要为 Bash 脚本写单元测试？因为 Bash 脚本通常都是在执行一些与操作系统有关的操作，可能会对运行环境造成一些不可逆的操作，比如修改或者删除文件、升级系统中的软件包等。所以为了确保 Bash 脚本的安全可靠，在生产环境中部署之前一定需要做好足够

Testingba工作室 2020-09-15

Linux下 ls 命令的高级用法8例

在Linux下，ls这个命令大家肯定太熟悉了，良许相信只要是Linux工程师，每天都会离不开这个命令，而且一天会使用个几百次。但是，除了 ls -l 以外，你还知 ls 的哪些高级用法呢?良许今天为大家介绍 ls 命令的8种高级用法。在这里，-l 选项大家

周公周金桥 2020-09-13

GO语言 复合类型专题

对于一般的语言使用者来说 ，20% 的语言特性就能够满足 80% 的使用需求，剩下在使用中掌握。基于这一理论，Go 基础系列的文章不会刻意追求面面俱到，但该有知识点都会覆盖，目的是带你快跑赶上 Golang 这趟新车。前面我们学习过 Golang 中基础数

专注前端开发 2020-08-16

Pytest如何使用skip跳过执行测试

传入condition参数为判断条件，可以选择传入非必须参数reason；如果多个标签一起使用，满足其中一个跳过条件则会跳过该测试函数。跳过测试类其实和跳过测试方法一样，使用@pytest.mark.skip()和@pytest.mark.skipif()

emagtestage 2020-08-16

使用alwayson后如何收缩数据库日志的方法详解

在使用了alwayson后，主从库实时同步，原理是通过事务日志同步的，所以造成主数据库的事务日志一直在使用，而且无法收缩主数据库的事务日志。因为这些操作，并不能用语句来实现自动化，所以一直是手动处理的。可能人都是比较懒的吧（人只有懒，才能促进机械自动化，才

heniancheng 2020-08-15

Linux下如何高效切换目录？

Linux 下对于目录的切换，大家肯定会想到一个命令：cd 命令。这个是 Linux 下再基本不过的命令，如果这个命令都不知道的话，赶紧剖腹自尽去吧。如果只会 cd 命令的话，那么就需要不停地 cd ，直到你发疯。良许给大家介绍三个命令：pushd 、

hanjinixng00 2020-08-12

test

计算机底层: 点子电路,计算机只能识别两个数 0 1 硬件: 处理器, 运行内存, 主板, 外部存储设备, 输入输出设备。第二行: 告诉python解释器, 应该以utf-8编码来解释py文件,在python2中执行py文件中有中文时不加会报错。C

小方哥哥 2020-08-09

数据归一化 scikit-learn中的Scaler

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=666)

83327712 2020-07-30

机器学习基础

换句话说，我们的模型一定是要经过样本数据对其进行训练，才可以对未知数据进行预测的。可想不是的，如果模型对原先的数据进行预测，由于模型本来就是从该数据中获取的，所以预测的精度几乎会是百分之百。所以想要评估模型的好坏，需要使用一组新数据对模型进行评估。需要从网

卖小孩的咖啡 2020-07-21

ffmpeg coco2d-x lua test

TOLUA_API int lua_yffmpeg(lua_State* L);int argc = 0;bool ok = true;tolua_Error tolua_err;if (!tolua_isusertable(tolua_S, 1, &q

wqiaofujiang 2020-07-05
三棱球

三棱球

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号