替换hive导出文件字段默认分隔符

李双喆

2013-03-15

关注关注

Hive建表的时候虽然可以指定字段分隔符，不过用insert overwrite local directory这种方式导出文件时，字段的分割符会被默认置为\001,一般都需要将字段分隔符转换为其它字符，可以使用下面的命令:

sed -e 's/\x01/|/g' file

可以将|替换成自己需要的分隔符，file为hive导出的文件。

参考：

https://cwiki.apache.org/Hive/languagemanual-ddl.html

分隔符 hive

李双喆

0 关注 0 粉丝 0 动态

关注关注

PHP常量DIRECTORY_SEPARATOR原理及用法解析

在 Windows 中，斜线(/)和反斜线(\)都可以用作目录分隔符，在linux上路径的分隔符是"/"。在程序本地运行很正常，上传到服务器后，发现图片没有显示出来，图片链接是绝对路径 var/，而且当中带有 \ 但是我记得这个路径已经

Noneyes 2020-11-10

Linux cut 命令详解

cut 命令在Linux和Unix中的作用是从文件中的每一行中截取出一些部分，并输出到标准输出中。我们可以使用 cut 命令从一行字符串中于以字节，字符，字段(分隔符)等单位截取一部分内容出来。在本文中，我们通过一些例子来了解 cut 命令的使用，这些使

此处省略三千字 2020-07-20

python之字符串split和rsplit的方法

split()方法通过指定分隔符对字符串进行切片，如果参数num有指定值，则分隔num+1个子字符串，默认分隔符为所有空字符，包括空格、换行(\n)、制表符(\t)等

银角大王 2020-06-25

MySQL中concat函数

将多个字符串连接成一个字符串。concat返回结果为连接参数产生的字符串，如果有任何一个参数为null，则返回值为null。mysql> select * from t1;+-------+-------+| id | name |+-----

阳历六月 2020-06-14

shell工具之cut

在文件中负责剪切数据cut -f 列号 filenamecut -d 分隔符 filenamecat ***|grep ***|cut -d 分隔符 -f 列号#选取系统PATH变量值，第2个“：”开始后的所有路径echo $PATH|cut -d : -

lishaokang 2020-06-14

查看linux占用内存/CPU最多的进程

[ tmp]# cat test |sort -t : -k 1 以：为分隔符，排序第1列，从小到大。[ tmp]# cat test |sort -t : -k 2 –nr 以：为分隔符，排序第2列，从大到小，带-n，按数字比较

小惠 2020-06-05

shell部分收集整理

seq 用于生成从一个数到另一个数之间的所有整数。seq [选项]... 首数增量尾数

Yyqingmofeige 2020-05-15

数据可视化之PowerQuery篇（八）利用PowerQuery，进行更加灵活的数据分列

我们最常见的就是有固定分隔符的规范数据，这种直接就按照分隔符拆分就可以了，如果没有分割符怎么办？依然是上面的数据，如果连逗号都没有呢，在Powerquery中还可以按从数字到非数字的转换来分列，拆分列的常规功能中还可以按大小写字母的转换来进行分列，比如这样

Norsaa 2020-05-07

shell脚本之awk(一)

　　1.awk是一种编程语言，用于linux/unix下对文本和数据进行扫描。　　2.linux中常用的awk编译器版本有mawk,gawk。Redhat使用的是gawk，Ubuntu使用的是mawk.　　2. awk 基本结构包括模式匹配和处理过程。如果

baobaozai 2020-04-29

带有实际示例的Linux Cut命令

cut命令用于Linux和Unix系统中，从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。在本教程中，我们将通过一些实用示例来学习Linux cut命令，你可以在日常命令行活动中使用这些示例。cut命令使用“ TAB”作为默认字段分

fsfsdfsdw 2020-04-21

Hive建表-分隔符

在hive建表中，默认的分隔符为 ‘，’ ，可以指定想用的分隔符。下面是一些特殊字符：。vim使用vim进入编辑文件的命令模式，使用以下命令：。set list #显示隐藏字符set nolist #取消显示隐藏字符

taisenki 2020-04-08

Linux 文本处理利器--Awk常用命令

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任

fenxinzi 2020-03-01

awk命令

　　program由{ pattern + action statements}组成，动作语句之间用分号“;”分隔。[ ~]# awk -v FS=: -v OFS=" | " ‘{print $1,$3}‘ /etc/passwd.

zhiliang 2020-01-31

MySql分隔符拆分查询（一行转多行）

LEFT JOIN menu m ON substring_index = m.m_id

贤冰 2020-01-14

三剑客

awk是一种编程语言，主要用于在linux/unix下对文本和数据进行处理，是linux/unix下的一个工具。数据可以来自标准输入、一个或多个文件，或其它命令的输出。awk的处理文本和数据的方式：逐行扫描文件，默认从第一行到最后一行，寻找匹配的特定模式的

PHP学习笔记 2020-01-06

linux命令-xargs

今天查了一天的系统数据查到头大，同时也学到了linux的xargs命令的使用，趁着脑袋还热记录下来，省的以后用的时候再去百度。-d char：分隔符默认的xargs的分隔符是回车，argument的分隔符是空格，此处是修改argument的分隔符

hyfcomeon 2013-06-14

awk命令详解

awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息。第二种，将所有awk命令插入一个文件，并使awk程序可执行，然后用awk命令解释器作为脚本的首行，以

PHP学习笔记 2019-12-31

性能测试-JMeter参数化(1)CSV Data Set Config

所谓参数化，就是将客户端发送给服务器处理的数据预先保存到一个参数中的过程。当使用相对路径表示文件路径时，测试计划所在目录为当前目录。若没有设置则以操作系统的字符编码去读取数据文件。可以指定以何种编码去读取数据文件，以防止出现乱码。用于保存数据文件列值的变量

TesterJingel 2019-12-29

MySQL存储过程简介

存储过程是在大型数据库系统中一组为了完成特定功能的SQL语句集，存储在数据库中。存储过程经过第一次编译后，再次调用不需要编译，用户可以通过指定的存储过程名和给出一些存储过程定义的参数来使用它。存储过程就是为以后使用而保存的一条或多条SQL语句，个人理解跟函

silencehgt 2019-12-27

Shell编程—gawk进阶

数据字段变量允许你使用美元符号（$）和字段在该记录中的位置值来引用记录对应的字段。因此，要引用记录中的第一个数据字段，就用变量$1；要引用第二个字段，就用$2，依次类推。默认情况下，字段分隔符是一个空白字符，也就是空格符或者制表符。变量FS和OFS定义了g

onetozero 2019-12-15

安科网