爆炸HIVE中的字符串
问题描述：
我遇到了一个有趣的问题。我有一个调用Python UDF的HIVE脚本来操纵一些日期。 Python的输出是6列，3个是字符串，3个是数组。爆炸HIVE中的字符串
例如print '%s\t%s\t%s\t%s\t%s\t%s\t%s' % (ID1, ID2, ID3, ARR1, ARR2, ARR3)
这里是我的Python UDF的输出中的一行：
10161 10400511433810000 (0000010161, 10400511433810001) ["0011583180","0011583180","0011583180"] ['2004-04-16', '2004-04-16', '2004-04-16'] ['2004-09-03', '2004-09-03', '2004-09-03']
＃ 问题1： 我使用%s因为我无法找到一个方法来返回数组的方式来HIVE HIVE会将它们读作阵列。
因此，我在HIVE中创建了一个表格，它甚至将数组作为字符串输入，假定我可以将字符串拆分为数组。脚本我用：
insert overwrite table table2
SELECT
ID1,
ID2,
ID3,
SPLIT(ARR1, '\\\t') as ARR1,
SPLIT(ARR2, '\\\t') as ARR2,
SPLIT(ARR3, '\\\t') as ARR3
FROM table1
LIMIT 10;
＃ PROBLEM2：我得到以下输出：
0000010167 10400514362740001 (0000010167, 10400514362740001) ["[\"0022136941\",\"0022315161\"]"] ["['1900-01-01', '2007-05-01']"] ["['1900-01-01', '2008-06-16']"]
我实际上需要的是：
0000010167 10400514362740001 (0000010167, 10400514362740001) 0022136941 1900-01-01 1900-01-01
0000010167 10400514362740001 (0000010167, 10400514362740001) 0022315161 2007-05-01 2008-06-16
答
在我的想法，你有水平表，但你需要的是一个垂直的表格。我不知道 如何使用Hive来解决这个问题，所以我用mapreduce解决了它。 是的，在这种情况下使用mapreduce很容易。 这是一个中文例子，但你只需要了解Java代码。 mapreduce example。