500万彩票网:python处理数据,存进hive表的方法

江西多乐彩11选5走势图 www.ptdvv.cn  更新时间:2018年07月04日 15:08:24   作者:小鱼人儿   我要评论

今天小编就为大家分享一篇python处理数据,存进hive表的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

首先,公司的小组长给了我一个任务,把一个txt的文件中的部分内容,存进一个在hive中已有的表的相同结构的表中。所以我的流程主要有三个,首先,把数据处理成和hive中表相同结构的数据,然后仿照已有的hive中表的结构再创建一张新的数据表,最后把本地的txt文件上传到hive中新建的数据表中。

1:已有的数据表的结构和在hive表中的结构完全对不上,下面的图是原来hive中表的结构和小组长给我的txt中表的结构:

大家可以看出,我们原来的hive中表的字段一共有17个,而组长给我的表中的字段一共有9个,其中最后一个为json结构,而且顺序还不对,所以我们要进行筛选,把对应上的字段放到相应位置,对应不上的字段写成空。

大家要注意几个地方,原来的数据是按照tab来划分的,所以我们要数好对应的tab的数目,好来计算出来数据的实际的位置信息,然后我们按照原来hive表中的数据顺序,重新排列我们新建表的数据的顺序,下面给大家看看结果:

其中line[0]=null,line[1]=102,大家以此类推。

3:我们把本地的txt文件导入到hive表中。首先我们要新建一个和原来hive表中相同结构的数据表,然后把我们的数据导入到表中,

hive> creat table new_sft(x1 string,x2 string ,...,xn string) partitioned by (d string);

建好表之后,把数据导入到新表之中:

hive> load data local inpath‘/home/opendev/1.txt' into table new_sft;

最后给大家看看我的最终的结果:

以上这篇python处理数据,存进hive表的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python opencv旋转图像(保持图像不被裁减)

    python opencv旋转图像(保持图像不被裁减)

    这篇文章主要为大家详细介绍了python opencv旋转图像,保持图像不被裁减,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-07-07
  • 详解Python logging调用Logger.info方法的处理过程

    详解Python logging调用Logger.info方法的处理过程

    这篇文章主要介绍了详解Python logging调用Logger.info方法的处理过程,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-02-02
  • 对python中矩阵相加函数sum()的使用详解

    对python中矩阵相加函数sum()的使用详解

    今天小编就为大家分享一篇对python中矩阵相加函数sum()的使用详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python3中使用PyMongo的方法详解

    Python3中使用PyMongo的方法详解

    平常在处理数据的时候,必不可少地要使用数据库存取数据,出于一些原因,个人非常喜欢MongoDB这个数据库。下面这篇文章主要给大家介绍了Python3中使用PyMongo的方法示例,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-07-07
  • 使用memory_profiler监测python代码运行时内存消耗方法

    使用memory_profiler监测python代码运行时内存消耗方法

    今天小编就为大家分享一篇使用memory_profiler监测python代码运行时内存消耗方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • python生成多个只含0,1元素的随机数组或列表的实例

    python生成多个只含0,1元素的随机数组或列表的实例

    今天小编就为大家分享一篇python生成多个只含0,1元素的随机数组或列表的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Python中几个比较常见的名词解释

    Python中几个比较常见的名词解释

    这篇文章主要介绍了Python中几个比较常见的名词解释,本文解释同样适应其它编程语言,本文讲解了循环、迭代、递归、遍历等名词的含义,需要的朋友可以参考下
    2015-07-07
  • Django数据库连接丢失问题的解决方法

    Django数据库连接丢失问题的解决方法

    这篇文章主要介绍了Django数据库连接丢失问题的解决方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12
  • 通过5个知识点轻松搞定Python的作用域

    通过5个知识点轻松搞定Python的作用域

    网上关于python的作用域介绍有很多,那么小编今天给大家分享的这篇文章是让大家通过学习这5个知识点,可以轻松搞定Python的作用域,有需要的朋友们可以参考借鉴。
    2016-09-09
  • python实现监控windows服务并自动启动服务示例

    python实现监控windows服务并自动启动服务示例

    这篇文章主要介绍了python实现监控windows服务并自动启动服务示例,需要的朋友可以参考下
    2014-04-04

最新评论

29| 827| 893| 319| 661| 575| 937| 441| 124| 134|