安科网

Pandas的五项高级功能及使用方法

hyderhan

hyderhan

2019-10-31

关注 关注

Pandas的五项高级功能及使用方法

Pandas是数据界的典型库。由于能够加载、过滤、处理和浏览数据，难怪它备受数据科学家的喜爱。

大多数人自然会坚守Pandas很基础的方法。从CSV文件加载数据，过滤几列，然后直接进入到数据可视化。不过Pandas实际上有许多鲜为人知但实用的功能，可以使数据处理起来轻松得多，整洁得多。

本教程将介绍5项更高级的功能、它们的功用及使用方法。

 （1）配置选项和设置

Pandas带有一组用户可配置的选项和设置。它们能大大提高生产力，因为你可以根据自己的喜好来定制Pandas环境。

比如说，我们可以更改Pandas的一些显示设置，改变显示的行数和列数以及显示的精度浮点数。

  1. import pandas as pd 
  2. display_settings = { 
  3. 'max_columns': 10, 
  4. 'expand_frame_repr': True, # Wrap to multiple pages 
  5. 'max_rows': 10, 
  6. 'precision': 2, 
  7. 'show_dimensions': True 
  8. } 
  9. for op, value in display_settings.items(): 
  10. pd.set_option("display.{}".format(op), value) 
上面的代码确保Pandas始终最多显示10行和10列，浮点值最多显示2个小数位。这样，我们尝试打印大的DataFrame时，终端或Jupyter Notebook不会看起来一团糟！
这只是个基本的例子。除了简单的显示设置外，还有很多设置可以探索。可以查看官方文档中的所有选项（https://pandas.pydata.org/pandas-docs/stable/user_guide/options.html）。
 （2）合并DataFrame
Pandas DataFrame一个相对不为人知的地方是，实际上有两种不同的方法来合并。每种方法得到的结果不一样，因此，根据你要实现的目标选择合适的方法很重要。此外，它们含有许多进一步定制合并的参数。不妨看一下。
连接
连接是合并DataFrame的最著名方法，它好比“堆叠”。这种堆叠可以横向或纵向进行。
假设你有一个庞大的CSV格式的数据集。将它分成多个文件以便处理合情合理（这是大型数据集的常见做法，名为分片）。
将其加载到Pandas后，你可以纵向堆叠每个CSV的DataFrame，为所有数据创建一个大的DataFrame。假设我们有3个分片，每个分片有500万行，那么在纵向堆叠所有分片后，最终的DataFrame会有1500万行。
下面的代码显示了如何在Pandas中纵向连接DataFrame。
  1. # Vertical concat 
  2. pd.concat([october_df, november_df, december_df], axis=0) 
你可以按照列而不是按照行来拆分数据集，执行类似的操作——每个CSV文件有几列（包含数据集的所有行）。就像我们将数据集的特征划分为不同的分片那样。然后，你可以横向堆叠它们以合并那些列/特征。
  1. # Horizontal concat 
  2. pd.concat([features_1to5_df, features_6to10_df, features_11to15_df], axis=1) 
合并
合并更复杂但功能更强大，以类似SQL的方式合并Pandas DataFrame，即DataFrame将通过某个常见属性加以连接。
假设你有描述YouTube频道的两个DataFrame。其中一个含有用户ID列表和每个用户在频道上总共花费的时间。另一个含有类似的用户ID列表和每个用户看过多少视频。合并使我们可以通过匹配用户ID，然后将ID、花费的时间和视频数量归入到每个用户的单行，即可将两个DataFrame合并为一个。
合并Pandas中的两个DataFrame通过合并函数来完成。你可以在下面的代码中看到其工作方式。left和right参数是指你希望合并的两个DataFrame，而on指定了用于匹配的列。
  1. pd.merge(left=ids_and_time_df, 
  2. right=ids_and_videos_df, 
  3. on="id") 
为了进一步模拟SQL连接，how参数让你可以选择想要执行的类似SQL的连接的类型：内、外、左或右。想了解SQL连接的更多信息，请参阅W3Schools教程（https://www.w3schools.com/sql/sql_join.asp）。
（3）重塑DataFrame
有几种方法可以重塑和重组Pandas DataFrame。既有简单易用的方法，也有强大复杂的方法。不妨看看最常见的三种方法。针对以下所有示例，我们将使用超级英雄的这个数据集！
  1. import pandas as pd 
  2. players_data = {'Player': ['Superman', 'Batman', 'Thanos', 'Batman', 'Thanos', 
  3. 'Superman', 'Batman', 'Thanos', 'Black Widow', 'Batman', 'Thanos', 'Superman'], 
  4. 'Year': [2000,2000,2000,2001,2001,2002,2002,2002,2003,2004,2004,2005], 
  5. 'Points':[23,43,45,65,76,34,23,78,89,76,92,87]} 
  6. df = pd.DataFrame(players_data) 
  7. print(df) 
  8. """ 
  9. Player Year Points 
  10. 0 Superman 2000 23 
  11. 1 Batman 2000 43 
  12. 2 Thanos 2000 45 
  13. 3 Batman 2001 65 
  14. 4 Thanos 2001 76 
  15. 5 Superman 2002 34 
  16. 6 Batman 2002 23 
  17. 7 Thanos 2002 78 
  18. 8 Black Widow 2003 89 
  19. 9 Batman 2004 76 
  20. 10 Thanos 2004 92 
  21. 11 Superman 2005 87 
  22. """ 
转置
转置是其中最简单的。转置将DataFrame的行与列进行互换。如果你有5000行和10列，然后转置你的DataFrame后，最终会得到10行和5000列。
  1. import pandas as pd 
  2. players_data = {'Player': ['Superman', 'Batman', 'Thanos', 'Batman', 'Thanos', 
  3. 'Superman', 'Batman', 'Thanos', 'Black Widow', 'Batman', 'Thanos', 'Superman'], 
  4. 'Year': [2000,2000,2000,2001,2001,2002,2002,2002,2003,2004,2004,2005], 
  5. 'Points':[23,43,45,65,76,34,23,78,89,76,92,87]} 
  6. df = pd.DataFrame(players_data) 
  7. print(df) 
  8. """ 
  9. Player Year Points 
  10. 0 Superman 2000 23 
  11. 1 Batman 2000 43 
  12. 2 Thanos 2000 45 
  13. 3 Batman 2001 65 
  14. 4 Thanos 2001 76 
  15. 5 Superman 2002 34 
  16. 6 Batman 2002 23 
  17. 7 Thanos 2002 78 
  18. 8 Black Widow 2003 89 
  19. 9 Batman 2004 76 
  20. 10 Thanos 2004 92 
  21. 11 Superman 2005 87 
  22. """ 
Groupby
Groupby的主要用途是根据一些键将DataFrame分成多个部分。一旦DataFrame拆分成多个部分，你可以执行遍历、对每个部分独立执行一些操作。
比如说，我们可以从下面的代码中看到如何创建了有相应年份和积分的玩家DataFrame。然后我们执行groupby，根据玩家将DataFrame分为多个部分。因此，每个玩家都有自己的组，显示该玩家每年玩游戏时获得了多少积分。
  1. groups_df = df.groupby('Player') 
  2. for player, group in groups_df: 
  3. print("----- {} -----".format(player)) 
  4. print(group) 
  5. print("") 
  6.  
  7. ### This prints out the following 
  8. """ 
  9. ----- Batman ----- 
  10. Player Year Points 
  11. 1 Batman 2000 43 
  12. 3 Batman 2001 65 
  13. 6 Batman 2002 23 
  14. 9 Batman 2004 76 
  15. ----- Black Widow ----- 
  16. Player Year Points 
  17. 8 Black Widow 2003 89 
  18. ----- Superman ----- 
  19. Player Year Points 
  20. 0 Superman 2000 23 
  21. 5 Superman 2002 34 
  22. 11 Superman 2005 87 
  23. ----- Thanos ----- 
  24. Player Year Points 
  25. 2 Thanos 2000 45 
  26. 4 Thanos 2001 76 
  27. 7 Thanos 2002 78 
  28. 10 Thanos 2004 92 
  29. """ 
堆叠
堆叠将DataFrame转换成有多级索引，即每行有多个子部分。这些子部分是使用DataFrame的列创建的，并将其压缩成多索引。总体而言，可以将堆叠视为将列压缩成多索引行。
可以通过示例来说明，如下所示。
  1. df = df.stack() 
  2. print(df) 
  3. """ 
  4. 0 Player Superman 
  5. Year 2000 
  6. Points 23 
  7. 1 Player Batman 
  8. Year 2000 
  9. Points 43 
  10. 2 Player Thanos 
  11. Year 2000 
  12. Points 45 
  13. 3 Player Batman 
  14. Year 2001 
  15. Points 65 
  16. 4 Player Thanos 
  17. Year 2001 
  18. Points 76 
  19. 5 Player Superman 
  20. Year 2002 
  21. Points 34 
  22. 6 Player Batman 
  23. Year 2002 
  24. Points 23 
  25. 7 Player Thanos 
  26. Year 2002 
  27. Points 78 
  28. 8 Player Black Widow 
  29. Year 2003 
  30. Points 89 
  31. 9 Player Batman 
  32. Year 2004 
  33. Points 76 
  34. 10 Player Thanos 
  35. Year 2004 
  36. Points 92 
  37. 11 Player Superman 
  38. Year 2005 
  39. Points 87 
  40. """ 
（4）处理时间数据
Datetime库是Python的基本库。只要你处理与实际日期和时间信息有关的任何东西，它都是值得你使用的库。幸好，Pandas还有使用Datetime对象的功能。
不妨举例说明。在下面的代码中，我们先创建一个有4列的DataFrame：Day、Month、Year和data，然后按年和月进行排序。如你所见，这非常混乱。仅仅为了存储日期，我们就用了3列，实际上我们知道日历日期只是一个值。
  1. from itertools import product 
  2. import pandas as pd 
  3. import numpy as np 
  4. col_names = ["Day", "Month", "Year"] 
  5. df = pd.DataFrame(list(product([10, 11, 12], [8, 9], [2018, 2019])), 
  6. columns=col_names) 
  7. df['data'] = np.random.randn(len(df)) 
  8. df = df.sort_values(['Year', 'Month'], ascending=[True, True]) 
  9. print(df) 
  10. """ 
  11. Day Month Year data 
  12. 0 10 8 2018 1.685356 
  13. 4 11 8 2018 0.441383 
  14. 8 12 8 2018 1.276089 
  15. 2 10 9 2018 -0.260338 
  16. 6 11 9 2018 0.404769 
  17. 10 12 9 2018 -0.359598 
  18. 1 10 8 2019 0.145498 
  19. 5 11 8 2019 -0.731463 
  20. 9 12 8 2019 -1.451633 
  21. 3 10 9 2019 -0.988294 
  22. 7 11 9 2019 -0.687049 
  23. 11 12 9 2019 -0.067432 
  24. """ 
我们可以用datetime来清理。
Pandas贴心地随带名为to_datetime（）的函数，它可以压缩多个DataFrame列并将其转换成单个Datetime对象。一旦采用这种格式，你可以享用Datetime库的所有灵活性。
想使用to_datetime（）函数，需要将相关列中的所有“data”数据传递给它。那就是“Day”、“Month”和“Year”这三列。一旦有了Datetime格式的内容，我们不再需要其他列，删除即可。看看下面的代码，看看它们如何工作！
  1. from itertools import product 
  2. import pandas as pd 
  3. import numpy as np 
  4. col_names = ["Day", "Month", "Year"] 
  5. df = pd.DataFrame(list(product([10, 11, 12], [8, 9], [2018, 2019])), 
  6. columns=col_names) 
  7. df['data'] = np.random.randn(len(df)) 
  8. df = df.sort_values(['Year', 'Month'], ascending=[True, True]) 
  9. df.insert(loc=0, column="date", value=pd.to_datetime(df[col_names])) 
  10. df = df.drop(col_names, axis=1).squeeze() 
  11. print(df) 
  12. """ 
  13. date data 
  14. 0 2018-08-10 -0.328973 
  15. 4 2018-08-11 -0.670790 
  16. 8 2018-08-12 -1.360565 
  17. 2 2018-09-10 -0.401973 
  18. 6 2018-09-11 -1.238754 
  19. 10 2018-09-12 0.957695 
  20. 1 2019-08-10 0.571126 
  21. 5 2019-08-11 -1.320735 
  22. 9 2019-08-12 0.196036 
  23. 3 2019-09-10 -1.717800 
  24. 7 2019-09-11 0.074606 
  25. 11 2019-09-12 -0.643198 
  26. """ 
（5）将项映射到组
映射是个巧妙的技巧，有助于对分类数据进行组织。比如设想我们有一个庞大的DataFrame，有成千上万行，其中一列含有我们想要分类的项。这么做可以大大简化机器学习模型的训练和有效地可视化数据。
请查看下面的代码，这个小示例表明了我们想要分类的食品列表。
  1. import pandas as pd 
  2. foods = pd.Series(["Bread", "Rice", "Steak", "Ham", "Chicken", 
  3. "Apples", "Potatoes", "Mangoes", "Fish", 
  4. "Bread", "Rice", "Steak", "Ham", "Chicken", 
  5. "Apples", "Potatoes", "Mangoes", "Fish", 
  6. "Apples", "Potatoes", "Mangoes", "Fish", 
  7. "Apples", "Potatoes", "Mangoes", "Fish", 
  8. "Bread", "Rice", "Steak", "Ham", "Chicken", 
  9. "Bread", "Rice", "Steak", "Ham", "Chicken", 
  10. "Bread", "Rice", "Steak", "Ham", "Chicken", 
  11. "Apples", "Potatoes", "Mangoes", "Fish", 
  12. "Apples", "Potatoes", "Mangoes", "Fish", 
  13. "Apples", "Potatoes", "Mangoes", "Fish", 
  14. "Bread", "Rice", "Steak", "Ham", "Chicken", 
  15. "Bread", "Rice", "Steak", "Ham", "Chicken",]) 
  16. groups_dict = { 
  17. "Protein": ["Steak", "Ham", "Chicken", "Fish"], 
  18. "Carbs": ["Bread", "Rice", "Apples", "Potatoes", "Mangoes"] 
  19. } 
在上面的代码中，我们将列表放入到Pandas系列。我们还创建了一个字典，显示了想要的映射，将每个食品项分类成“Protein”或“Carbs”。这是尝试性质的示例，但如果该系列规模很大，假设有1000000项 ，那么遍历它根本不可行。
我们可以使用Pandas内置的.map（）函数编写函数，以优化的方式执行映射，而不是使用基本的for-loop。请查看下面的代码，看看该函数及使用方式。
  1. def membership_map(pandas_series, groups_dict): 
  2. groups = {x: k for k, v in groups_dict.items() for x in v} 
  3. mapped_series = pandas_series.map(groups) 
  4. return mapped_series 
  5.  
  6. mapped_data = membership_map(foods, groups_dict) 
  7. print(list(mapped_data)) 
在该函数中，我们先遍历字典以创建一个新的字典，其中的键代表Pandas系列中每个可能的项，值代表新的映射项：“Protein”或“Carbs”。 然后，我们只需使用Pandas的内置map函数来映射该系列中的所有值。
不妨看看下面的输出以查看结果！
 
  
 
  pandas  dataframe  string  
 
 
 
 
 
  hyderhan  
 
 
  hyderhan  
 
  0 关注   0 粉丝   0 动态  
 
 
   关注    关注   
 
 
 
 
 
 
 相关推荐 
  
 
 
  秒懂！图解四个实用的Pandas函数！  
 
 
 
   在用Python进行机器学习或者日常的数据处理中，Pandas是最常用的Python库之一，熟练掌握pandas是每一个数据科学家的必备技能，本文将用代码+图片详解Pandas中的四个实用函数!面对这样的需求我们可以选择自己写一个函数完成，但是使用pand     
 
 
  roamer    2020-10-29  
 
  
 
 
  高效的10个Pandas函数，你都用过了吗？  
 
 
 
   andas是python中最主要的数据分析库之一，它提供了非常多的函数、方法，可以高效地处理并分析数据。让pandas如此受欢迎的原因是它简洁、灵活、功能强大的语法。这篇文章将会配合实例，讲解20个重要的pandas函数。其中有一些很常用，相信你可能用到过     
 
 
  三石    2020-08-23  
 
  
 
 
  高效的10个Pandas函数，你都用过吗？  
 
 
 
   Pandas是python中比较主要的数据分析库之一，它提供了非常多的函数、方法，可以高效地处理并分析数据。让pandas如此受欢迎的原因是它简洁、灵活、功能强大的语法。这篇文章将会配合实例，讲解10个重要的pandas函数。其中有一些很常用，相信你可能用     
 
 
  QianYanDai    2020-08-16  
 
  
 
 
  pandas 的DataFrame.apply()  
 
 
 
   pandas的apply函数是自动根据function遍历每一个数据，然后返回一个数据结构为Series的结果     
 
 
  mmmjyjy    2020-07-16  
 
  
 
 
  【Pandas】基本功能  
 
 
 
   结合自己的经验，我觉得Pandas的本质是类似于Matlab、Eviews之类的数据分析软件。只是其他的被人做成了有UI界面的软件。从Pandas的结构来看，最核心的两个类。其他功能是围绕这两个类进行了功能上的扩展。为了保持学习的趣味性，我觉得按照实际使用     
 
 
  QianYanDai    2020-07-05  
 
  
 
 
  【pandas】概述  
 
 
 
   Pandas是python中运用很广泛的统计分析库，用于各种金融、工业、等等统计分析，适用于各种时间序列和面板数据等。而对应于Pandas库，最主要的两个类分别是Series和DataFrame。Pandas是numpy的一种扩展，因此很多高级的数据计算方     
 
 
  QianYanDai    2020-07-05  
 
  
 
 
  使用PYODBC将数据从Pandas的DataFrame写入SQL Server  
 
 
 
   总公司的某数据以文件形式存放在FTP服务器上，现将其移植到我本地的SQL服务器。#由于informix生成的unl文件为cp936编码，pandas 读取时会对有些汉字报错，所以转为utf-8. #对_tmp.txt 文件读取时，要注意纯数字的格式转换,     
 
 
  jiahaohappy    2020-06-21  
 
  
 
 
  pandas基础操作（一）  
 
 
 
   Pandas基于两种数据类型： series 与 dataframe. DataFrame：是一个二维的表结构。df[[‘code‘]] # 选取一列，生成一个DataFrame. df[1:3]    #第1行到第2行。loc，在知道列名字的情况下，df     
 
 
  QianYanDai    2020-06-16  
 
  
 
 
  pandas用法总结  
 
 
 
   with codecs.open as f:     for line in f:        line_split = line.strip().split        items.append     
 
 
  zhangxiaojiakele    2020-05-25  
 
  
 
 
  使用pandas库对csv文件进行筛选和保存  
 
 
 
   多数大佬都是直接pandas官网甩我脸上，然后举一个入门级的例子。这个函数里面需要写入csv文件的路径，如果是把csv文件保存到了python的工程文件夹下，则只需要./文件名即可，然后encoding=‘utf-8‘是使用utf-8方式编码，有时候需要换     
 
 
  jzlixiao    2020-05-15  
 
  
 
 
  pandas对角线值修改  
 
 
 
   df = pd.DataFrame(np.arange(16).reshape((4, 4)), index=[‘a‘, ‘b‘, ‘c‘, ‘d‘], columns=[‘i‘, ‘j‘, ‘k‘, ‘f‘]). array([[ 0,  1,  2,      
 
 
  jiahaohappy    2020-05-12  
 
  
 
 
  pandas学习  
 
 
 
   Python中的pandas模块进行数据分析。在pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。Series类似于numpy中的一维数组，除了通吃一维数组可用的函数或方法，而且其可通过索引标签的方式获取数据，还具有索引     
 
 
  zhangxiaojiakele    2020-05-11  
 
  
 
 
  Pandas详解  
 
 
 
   Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy；用于数据挖掘和数据分析，同时也提供数据清洗功能。Pandas有三大数据结构，Series、DataFrame以及Panel。仅由一组数据也可产生简单的Series对象。DataFra     
 
 
  jzlixiao    2020-05-08  
 
  
 
 
  pandas -- numpy++  
 
 
 
   Series是一种类似于一维数组的对象,由一组数据以及一组与之对应的索引组成。 index: 索引序列,必须是唯一的,且与数据的长度相同. 如果没有传入索引参数,则默认会自动创建一个从0~N的整数索引     
 
 
  jzlixiao    2020-05-09  
 
  
 
 
  教你几招，Pandas轻松处理超大规模数据  
 
 
 
   处理大规模数据集时常是棘手的事情，尤其在内存无法完全加载数据的情况下。在资源受限的情况下，可以使用 Python Pandas 提供的一些功能，降低加载数据集的内存占用。可用技术包括压缩、索引和数据分块。在上述过程中需要解决一些问题，其中之一就是数据量过大     
 
 
  三石    2020-10-30  
 
  
 
 
  Python 中利用Pandas处理复杂的Excel数据  
 
 
 
   关于Excel数据处理，很多同学可能使用过Pyhton的pandas模块，用它可以轻松地读取和转换Excel数据。但是实际中Excel表格结构可能比较杂乱，数据会分散不同的工作表中，而且在表格中分布很乱，这种情况下啊直接使用pandas就会非常吃力。本文虫     
 
 
  三石    2020-10-29  
 
  
 
 
  不常见的Pandas小窍门：我打赌一定有你不知道的  
 
 
 
   作为一名数据分析师或数据科学家，不了解Python中的Pandas库是无论如何说不过去的，它已经成为Python中用来整理、清理数据的标准工具了。然而，关于Pandas，你确定自己完全掌握了嘛?本文将分享一些少见但有用的Pandas技巧，它们能提升工作效率     
 
 
  wangquannuaa    2020-10-15  
 
  
 
 
  在pandas中利用hdf5高效存储数据  
 
 
 
   1 简介HDF5是用于存储大规模数值数据的较为理想的存储格式。在Python中操纵HDF5文件的方式主要有两种，一是利用pandas中内建的一系列HDF5文件操作相关的方法来将pandas中的数据结构保存在HDF5文件中，二是利用h5py模块来完成从Pyt     
 
 
  wangquannuaa    2020-09-29  
 
  
 
 
  别找了，这是Pandas最详细教程了  
 
 
 
   Python 是开源的，它很棒，但是也无法避免开源的一些固有问题：很多包都在做同样的事情。如果你是 Python 新手，那么你很难知道某个特定任务的最佳包是哪个，你需要有经验的人告诉你。有一个用于数据科学的包绝对是必需的，它就是 pandas。pandas     
 
 
  jzlixiao    2020-09-15  
 
  
 
 
  Pandas这样来设置，做数据分析舒适百倍  
 
 
 
   在日常使用pandas的过程中，由于我们所分析的数据表规模、格式上的差异，使得同样的函数或方法作用在不同数据上的效果存在差异。而pandas有着自己的一套「参数设置系统」，可以帮助我们在遇到不同的数据时灵活调节从而达到最好的效果，本文就将介绍pandas中     
 
 
  wangquannuaa    2020-08-30  
 
  
 
 
 
 
 
 
 
  hyderhan  
 
 
  hyderhan  
  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 W3CSchool教程 
 
 HTML 教程 
 
 CSS 教程 
 
 Bootstrap 教程 
 
 Javascript 教程 
 
 jQuery 教程 
 
 
 
 后端教程 
 
 C 教程 
 
 Java 教程 
 
 PHP 教程 
 
 Python 教程 
 
 Go 教程 
 
 
 
 移动开发 
 
 Android 教程 
 
 Swift 教程 
 
 Kotlin 教程 
 
 jQuery Mobile 教程 
 
 ionic 教程 
 
 
 
 关于我们 
 
 新闻动态 
 
 联系方式 
 
 招聘英才 
 
 安科实验室 
 
 帮助与反馈 
 
 
 
 
 
 安科网(Ancii)，中国第一极客网 
 
     
  •   
    •  
  •   
    •  
 
 
 
 
 
  
 Copyright © 2013 - 2019 Ancii.com 
 
 京ICP备18063983号 京公网安备11010802014868号