用Python导入数据方法汇总

用Python导入数据方法汇总

Python可以使用各种各样的文件作为数据源:

  • flat files — csv, txt, tsv etc.
  • pickled files
  • excel spreadsheets
  • SAS and Stata files
  • HDF5
  • MATLAB
  • SQL databases
  • web pages
  • API

Flat files

平面文件--txt,csv - 很简单,可以使用numpy或pandas导入。

numpy.recfromcsv - 加载存储在逗号分隔文件中的ASCII数据。返回的数组是一个记录数组(如果usemask = False)或masked记录数组(如果usemask = True)。Python示例代码:

data = np.recfromcsv(file)

numpy.loadtxt - 此函数旨在成为简单格式化文件的快速阅读器。该genfromtxt函数提供了更复杂的处理,例如,缺失值的行。

data = np.loadtxt('file.csv', delimiter=',', skiprows=1, usecols=[0,2])

numpy.genfromtxt - 从文本文件加载数据,并按指定处理缺失值。是更复杂的函数,有很多参数来控制你的导入。

data = np.genfromtxt('titanic.csv', delimiter=',', names=True, dtype=None)

使用pandas更容易 - 一行,你准备好DataFrame中的文件。还支持可选地将文件迭代或分解为块。

data = pd.read_csv(file, nrows=5, header=None, sep='	', comment='#', na_values='Nothing')

Pickle

它用于序列化和反序列化Python对象结构。可以对python中的任何对象进行pickle,以便将其保存在磁盘上。pickle的作用是在将对象写入文件之前先将其“序列化”。Pickling是一种将python对象(list,dict等)转换为字符流的方法。这个想法是这个字符流包含在另一个python脚本中重建对象所需的所有信息。下面的代码将打印一个在某处创建并存储在文件中的字典 - 非常酷,不是吗?

import pickle 
with open('data.pkl', 'rb') as file: 
 d = pickle.load(file)
print(d)

Excel

与pandas.read_excel将Excel表读入panda DataFrame中,并进行了大量的自定义导入数据,这个函数的文档很清楚,你可以用Excel文件做任何你想做的事情。

df = pd.read_excel('file.xlsx', sheet_name='sheet1')

SAS和Stata

SAS代表统计分析软件。SAS数据集包含组织为观察(行)和变量(列)表的数据值。要打开此类文件并从中导入数据,请看下面的Python代码示例:

from sas7bdat import SAS7BDAT
with SAS7BDAT('some_data.sas7bdat') as file: 
 df_sas = file.to_data_frame()

Stata是一款强大的统计软件,可以让用户分析、管理和生成数据的图形化可视化。它主要被经济学、生物医学和政治学领域的研究人员用于研究数据模式。存储在.dta文件中的数据,导入它的最好方法是pandas.read_stata

df = pd.read_stata('file.dta')

HDF5

分层数据格式(HDF)是一组文件格式(HDF4, HDF5),用于存储和组织大量数据。HDF5是一个独特的技术套件,可以管理非常大和复杂的数据集合。HDF5简化了文件结构,只包含两种主要类型的对象:

  • Datasets,是同构类型的多维数组
  • Groups,它是可以容纳数据集和其他组的容器结构

这就产生了一种真正的层次化、文件系统式的数据格式。实际上,HDF5文件中的资源甚至可以使用类似/ path / to / resource访问HDF5文件中的资源。元数据以用户定义的、附加到Groups和Datasets的命名属性的形式存储。然后,可以使用数据集、组和属性构建表示图像和表的更复杂的存储api。

要导入HDF5文件,我们需要h5py库。下面的Python代码示例使我更轻松,完全可以理解。

import h5py 
# Load file: 
data = h5py.File('file.hdf5', 'r') 
# Print the keys of the file 
for key in data.keys(): 
 print(key)
# Now when we know the keys we can get the HDF5 group
group = data['group_name'] 
# Going one level deeper, check out keys of group 
for key in group.keys(): 
 print(key)
# And so on and so on

MATLAB

很多人使用MATLAB并将数据存储在.mat文件中。那些文件是什么?这些文件包含在MATLAB工作空间中分配给它们的变量和对象列表。将它作为字典导入Python并不奇怪,其中键是MATLAB变量和值 - 分配给这些变量的对象。要编写和读取MATLAB文件,请使用scipy.io包。

import scipy.io 
mat = scipy.io.loadmat('some_project.mat')
print(mat.keys())

关系数据库

使用驱动程序连接到数据库,我们可以直接从那里获取数据。通常它意味着:创建连接,连接,运行查询,获取数据,关闭连接。它可以一步一步地完成,但在pandas 中只需要sqlalchemy包创建的连接。下面是连接到sqlite数据库引擎并从中获取数据的示例:

from sqlalchemy import create_engine 
import pandas as pd 
# Create engine 
engine = create_engine('sqlite:///localdb.sqlite')
# Execute query and store records in DataFrame 
df = pd.read_sql_query("select * from table", engine)

来自Web的数据

首先,如果我们有一个文件的URL,我们可以使用标准的pandas.read_csv / pandas.read_excel函数在参数“file =”中指定它

df = pd.read_csv('https://www.example.com/data.csv', sep=';')

除此之外,要从Web获取数据,我们需要使用HTTP协议,特别是GET方法。并且requests 包做了这个令人难以置信的工作。要从requests.get收到的响应中访问文本,我们只需要使用方法.text。

import requests 
r = requests.get('http://www.example.com/some_html_page') 
print(r.text)

r.text将为我们提供一个包含所有html标签的网页 - 不是很有用,不是吗?我们有一个BeautifulSoup包,可以解析HTML并提取我们需要的信息,在本例中是所有超链接(继续前面的例子):

from bs4 import BeautifulSoup
html_doc = r.text 
# Create a BeautifulSoup object from the HTML 
soup = BeautifulSoup(html_doc)
# Find all 'a' tags (which define hyperlinks) 
a_tags = soup.find_all('a') 
# Print the URLs to the shell 
for link in a_tags: 
 print(link.get('href'))

API

在计算机编程中,应用程序编程接口(API)是一组子例程定义,通信协议和用于构建软件的工具。一般而言,它是一组明确定义的各种组件之间的通信方法。有许多不同的API,首先必须做的是检查文档,但事实是几乎所有API都以JSON格式返回数据。requests 包将再次帮助我们。(我们必须发送HTTP GET请求以从API获取数据)。

import requests 
r = requests.get('https://www.example.com/some_endpoint') 
# Decode the JSON data into a dictionary: 
json_data = r.json()
# Print each key-value pair in json_data 
for k in json_data.keys(): 
 print(k + ': ', json_data[k])

我们可以看到,数据无处不在,我们必须知道获取它的所有方法

相关推荐