推荐一款Python开源库,技术人必备的造数据神器!

推荐一款Python开源库,技术人必备的造数据神器!

1. 背景

在软件需求、开发、测试过程中,有时候需要使用一些测试数据,针对这种情况,我们一般要么使用已有的系统数据,要么需要手动制造一些数据。由于现在的业务系统数据多种多样,千变万化。在手动制造数据的过程中,可能需要花费大量精力和工作量,此项工作既繁复又容易出错,比如要构造一批用户三要素(姓名、手机号、身份证)、构造一批银行卡数据、或构造一批地址通讯录等。

这时候,人们常常为了偷懒快捷,测试数据大多数可能是类似这样子的:

测试, 1300000 000123456  


张三, 1310000 000123456  


李四, 1320000 000234567  

王五, 1330000 000345678 

测试数据中包括了大量的“测试XX”,要么就是随手在键盘上一顿乱敲,都是些无意义的假数据。

你是不是这样做的呢?坦白的说,有过一段时间,笔者偶尔也是这么干的。

但是,细想一下,这样的测试数据,不仅要自己手动敲,还假的不能再假,浪费时间、浪费人力、数据价值低。

而且,部分数据的手工制造还无法保障:比如UUID类数据、MD5、SHA加密类数据等。

为了帮助大家解决这个问题,更多还是提供种一种解决方案或思路,今天给大家分享一款Python造数据利器:Faker库,利用它可以生成一批各种各样的看起来“像真的一样”的假数据。

2. Faker介绍 、安装

2.1 Faker是什么

Faker是一个Python包,主要用来创建伪数据,使用Faker包,无需再手动生成或者手写随机数来生成数据,只需要调用Faker提供的方法,即可完成数据的生成。

项目地址:

推荐一款Python开源库,技术人必备的造数据神器!

2.2 安装

安装 Faker 很简单,使用 pip 方式安装:

pip install Faker 

除了pip 安装,也可以通过上方提供的github地址,来下载编译安装。

(py3_env) ➜  py3_env pip show faker  


Name: Faker  


Version: 4.1.1  


Summary: Faker is a Python package that generates fake data for you.  


Home-page: https://github.com/joke2k/faker  


Author: joke2k  


Author-email: [email protected]  


License: MIT License  


Location: /Users/xxx/work_env/py3_env/lib/python3.7/site-packages  


Requires: python-dateutil, text-unidecode  

Required-by: 

3. Faker常用使用

3.1 基本用法

Faker 的使用也是很简单的,从 faker 模块中导入类,然后实例化这个类,就可以调用方法使用了:

from faker import Faker  


fake = Faker()  


name = fake.name()  


address = fake.address()  


print(name)  


print(address)  

# 输出信息  


Ashley Love  


074 Lee Village Suite 464  

Dawnborough, RI 44234 

这里我们造了一个名字和一个地址,由于 Faker 默认是英文数据,所以如果我们需要造其他语言的数据,可以使用 locale参数,例如:

from faker import Faker  


fake = Faker(locale='zh_CN')  


name = fake.name()  


address = fake.address()  


print(name)  


print(address)  


# 输出信息  


张艳  

海南省上海市朝阳邱路y座 175208 

是不是看起来还不错,但是有一点需要注意,这里的地址并不是真实的地址,而是随机组合出来的,也就是将省、市、道路之类的随机组合在一起。

这里介绍几个比较常见的语言代号:

  •  简体中文:zh_CN
  •  繁体中文:zh_TW
  •  美国英文:en_US
  •  英国英文:en_GB
  •  德文:de_DE
  •  日文:ja_JP
  •  韩文:ko_KR
  •  法文:fr_FR

例如将语言修改为繁体中文fake = Faker(locale='zh_TW'),输出信息为:

钪竞  

100 中炔劢109 

3.2 常用函数

除了上述介绍的fake.name和fake.address生成姓名和地址两个函数外,常用的faker函数按类别划分有如下一些常用方法。

1、地理信息类

  •  fake.city_suffix():市,县
  •  fake.country():国家
  •  fake.country_code():国家编码
  •  fake.district():区
  •  fake.geo_coordinate():地理坐标
  •  fake.latitude():地理坐标(纬度)
  •  fake.longitude():地理坐标(经度)
  •  fake.postcode():邮编
  •  fake.province():省份
  •  fake.address():详细地址
  •  fake.street_address():街道地址
  •  fake.street_name():街道名
  •  fake.street_suffix():街、路

2、基础信息类

  1.  ssn():生成身份证号
  2.  bs():随机公司服务名
  3.  company():随机公司名(长)
  4.  company_prefix():随机公司名(短)
  5.  company_suffix():公司性质
  6.  credit_card_expire():随机信用卡到期日
  7.  credit_card_full():生成完整信用卡信息
  8.  credit_card_number():信用卡号
  9.  credit_card_provider():信用卡类型
  10.  credit_card_security_code():信用卡安全码
  11.  job():随机职位
  12.  first_name_female():女性名
  13.  first_name_male():男性名
  14.  last_name_female():女姓
  15.  last_name_male():男姓
  16.  name():随机生成全名
  17.  name_female():男性全名
  18.  name_male():女性全名
  19.  phone_number():随机生成手机号
  20.  phonenumber_prefix():随机生成手机号段

3、计算机基础、Internet信息类

  1.  ascii_company_email():随机ASCII公司邮箱名
  2.  ascii_email():随机ASCII邮箱:
  3.  company_email():
  4.  email():
  5.  safe_email():安全邮箱

4、网络基础信息类

  1.  domain_name():生成域名
  2.  domain_word():域词(即,不包含后缀)
  3.  ipv4():随机IP4地址
  4.  ipv6():随机IP6地址
  5.  mac_address():随机MAC地址
  6.  tld():网址域名后缀(.com,.net.cn,等等,不包括.)
  7.  uri():随机URI地址
  8.  uri_extension():网址文件后缀
  9.  uri_page():网址文件(不包含后缀)
  10.  uri_path():网址文件路径(不包含文件名)
  11.  url():随机URL地址
  12.  user_name():随机用户名
  13.  image_url():随机URL地址

5、浏览器信息类

  1.  chrome():随机生成Chrome的浏览器user_agent信息
  2.  firefox():随机生成FireFox的浏览器user_agent信息
  3.  internet_explorer():随机生成IE的浏览器user_agent信息
  4.  opera():随机生成Opera的浏览器user_agent信息
  5.  safari():随机生成Safari的浏览器user_agent信息
  6.  linux_platform_token():随机Linux信息
  7.  user_agent():随机user_agent信息

6、数字类

  1.  numerify():三位随机数字
  2.  random_digit():0~9随机数
  3.  random_digit_not_null():1~9的随机数
  4.  random_int():随机数字,默认0~9999,可以通过设置min,max来设置
  5.  random_number():随机数字,参数digits设置生成的数字位数
  6.  pyfloat():
  7.  left_digits=5 #生成的整数位数,right_digits=2 #生成的小数位数,positive=True #是否只有正数
  8.  pyint():随机Int数字(参考random_int()参数)
  9.  pydecimal():随机Decimal数字(参考pyfloat参数)

7、文本、加密类

  1.  pystr():随机字符串
  2.  random_element():随机字母
  3.  random_letter():随机字母
  4.  paragraph():随机生成一个段落
  5.  paragraphs():随机生成多个段落
  6.  sentence():随机生成一句话
  7.  sentences():随机生成多句话,与段落类似
  8.  text():随机生成一篇文章
  9.  word():随机生成词语
  10.  words():随机生成多个词语,用法与段落,句子,类似
  11.  binary():随机生成二进制编码
  12.  boolean():True/False
  13.  language_code():随机生成两位语言编码
  14.  locale():随机生成语言/国际 信息
  15.  md5():随机生成MD5
  16.   null_boolean():NULL/True/False
  17.  password():随机生成密码,可选参数:length:密码长度;special_chars:是否能使用特殊字符;digits:是否包含数字;upper_case:是否包含大写字母;lower_case:是否包含小写字母
  18.  sha1():随机SHA1
  19.  sha256():随机SHA256
  20.  uuid4():随机UUID

8、时间信息类

  1.  date():随机日期
  2.  date_between():随机生成指定范围内日期,参数:start_date,end_date
  3.  date_between_dates():随机生成指定范围内日期,用法同上
  4.  date_object():随机生产从1970-1-1到指定日期的随机日期。
  5.  date_time():随机生成指定时间(1970年1月1日至今)
  6.  date_time_ad():生成公元1年到现在的随机时间
  7.  date_time_between():用法同dates
  8.  future_date():未来日期
  9.  future_datetime():未来时间
  10.  month():随机月份
  11.  month_name():随机月份(英文)
  12.  past_date():随机生成已经过去的日期
  13.  past_datetime():随机生成已经过去的时间
  14.  time():随机24小时时间
  15.  timedelta():随机获取时间差
  16.  time_object():随机24小时时间,time对象
  17.  time_series():随机TimeSeries对象
  18.  timezone():随机时区
  19.  unix_time():随机Unix时间
  20.  year():随机年份

9、python 相关方法

  1.  profile():随机生成档案信息
  2.  simple_profile():随机生成简单档案信息
  3.  pyiterable()
  4.  pylist()
  5.  pyset()
  6.  pystruct()
  7.  pytuple()
  8.  pydict()

可以用dir(fake),看Faker库都可以fake哪些数据,目前Faker支持近300种数据,此外还支持自己进行扩展。

有了这些生成数据函数之后用fake对象就可以调用不同的方法生成各种数据了。

3.3 常用数据场景

1、构造通讯录记录

from faker import Faker  


fake = Faker(locale='zh_CN')  


for _ in range(5):  


    print('姓名:', fake.name(), ' 手机号:', fake.phone_number())      


# 输出信息:  


姓名: 骆柳  手机号: 18674751460  


姓名: 薛利  手机号: 13046558454  


姓名: 翟丽丽  手机号: 15254904803  


姓名: 宋秀珍  手机号: 13347585045  

姓名: 孔桂珍  手机号: 18258911504 

2、构造信用卡数据

from faker import Faker  


fake = Faker(locale='zh_CN')  


print('Card Number:', fake.credit_card_number(card_type=None))  


print('Card Provider:', fake.credit_card_provider(card_type=None))  


print('Card Security Code:', fake.credit_card_security_code(card_type=None))  


print('Card Expire:', fake.credit_card_expire())  


# 输出信息:  


Card Number: 676181530350  


Card Provider: Diners Club / Carte Blanche  


Card Security Code: 615  

Card Expire: 09/21 

3、生成个人档案信息

from faker import Faker  


fake = Faker(locale='zh_CN')  


print(fake.profile())  


# 输出信息  

{'job': '美术指导', 'company': '易动力传媒有限公司', 'ssn': '370703197807179500', 'residence': '广西壮族自治区旭县蓟州东莞街L座 784064', 'current_location': (Decimal('78.3608745'), Decimal('-95.946407')), 'blood_group': 'B+', 'website': ['https://www.jiewang.org/', 'https://www.longsong.cn/', 'https://jingyong.net/', 'https://58.cn/'], 'username': 'qinqiang', 'name': '唐伟', 'sex': 'F', 'address': '新疆维吾尔自治区建华市东丽拉萨街a座 875743', 'mail': '[email protected]', 'birthdate': datetime.date(2014, 4, 27)} 

4、生成Python相关结构信息

from faker import Faker  


fake = Faker(locale='zh_CN')  


print('生成Python字典: {}'.format(fake.pydict(  


    nb_elements=10, variable_nb_elements=True)))  # Python字典  


print('生成Python可迭代对象:{}.'.format(fake.pyiterable(  


    nb_elements=10, variable_nb_elements=True)))   # Python可迭代对象  


print('生成Python结构:{}'.format(fake.pystruct(count=1)))  # Python结构  


# 输出信息  

成Python字典: {'论坛': 'nVcSbHlrcrhIBtwByVUM', '直接': 'drkyFUNcNxdbwYKhRLEZ', '成功': 'https://fang.cn/main/search/blog/search/', '没有': datetime.datetime(2006, 2, 24, 15, 40, 14), '原因': 404, '作者': 'OTJjsFHQklpUvTPtLCqP'} 
生成Python可迭代对象:{1088, 'ignqbohwYRxqolLEzSti', 'http://gang.cn/main/search.php', 'zRnNYdIpPXUxEVISHbvS', 'ToZxuBetghvlPHUumAvi', 9830, 'OYAjoKeVNGhHMLgnYUAw', 970446.888, -17681479853.4069, 872236250787063.0, datetime.datetime(2017, 12, 24, 5, 58, 58), 'aRSfxiUSuMqHXvKCCkMJ'} 
生成Python结构:(['cKwOvdCEFOhCERMSMXSf'], {'只有': 'hhwGCmjkHMOUjBTDztXp'}, {'还有': {0: 'vjcNqpnRbNUUxXpgVyvh', 1: [8725, 7125, 'aTSJssAJUKpuRLcbiwyK'], 2: {0: 'RmWlFQQpVZIQkxZPfJnq', 1: 'efsUVLgeStXbCOJDuJCf', 2: ['FgZQLCRjUTmEbBdDMEPZ', 'https://min.cn/search/faq/']}}}) 

 4. 自定义Faker数据类型

如果这些数据还不够生成数据使用,Faker还支持创建自定义的Provider生成数据。

from faker import Faker  


from faker.providers import BaseProvider  


# 创建自定义Provider  


class CustomProvider(BaseProvider):  


    def customize_type(self):  


        return 'test_Faker_customize_type'  


# 添加Provider  


fake = Faker()  


fake.add_provider(CustomProvider)  

print(fake.customize_type()) 

是不是十分简单,以后常用的数据就可以自己创建Provider用自动化的方法生成了,不仅节省了时间,复用性也变高了。

5. 总结

相关推荐