Python 数据库骚操作 -- MongoDB
前言
最近这几天准备介绍一下 Python 与三大数据库的使用,这是第一篇,首先来介绍 MongoDB 吧,这里介绍 MongoDB 的两款操作库,走起!!
MongoDB GUI 工具
首先介绍一款 MongoDB 的 GUI 工具 Robo 3T,初学 MongoDB 用这个来查看数据真的很爽。可以即时看到数据的增删改查,不用操作命令行来查看。
操作界面图
PyMongo(同步)
PyMongo 是一个同步操作的数据存储库。可能大家都对 PyMongo 比较熟悉了,这里就简单介绍它的增删改查等操作。
连接
# 普通连接 client= MongoClient('localhost',27017) client= MongoClient('mongodb://localhost:27017/') # # 密码连接 client= MongoClient('mongodb://username:password@localhost:27017/dbname') db= client.zfdb # db = client['zfdb'] test= db.test
增
# 增加一条记录 person = {'name':'zone','sex':'boy'} person_id = test.insert_one(person).inserted_id print(person_id) # 批量插入 persons = [{'name':'zone','sex':'boy'}, {'name':'zone1','sex':'boy1'}] result = test.insert_many(persons) print(result.inserted_ids)
删
# 删除单条记录 result1 = test.delete_one({'name':'zone'}) pprint.pprint(result1) # 批量删除 result1 = test.delete_many({'name':'zone'}) pprint.pprint(result1)
改
# 更新单条记录 res = test.update_one({'name':'zone'}, {'$set': {'sex':'girl girl'}}) print(res.matched_count) # 更新多条记录 test.update_many({'name':'zone'}, {'$set': {'sex':'girl girl'}})
查
# 查找多条记录 pprint.pprint(test.find()) # 添加查找条件 pprint.pprint(test.find({"sex":"boy"}).sort("name"))
聚合
如果你是我的老读者,那么你肯定知道我之前的骚操作,就是用爬虫爬去数据之后,用聚合统计结合可视化图表进行数据展示。
aggs = [ {"$match": {"$or": [{"field1": {"$regex":"regex_str"}}, {"field2": {"$regex":"regex_str"}}]}},# 正则匹配字段 {"$project": {"field3":1,"field4":1}},# 筛选字段 {"$group": {"_id": {"field3":"$field3","field4":"$field4"},"count": {"$sum": 1}}},# 聚合操作 ] result = test.aggregate(pipeline=aggs)
例子:以分组的方式统计 sex 这个关键词出现的次数,说白了就是统计有多少个男性,多少个女性。
test.aggregate([{'$group': {'_id':'$sex','weight': {'$sum': 1}}}])
聚合效果图:(秋招季,用Python分析深圳程序员工资有多高?)
(文章配图)
Python 工作年限要求
Python 学历要求
Motor(异步)
Motor 是一个异步实现的 MongoDB 存储库 Motor 与 Pymongo 的配置基本类似。连接对象就由 MongoClient 变为 AsyncIOMotorClient 了。下面进行详细介绍一下。
连接
# 普通连接 client= motor.motor_asyncio.AsyncIOMotorClient('mongodb://localhost:27017') # 副本集连接 client= motor.motor_asyncio.AsyncIOMotorClient('mongodb://host1,host2/?replicaSet=my-replicaset-name') # 密码连接 client= motor.motor_asyncio.AsyncIOMotorClient('mongodb://username:password@localhost:27017/dbname') # 获取数据库 db= client.zfdb # db = client['zfdb'] # 获取 collection collection= db.test # collection = db['test']
增加一条记录
添加一条记录。
async def do_insert(): document= {'name':'zone','sex':'boy'} result =awaitdb.test_collection.insert_one(document) print('result %s'% repr(result.inserted_id)) loop= asyncio.get_event_loop() loop.run_until_complete(do_insert())
增加一条记录
批量增加记录
添加结果如图所暗示。
asyncdefdo_insert(): result =awaitdb.test_collection.insert_many( [{'name': i,'sex': str(i +2)}foriinrange(20)]) print('inserted %d docs'% (len(result.inserted_ids),)) loop = asyncio.get_event_loop() loop.run_until_complete(do_insert())
批量增加记录
查找一条记录
async def do_find_one(): document=awaitdb.test_collection.find_one({'name':'zone'}) pprint.pprint(document) loop= asyncio.get_event_loop() loop.run_until_complete(do_find_one())
查找一条记录
查找多条记录
查找记录可以添加筛选条件。
asyncdefdo_find(): cursor = db.test_collection.find({'name': {'$lt':5}}).sort('i') fordocumentinawaitcursor.to_list(length=100): pprint.pprint(document) loop = asyncio.get_event_loop() loop.run_until_complete(do_find()) # 添加筛选条件,排序、跳过、限制返回结果数 asyncdefdo_find(): cursor = db.test_collection.find({'name': {'$lt':4}}) # Modify the query before iterating cursor.sort('name',-1).skip(1).limit(2) asyncfordocumentincursor: pprint.pprint(document) loop = asyncio.get_event_loop() loop.run_until_complete(do_find())
查找多条记录
统计
asyncdefdo_count():
n =awaitdb.test_collection.count_documents({})
print('%s documents in collection'% n)
n =awaitdb.test_collection.count_documents({'name': {'$gt':1000}})
print('%s documents where i > 1000'% n)
loop = asyncio.get_event_loop()
loop.run_until_complete(do_count())
统计
替换
替换则是将除 id 以外的其他内容全部替换掉。
asyncdefdo_replace(): coll = db.test_collection old_document =awaitcoll.find_one({'name':'zone'}) print('found document: %s'% pprint.pformat(old_document)) _id = old_document['_id'] result =awaitcoll.replace_one({'_id': _id}, {'sex':'hanson boy'}) print('replaced %s document'% result.modified_count) new_document =awaitcoll.find_one({'_id': _id}) print('document is now %s'% pprint.pformat(new_document)) loop = asyncio.get_event_loop() loop.run_until_complete(do_replace())
替换
更新
更新指定字段,不会影响到其他内容。
asyncdefdo_update(): coll = db.test_collection result =awaitcoll.update_one({'name':0}, {'$set': {'sex':'girl'}}) print('更新条数: %s '% result.modified_count) new_document =awaitcoll.find_one({'name':0}) print('更新结果为: %s'% pprint.pformat(new_document)) loop = asyncio.get_event_loop() loop.run_until_complete(do_update())
更新
删除
删除指定记录。
asyncdefdo_delete_many(): coll = db.test_collection n =awaitcoll.count_documents({}) print('删除前有 %s 条数据'% n) result =awaitdb.test_collection.delete_many({'name': {'$gte':10}}) print('删除后 %s '% (awaitcoll.count_documents({}))) loop = asyncio.get_event_loop() loop.run_until_complete(do_delete_many())
删除
后记
MongoDB 的骚操作就介绍到这里,有需要的学习资料的朋友可以关注我的主页哦