Python爬虫随笔
1.利用urllib库爬取python123.io网站的html代码
1 import urllib.request 2 response=urllib.request.urlopen("http://python123.io/") 3 print(response.read().decode("utf-8"))
2.网络数据采集的一个常用功能就是获取 HTML 表格并写入 CSV 文件。维基百科的文本编 辑器对比词条(https://en.wikipedia.org/wiki/Comparison_of_text_editors)中用了许多复杂 的 HTML 表格,用到了颜色、链接、排序,以及其他在写入 CSV 文件之前需要忽略的 HTML 元素。用 BeautifulSoup 和 get_text() 函数,你可以用十几行代码完成这件事:
import csv from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://en.wikipedia.org/wiki/Comparison_of_text_editors") bsObj = BeautifulSoup(html) # 主对比表格是当前页面上的第一个表格 table = bsObj.findAll("table",{"class":"wikitable"})[0] rows = table.findAll("tr") csvFile = open("C:/Users/Administrator/Desktop/test2.csv", ‘wt‘, newline="", encoding=‘utf-8‘) writer = csv.writer(csvFile) try: for row in rows: csvRow = [] for cell in row.findAll([‘td‘, ‘th‘]): csvRow.append(cell.get_text()) writer.writerow(csvRow) finally: csvFile.close()
相关推荐
夜斗不是神 2020-11-17
染血白衣 2020-11-16
YENCSDN 2020-11-17
lsjweiyi 2020-11-17
houmenghu 2020-11-17
Erick 2020-11-17
HeyShHeyou 2020-11-17
以梦为马不负韶华 2020-10-20
lhtzbj 2020-11-17
pythonjw 2020-11-17
dingwun 2020-11-16
lhxxhl 2020-11-16
坚持是一种品质 2020-11-16
huavhuahua 2020-11-20
meylovezn 2020-11-20
逍遥友 2020-11-20
weiiron 2020-11-16