Python 高级应用程序设计任务

zhangpan

2019-12-21

关注关注

一.主题式网络爬虫设计方案

1.主题式网络爬虫的名称

爬拥有超级计算机500强的公司和数量

2·主题式网络爬虫的内容与数据特征分析

爬虫的内容：超级计算机500强

数据特征分析：对前500强超级计算机的品牌公司进行分析

3，主题式网络爬虫设计方案概述（包括实现思路和技术难点）

设计方案：创建一个get的类，通过get_page爬取网页，在通过parse_page_detail()获取每个详情页所需要爬取的具体信息数据，最后通过save_to_csv()保存到csv文件中。

技术难点：网址的抓包和正文的提取

二，主题页面的结构特征分析

1，主题页面的特征结构

每页数据有100条数据，共5页，数据总量为500条，通过F12检查页面，发现所需要爬取的数据都是静态的。

2.Htmls页面解析

Python 高级应用程序设计任务

3.节点（标签）查找方法与遍历方法
（必要时画出节点树结构）

三、网络爬虫程序设计（60分）

爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。
1.数据爬取与采集

2.对数据进行清洗和处理

import requests
import json
from lxml import etree
import seaborn as sns
import pandas as pd

base_url = ‘http://www.mtime.com/top/movie/top100/‘
config_headers = {
    ‘Accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9‘,
    ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36‘
}

#数据爬取
def get_page(page_count):
    res = requests.get("https://www.top500.org/list/2019/11/?page={0}".format(page_count), headers = config_headers)
    return res.content.decode(‘utf-8‘)

def parse(data):
    html = etree.HTML(data)
    with open(‘a‘, ‘w‘, encoding=‘utf-8‘) as f:
        f.write(data)
    computer_list = html.xpath("//table/tr")
    return [parse_item(item) for item in computer_list]

#数据清洗
def parse_item(item):
    d = {}
    d[‘rank‘] = item.xpath(‘string(./td[1])‘)
    d[‘country‘] = item.xpath(‘./td[2]/text()‘)
    d[‘company‘] = item.xpath(‘./td[3]/text()‘)
    d[‘name‘] = item.xpath(‘string(./td[3]/a/b)‘)
    d[‘cores‘] = item.xpath(‘./td[4]/text()‘)
    d[‘rmax‘] = item.xpath(‘./td[5]/text()‘)
    for key, v in d.items():
        if isinstance(v, list) and len(v) > 0:
            d[key] = v[0]
    return d


parse_data = []
for i in range(1, 6):
    data = get_page(i)
    clear_data = parse(data)
    parse_data.extend(clear_data)

pd.DataFrame(parse_data).to_csv(‘data.csv‘)

def get_column(dc, column_name):
    return ‘,‘.join([item[column_name] for item in dc])

4.数据分析与可视化
（例如：数据柱形图、直方图、散点图、盒图、分布图、数据回归分析等）

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

f = open(‘data.csv‘,encoding=‘UTF-8‘)
data = pd.read_csv(f,sep=‘,‘,header=None,encoding=‘UTF-8‘,names=[‘rank‘,‘country‘,‘company‘,‘name‘,‘ores‘,‘rmax‘])

#各国家拥有超级电脑数量
country = data[‘country‘].value_counts()
sns.set_style("darkgrid")
bar_plot = sns.barplot(x=(country.index),y=country.values, palette="muted")
plt.xticks(rotation=90)
plt.show()

Python 高级应用程序设计任务

每个国家拥有超级计算机的数量

import matplotlib.pyplot as plt
from wordcloud import WordCloud
import pandas as pd

f = open(‘data.csv‘,encoding=‘UTF-8‘)
data = pd.read_csv(f,sep=‘,‘,header=None,encoding=‘UTF-8‘,names=[‘rank‘,‘country‘,‘company‘,‘name‘,‘ores‘,‘rmax‘])

def draw_country_wordcloud():
    country_str = ",".join(data[‘country‘])
    #生成国家词云
    country_wordcloud = WordCloud(background_color="white",width=1000, height=860, margin=2).generate(country_str)
    #生成公司词云
    plt.imshow(country_wordcloud)
    plt.axis("off")
    plt.show()
    country_wordcloud.to_file(‘country_wordcloud.png‘)

def draw_company_wordcloud():
    company_str = ",".join(data[‘company‘])
    company_wordcloud = WordCloud(background_color="white",width=1000, height=860, margin=2).generate(company_str)
    plt.imshow(company_wordcloud)
    plt.axis("off")
    plt.show()
    company_wordcloud.to_file(‘country_wordcloud.png‘)


draw_country_wordcloud()

Python 高级应用程序设计任务