Python除了做爬虫抓数据还能做什么？其实还能监视和衡量网站性能
借助这份对初学者友好的指南，您可以构建自己的自定义Python脚本来自动测量网站的关键速度和性能指标。
在过去的一个月中，Google宣布了许多通过关键速度和性能指标来衡量用户体验的方法。
巧合的是，我一直在努力编写一个Python脚本，该脚本使用Google PageSpeed Insights(PSI)API一次收集多个页面的指标，而无需为每个单独的URL运行测试。
收到Google的公告后，我认为现在是共享它的绝佳时机，并解释了如何创建对初学者友好的Python脚本。
关于脚本的最好的事情是，一旦建立了基础，就可以提取许多不同的指标，这些指标可以在页面速度测试以及Lighthouse分析中找到。
网络重要指标简介
5月初，Google推出了Core Web Vitals，它是其关键Web Vitals指标的一部分。
这些指标用于提供有关网站上用户体验质量的指导。
Google将其描述为“帮助量化您的网站体验并确定改进机会”的一种方式，进一步强调了它们向关注用户体验的转变。
核心网络生命力是真实的，以用户为中心的指标，用于衡量用户体验的关键方面。加载时间，互动性和稳定性。
除此之外，Google 上周宣布，他们将引入一个新的搜索排名信号，它将这些指标与现有页面体验信号(例如移动设备友好性和HTTPS安全性)结合在一起，以确保它们继续为高质量网站提供服务给用户。
监控性能指标
预计此更新将于2021年推出，Google已确认不需要立即采取行动。
但是，为了帮助我们为这些更改做准备，他们更新了用于测量页面速度的工具，包括PSI，Google Lighthouse和Google Search Console Speed Report。
Pagespeed Insights API从何入手?
Google的PageSpeed Insights是查看网页效果摘要的有用工具，它使用现场数据和实验室数据来生成结果。
这是获得少数URL概述的好方法，因为它是逐页使用的。
但是，如果您在大型站点上工作，并且希望获得大规模的见解，那么该API可以有利于一次分析多个页面，而无需单独插入URL。
用于衡量性能的Python脚本
我创建了以下Python脚本来大规模度量关键性能指标，以节省手动测试每个URL所花费的时间。
该脚本使用Python将请求发送到Google PSI API，以收集和提取在PSI和Lighthouse中显示的指标。
我决定在Google Colab中编写此脚本，因为这是开始编写Python并允许轻松共享的好方法，因此本文将使用Google Colab贯穿整个安装过程。
但是，它也可以在本地运行，对数据的上传和下载进行一些调整。
请务必注意，某些步骤可能需要一些时间才能完成，尤其是当每个URL通过API运行时，为了不使请求过载。
因此，您可以在后台运行脚本，并在完成步骤后返回到脚本。
让我们逐步介绍启动和运行此脚本所需的步骤。
步骤1：安装所需的软件包
在开始编写任何代码之前，我们需要安装一些Python程序包，然后才能使用该脚本。这些使用导入功能很容易安装。
我们需要的软件包是：
- urllib：用于处理，打开，阅读和解析URL。
- json：允许您将JSON文件转换为Python或将Python文件转换为JSON。
- request：一个HTTP库，用于发送各种HTTP请求。
- pandas：主要用于数据分析和处理，我们正在使用它来创建DataFrames。
- time：一个用于处理时间的模块，我们正在使用它在请求之间提供时间间隔。
- 文件：通过Google Colab，您可以上传和下载文件。
- io：用于访问文件的默认接口。
# Import required packages import json import requests import pandas as pd import urllib import time from google.colab import files import io
第2步：设置API请求
下一步是设置API请求。完整的说明可以在这里找到，但是从本质上讲，该命令将如下所示：
- https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={yourURL}/&strategy=mobile/&key={yourAPIKey}
这将允许您附加URL，策略(台式机或移动设备)和API密钥。
要在Python中使用它，我们将使用urllib请求库urllib.request.urlopen并将其添加到名为result的变量中，以便我们可以存储结果并在脚本中再次使用它们。
# Define URL
url = 'https://www.example.co.uk'
# API request url
result = urllib.request.urlopen('https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={}/&strategy=mobile'\
.format(url)).read().decode('UTF-8')
print(result) 步骤3：测试API
为了测试API的正确设置以及对测试过程中生成的内容的理解，我使用简单的urllib.request方法通过API运行了一个URL。
完成此操作后，我将结果转换为json文件并下载了它，以便查看结果。
# Convert to json format
result_json = json.loads(result)
print(result_json)
with open('result.json', 'w') as outfile:
json.dump(result_json, outfile)
files.download('result.json') (请注意，此方法用于在Google Colab中转换和下载JSON文件。)
步骤4：读取JSON档案
JSON文件显示字段数据(存储在loadingExperience下)和实验室数据(可以在lighthouseResult下找到)。
为了提取所需的指标，我们可以利用JSON文件的格式，因为我们能够看到每个部分下面的指标。
第5步：上传CSV并存储为Pandas数据框
下一步是上传我们要通过PSI API运行的URL的CSV文件。您可以通过抓取工具(例如DeepCrawl)生成站点URL的列表。
当我们使用API时，建议您在此处使用较小的URL示例集，尤其是在您拥有大型站点的情况下。
例如，您可以使用访问量最高的页面或产生最大收入的页面。另外，如果您的站点有模板，则非常适合测试其中的模板。
您还可以在此处添加column-header变量，我们将在遍历列表时使用该变量。确保此名称与您上传的CSV文件中的列标题名称匹配：
uploaded = files.upload() #if your column header is something other than 'url' please define it here column_header='url'
(请注意，此方法用于在Google Colab中上传CSV文件。)
将其上传后，我们将使用Pandas库将CSV转换为DataFrame，我们可以在以下步骤中进行迭代。
# Get the filename from the upload so we can read it into a CSV. for key in uploaded.keys(): filename = key # Read the selected file into a Pandas Dataframe df = pd.read_csv(io.BytesIO(uploaded[filename])) df.head()
DataFrame看起来像这样，从零索引开始。
步骤6：将结果保存到响应对象
下一步涉及使用for循环来迭代刚刚通过PSI API创建的URL的DataFrame。
for循环使我们可以遍历上载的列表并为每个项目执行命令。然后，我们可以将结果保存到响应对象中，并将其转换为JSON文件。
response_object = {}
# Iterate through the df
for x in range(0, len(df)):
# Define request parameter
url = df.iloc[x][column_header]
# Make request
pagespeed_results = urllib.request.urlopen('https://www.googleapis.com/pagespeedonline/v5/runPagespeed?url={}&strategy=mobile'.format(url)).read().decode('UTF-8')
# Convert to json format
pagespeed_results_json = json.loads(pagespeed_results)
# Insert returned json response into response_object
response_object[url] = pagespeed_results_json
time.sleep(30)
print(response_object[url]) 我们将在此处使用范围内的x，它表示循环中正在运行的URL，以及(0，len)允许循环遍历DataFrame中的所有URL，无论包含多少个URL 。
该响应对象防止通过重写相互循环，你的网址，使我们能够保存数据以备将来使用。
这也是在将其转换为JSON文件之前，将使用列标题变量定义URL请求参数的地方。
我还将此处的睡眠时间设置为30秒，以减少连续进行的API调用次数。
另外，如果您希望更快地提出请求，则可以在URL命令的末尾附加一个API密钥。
缩进在这里也很重要，因为每个步骤都是for循环的一部分，因此必须在命令中缩进它们。
步骤7：创建一个数据框来存储响应
我们还需要创建一个DataFrame来存储我们要从响应对象中提取的指标。
DataFrame是类似于表的数据结构，具有存储数据的列和行。我们只需要为每个指标添加一列并适当地命名它，如下所示：
# Create dataframe to store responses df_pagespeed_results = pd.DataFrame(columns= ['url', 'Overall_Category', 'Largest_Contentful_Paint', 'First_Input_Delay', 'Cumulative_Layout_Shift', 'First_Contentful_Paint', 'Time_to_Interactive', 'Total_Blocking_Time', 'Speed_Index']) print(df_pagespeed_results)
出于此脚本的目的，我使用了Core Web Vital指标以及当前Lighthouse版本中使用的其他负载和交互性指标。
这些指标各自具有不同的权重，然后将它们用于总体绩效得分：
- LCP
- FID
- CLS
- FCP
- TTI
- TBT
您可以在上方链接的各个目标网页上找到有关每个指标的更多信息以及如何解释分数的信息。
我还选择包括速度指数和整体类别，这些类别将提供慢速，平均或快速得分。
步骤8：从响应对象中提取指标
保存响应对象后，我们现在可以对其进行过滤并仅提取所需的指标。
在这里，我们将再次使用for循环遍历响应对象文件，并设置一系列列表索引以仅返回特定指标。
为此，我们将从DataFrame中定义列名称，以及为每个URL从中提取每个指标的响应对象的特定类别。
for (url, x) in zip( response_object.keys(), range(0, len(response_object)) ): # URLs df_pagespeed_results.loc[x, 'url'] =\ response_object[url]['lighthouseResult']['finalUrl'] # Overall Category df_pagespeed_results.loc[x, 'Overall_Category'] =\ response_object[url]['loadingExperience']['overall_category'] # Core Web Vitals # Largest Contentful Paint df_pagespeed_results.loc[x, 'Largest_Contentful_Paint'] =\ response_object[url]['lighthouseResult']['audits']['largest-contentful-paint']['displayValue'] # First Input Delay fid = response_object[url]['loadingExperience']['metrics']['FIRST_INPUT_DELAY_MS'] df_pagespeed_results.loc[x, 'First_Input_Delay'] = fid['percentile'] # Cumulative Layout Shift df_pagespeed_results.loc[x, 'Cumulative_Layout_Shift'] =\ response_object[url]['lighthouseResult']['audits']['cumulative-layout-shift']['displayValue'] # Additional Loading Metrics # First Contentful Paint df_pagespeed_results.loc[x, 'First_Contentful_Paint'] =\ response_object[url]['lighthouseResult']['audits']['first-contentful-paint']['displayValue'] # Additional Interactivity Metrics # Time to Interactive df_pagespeed_results.loc[x, 'Time_to_Interactive'] =\ response_object[url]['lighthouseResult']['audits']['interactive']['displayValue'] # Total Blocking Time df_pagespeed_results.loc[x, 'Total_Blocking_Time'] =\ response_object[url]['lighthouseResult']['audits']['total-blocking-time']['displayValue'] # Speed Index df_pagespeed_results.loc[x, 'Speed_Index'] =\ response_object[url]['lighthouseResult']['audits']['speed-index']['displayValue']
我已将此脚本设置为提取上面提到的关键指标，因此您可以立即使用它来收集此数据。
但是，可以提取在PSI测试以及Lighthouse分析中都可以找到的许多其他有用指标。
在此JSON文件可用于查看每个指标在列表中的位置。
例如，在从Lighthouse审核中提取指标(例如“互动时间”的显示值)时，将使用以下内容：
df_pagespeed_results.loc[x, 'Time_to_Interactive'] =\ response_object[url]['lighthouseResult']['audits']['interactive']['displayValue']
再一次，重要的是要确保每一个都位于循环中，否则它们将不会包含在迭代中，并且只会为一个URL生成一个结果。
步骤9：将DataFrame转换为CSV文件
最后一步是创建一个摘要文件以收集所有结果，因此我们可以将其转换为易于分析的格式，例如CSV文件。
summary = df_pagespeed_results
df_pagespeed_results.head()
#Download csv file
summary.to_csv('pagespeed_results.csv')
files.download('pagespeed_results.csv') (请注意，此方法用于在Google Colab中转换和下载CSV文件。)
进一步探索数据
目前，我们导出的所有指标都存储为字符串，这是用于文本和字符的Python数据类型。
由于我们提取的某些指标实际上是数字值，因此您可能希望将字符串转换为数字数据类型，例如整数和浮点数。
整数，也称为int，是整数的数据类型，例如1和10。
浮点数，也称为浮点数，是十进制点数，例如1.0和10.1。
为了将字符串转换为数字，我们需要执行两个步骤，第一步是将's'字符(用于表示秒)替换为空格。
我们通过在每列上使用.str.replace方法来执行此操作。
#Replace the 's' with a blank space so we can turn into numbers
df_pagespeed_results['Largest_Contentful_Paint'] = df_pagespeed_results.Largest_Contentful_Paint.str.replace('s', '')
df_pagespeed_results['First_Contentful_Paint'] = df_pagespeed_results.First_Contentful_Paint.str.replace('s', '')
df_pagespeed_results['Time_to_Interactive'] = df_pagespeed_results.Time_to_Interactive.str.replace('s', '')
df_pagespeed_results['Total_Blocking_Time'] = df_pagespeed_results.Total_Blocking_Time.str.replace('ms', '')
df_pagespeed_results['Speed_Index'] = df_pagespeed_results.Speed_Index.str.replace('s', '') 然后，我们将使用.astype()方法将字符串转换为整数或浮点数：
#Turn strings into intergers or floats df_pagespeed_results['Largest_Contentful_Paint'] = df_pagespeed_results.Largest_Contentful_Paint.astype(float) df_pagespeed_results['Cumulative_Layout_Shift'] = df_pagespeed_results.Cumulative_Layout_Shift.astype(int) df_pagespeed_results['First_Contentful_Paint'] = df_pagespeed_results.First_Contentful_Paint.astype(float) df_pagespeed_results['Time_to_Interactive'] = df_pagespeed_results.Time_to_Interactive.astype(float) df_pagespeed_results['Speed_Index'] = df_pagespeed_results.Speed_Index.astype(float)
完成此操作后，您可以使用多种不同的方法进一步评估数据。
例如，您可以使用数据可视化库(例如matplotlib或seaborn)来可视化指标，以及测量指标如何随时间变化并将结果分组为慢速，中速和快速存储桶。
由于我们已经介绍了很多内容，因此我不会在本文中介绍这些内容，但是如果您想了解更多信息，请随时与我们联系。
结论
该脚本最终帮助我测量了一组URL的关键页面速度和性能指标，并可视化了结果以识别需要改进的页面。
它还允许您随时间监视结果并量化已进行的改进。
我还创建了一个脚本来专门测量三个核心Web Vitals的百分比和类别。