我使用过的Linux命令之curl - 强大的网络传输工具

deliciousion

2010-11-10

我使用过的Linux命令之curl-强大的网络传输工具

用途说明

curl命令是一个功能强大的网络工具，它能够通过http、ftp等方式下载文件，也能够上传文件。其实curl远不止前面所说的那些功能，大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。

curl命令使用了libcurl库来实现，libcurl库常用在C程序中用来处理HTTP请求，curlpp是libcurl的一个C++封装，这几个东西可以用在抓取网页、网络监控等方面的开发，而curl命令可以帮助来解决开发过程中遇到的问题。

常用参数

curl命令参数很多，这里只列出我曾经用过、特别是在shell脚本中用到过的那些。

-v/--verbose 小写的v参数，用于打印更多信息，包括发送的请求信息，这在调试脚本是特别有用。

-m/--max-time <seconds> 指定处理的最大时长

-H/--header <header> 指定请求头参数

-s/--slient 减少输出的信息，比如进度

--connect-timeout <seconds> 指定尝试连接的最大时长

-x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口，端口默认为1080

-T/--upload-file <file> 指定上传文件路径

-o/--output <file> 指定输出文件名称

-d/--data/--data-ascii <data> 指定POST的内容

--retry <num> 指定重试次数

-e/--referer <URL> 指定引用地址

-I/--head 仅返回头部信息，使用HEAD请求

使用示例

示例一获取指定网页

[root@jfht ~]# curl http://www.sunrisecorp.net/

<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<htmlxmlns="http://www.w3.org/1999/xhtml">

<head>

<metahttp-equiv="Content-Type"content="text/html;charset=gbk"/>

<metaname="title"content="欢迎您-上海腾一"/>

<metaname="keyword"content="上海腾一，融合通信，电子商务，语音通信，数据通信，基站工程外包托管，物联网，网站建设，电子商务解决方案，移动互联网，短信，彩信，呼叫中心，多方会议，PBX，IVR，电子商务策划方案，设备代维，网络优化，通信工程，电信增值，3G"/>

<metaname="description"content="上海腾一信息技术有限公司专注于电信增值、通信工程、电子商务等领域，拥有近十年的经验。"/>

<title>

欢迎您-上海腾一

</title>

插播一下广告：上海腾一信息技术有限公司是一家致力于通信工程、电子商务和电信增值业务的公司，请访问官方网址：http://www.sunrisecorp.net/。

此处省略掉网页内容。

</body>

</html>[root@jfht ~]#

示例二查看响应头信息

[root@jfht ~]# curl -I http://www.sunrisecorp.net/

HTTP/1.1200OK

Server:Apache-Coyote/1.1

Accept-Ranges:bytes

ETag:W/"17801-1285643951000"

Last-Modified:Tue,28Sep201003:19:11GMT

Content-Type:text/html

Content-Length:17801

Date:Tue,12Oct201012:49:20GMT

[root@jfht ~]#

示例三检查网页是否可正常访问

以下是一个tomcat监控脚本的部分内容。

# usage: check_once <port> <path>
# 使用curl检查网页是否可以正常访问，如果不能访问就重启tomcat。
check_once()
{
        echo
        echo "$(date)  Tomcat check once"
        # 2008.08.21 -I/--head -s/--silent
        #if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/; then
        # 2010.02.16 add 200 OK test
        if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/$2 | grep -q '200 OK';


 then
                echo "$(date)  Tomcat maybe OK"
        else
                echo "$(date)  Tomcat maybe FAULT"
                restart
        fi
}

# usage: check_loop <port> <path>
# 每隔一分钟检查一次网页是否正常
check_loop()
{
        while true;
        do
                sleep 60
                check_once $1 $2 >> $CATALINA_HOME/logs/check.$(date +%Y-%m-%d).log
        done
}

# usage: monitor <path>
# 对path指定的本机网页进行监控
# 2008.06.26
# 2010.09.20 add path parameter
monitor()
{
        PORT=80
        if grep 'Connector port="80"' $CATALINA_HOME/conf/server.xml; then
                PORT=80
        elif grep 'Connector port="8080"' $CATALINA_HOME/conf/server.xml; then
                PORT=8080
        else
                echo "Cannot detect server port for Tomcat"
                return 12
        fi
        echo "Tomcat server port is $PORT"

        if status; then
                check_loop $PORT "$1" &
                #check_loop $PORT "$1"
        fi
}

这个脚本的执行方式是 monitor <path>，比如monitor main/index.html。下面是执行时输出的日志信息片段。

2010年 10月 09日星期六 15:20:38 CST Tomcat check once

2010年10月09日星期六15:20:46CSTTomcatmaybeOK

2010年10月09日星期六15:21:46CSTTomcatcheckonce

2010年10月09日星期六15:21:57CSTTomcatmaybeFAULT

Tomcatisnowrunning,notstopped:0

Tomcatisnowrunning,notstopped:1

Tomcatisnowrunning,notstopped:2

Tomcatisnowrunning,notstopped:3

Tomcatisnowrunning,notstopped:4

Tomcatisnowrunning,notstopped:5

Tomcatisnowrunning,notstopped:6

Tomcatisnowrunning,notstopped:7

Tomcatisnowrunning,notstopped:8

Tomcatisnowrunning,notstopped:9

TomcatkilleduseSIGKILL

Tomcatstopped

Startingtomcat

2010年10月09日星期六15:23:09CSTTomcatcheckonce

2010年10月09日星期六15:23:09CSTTomcatmaybeOK

2010年10月09日星期六15:24:09CSTTomcatcheckonce

2010年 10月 09日星期六 15:24:09 CST Tomcat maybe OK

示例四另一个检查网页是否正常的脚本

# 要检查的网页地址
URL="http://www.sunrisecorp.net/"

# usage: 
curlit()
{
        curl --connect-timeout 15 --max-time 30 --head --silent "$URL" | grep 'HTTP/1.1 200 OK'
}

# 只有MIN_ALARM次访问失败时才告警
MIN_ALARM=10

# 
doit()
{
	echo "===== $(now) ====="
	if ! curlit; then
			echo "$(now)  bbdx nss access failed"
			N=1
			if [ -e curlit_error ]; then
					N="$(cat curlit_error)"
					N=$[N+1]
			fi
			echo "$(now)  N=$N"
			echo $N >curlit_error
			if [ "$N" == "$MIN_ALARM" ]; then
					echo "$(now)  do notify"
					touch curlit_error
					notify_curlit_error
			fi
	else
			if [ -e curlit_error ]; then
					echo "$(now)  recovered"
					N=$(cat curlit_error)
					echo "$(now)  N=$N"
					rm -f curlit_error
					if [ "$N" -ge "$MIN_ALARM" ]; then
							notify_curlit_recovered
					fi
			fi
	fi
}

doit >>log/curlit.log 2>&1

示例五使用HttpPost上传数据

一个用于http post的脚本。

#!/bin/sh

MS=1350514xxxx

TM=$(date +"%Y%m%d%H%M%S")
DT=$(date +"%Y%m%d")

cat <<EOF >reqtmp.xml
<?xml version="1.0" encoding="GBK" ?>
<OwnPlatForm>
        <OrigDomain>QZT</OrigDomain>
        <HomeDomain>BOSS</HomeDomain>
        <ActivityCode>T5100001</ActivityCode>
        <ActionCode>0</ActionCode>
        <TransIDO>$TM</TransIDO>
        <TransIDH></TransIDH>
        <ProcessTime>$TM</ProcessTime>
        <CutOffDay>$DT</CutOffDay>
        <TestFlag>0</TestFlag>
        <Content>
                <![CDATA[
                        <BizProcReq>
                                <IDType>01</IDType>
                                <IDValue>$MS</IDValue>
                                <UserCity>14</UserCity>
                                <UserCounty>1419</UserCounty>
                                <OprCode>01</OprCode>
                                <BizType>51</BizType>
                                <OprTime>$TM</OprTime>
                                <OprSrc>27</OprSrc>
                                <ProductInfo>
                                        <PrdCode>510001</PrdCode>
                                </ProductInfo>
                        </BizProcReq>
                ]]>
        </Content>
</OwnPlatForm>
EOF

cat reqtmp.xml


URL="http://10.32.140.230:7092/fcgi-bin/UIG_NEWINT"

curl --verbose --upload-file reqtmp.xml  --header "Content-Type: text/xml" "$URL" --output rsptmp.xml

cat rsptmp.xml

示例六使用proxy的脚本

# usage: do_sync_once <mobile> <codes> <area_id> <opening>
do_sync_once()
{
        mobile=$1
        codes=$2
        area_id=$3
        opening=$4  
        


curl --silent --max-time 60 --proxy http://10.32.187.170:8080 "http://host/boss/sync.jsp?seq=1251747862492&mobile=$mobile&serviceCodes=$codes&areaId=$area_id&opening=$opening"

}

示例七使用Google AJAX Search API进行搜索

# usage: google_search <STR>
# Google搜索
google_search()
{
        REF="http://codingstandards.iteye.com/"
        KEY="ABQIAAAAHg_ENG5Yq9pOZd19v64gyxTMcdcN4KfyGCBxustvF1FXdNe4WBQOej_ZiBgIK6-a4M3hTxcVfSkt2g"
        STR="$1"
        # 采用网页搜索
        curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null
        # 采用博客搜索
        #curl -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null
        #curl --retry 5 -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null
        #curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null
}

安科网

我使用过的Linux命令之curl - 强大的网络传输工具

deliciousion

我使用过的Linux命令之curl-强大的网络传输工具

用途说明

常用参数

使用示例

示例一获取指定网页

示例二查看响应头信息

示例三检查网页是否可正常访问

示例四另一个检查网页是否正常的脚本

示例五使用HttpPost上传数据

示例六使用proxy的脚本

示例七使用Google AJAX Search API进行搜索

问题思考

相关资料

deliciousion

相关推荐

PHP http请求超时问题解决方案

使用curl从命令行访问互联网

在Ubuntu和其他Linux发行版上使用Yarn

cURL简介：高级程序员都在用的工具

Curl命令

Curl 分片下载

PHP利用curl发送HTTP请求的实例代码

PHP语言对接抖音快手小红书视频/图片去水印API接口源码

php模拟post提交请求调用接口示例解析

PHP如何获取Cookie并实现模拟登录

centos安装composer下载包curl时CA证书报错

一文学会爬虫技巧

终端命令行生存之——网络冲浪篇

curl获取HTTP返回状态码

curl常用参数

elasticsearch常用命令

curl

curl 的用法指南

curl

curl使用小记(二)——远程下载一张图片

deliciousion

我使用过的Linux命令之curl - 强大的网络传输工具

我使用过的Linux命令之curl-强大的网络传输工具

用途说明

常用参数

使用示例

示例一 获取指定网页

示例二 查看响应头信息

示例三 检查网页是否可正常访问

示例四 另一个检查网页是否正常的脚本

示例五 使用HttpPost上传数据

示例六 使用proxy的脚本

示例七 使用Google AJAX Search API进行搜索

问题思考

相关资料

相关推荐

示例一获取指定网页

示例二查看响应头信息

示例三检查网页是否可正常访问

示例四另一个检查网页是否正常的脚本

示例五使用HttpPost上传数据

示例六使用proxy的脚本

示例七使用Google AJAX Search API进行搜索