安科网

纯golang爬虫实战－（七）－使用mime/multipart传输附件

cmsmdn

cmsmdn

2020-02-18

关注 关注

还是先用Fiddler（设置过滤器、自动断点、捕获通信），截获以下内容：

POST http://192.168.132.80/docs/docs/UploadDoc.jsp HTTP/1.1
Accept: text/html, application/xhtml+xml, */*
Referer: http://192.168.132.80/docs/docs/DocAdd.jsp?mainid=15&subid=49&secid=48&showsubmit=1&coworkid=&prjid=&isExpDiscussion=&crmid=&hrmid=&topage=
Accept-Language: zh-CN
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
Content-Type: multipart/form-data; boundary=---------------------------7e431d37a30abc
Accept-Encoding: gzip, deflate
Host: 192.168.132.80
Content-Length: 4212
Connection: Keep-Alive
Pragma: no-cache
Cookie: testBanCookie=test; JSESSIONID=abcIswHnk9uU49ql9MP2w; loginfileweaver=%2Fwui%2Ftheme%2Fecology7%2Fpage%2Flogin.jsp%3FtemplateId%3D6%26logintype%3D1%26gopage%3D; loginidweaver=114; languageidweaver=7

-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="needShow"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docreplyable"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="usertype"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="from"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="userCategory"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="userId"

114
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="userType"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docstatus"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doccode"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docedition"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doceditionid"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="maincategory"

15
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="subcategory"

49
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="seccategory"

48
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="ownerid"

114
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docdepartmentid"

10
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doclangurage"

7
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="maindoc"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="topage"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="operation"

addsave
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="SecId"

48
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imageidsExt"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imagenamesExt"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="delImageidsExt"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="namerepeated"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docsubject"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doccontent"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="readoptercanprint"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="selectCategory"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="tempDocModule"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docmodule"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="keyword"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="selectMainDocument"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="invalidationdate"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="dummycata"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="hrmresid"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="crmid"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="projectid"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imgType"

2
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imgUrl_doccontent"

http://
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docimages_num"

0
-----------------------------7e431d37a30abc--

为了写代码简单些，直接用浏览器登录获取JSESSIONID写入代码中，在浏览器保持登录状态下运行代码。

关于Content-Length可参考https://www.cnblogs.com/lovelacelee/p/5385683.html

上面Content-Length: 4212，如果在fiddler中修改body部分，可将修改内容复制到notepad++中查看实际字符数。

代码：

package main

import (
    "bytes"
    "fmt"
    "io"
    "io/ioutil"
    "log"
    "mime/multipart"
    "net/http"
    "os"
    "path/filepath"
    "strings"

    "crypto/md5"
    "encoding/hex"
)

func main() {
    bodyBuffer := &bytes.Buffer{}
    bodyBuffer.WriteString(`-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="needShow"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docreplyable"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="usertype"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="from"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="userCategory"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="userId"

114
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="userType"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docstatus"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doccode"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docedition"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doceditionid"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="maincategory"

15
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="subcategory"

49
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="seccategory"

48
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="ownerid"

114
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docdepartmentid"

10
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doclangurage"

7
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="maindoc"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="topage"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="operation"

addsave
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="SecId"

48
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imageidsExt"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imagenamesExt"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="delImageidsExt"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="namerepeated"

0
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docsubject"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="doccontent"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="readoptercanprint"

1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="selectCategory"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="tempDocModule"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docmodule"

-1
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="keyword"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="selectMainDocument"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="invalidationdate"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="dummycata"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="hrmresid"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="crmid"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="projectid"


-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imgType"

2
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="imgUrl_doccontent"

http://
-----------------------------7e431d37a30abc
Content-Disposition: form-data; name="docimages_num"

0
-----------------------------7e431d37a30abc--`)

    headers := `Accept: text/html, application/xhtml+xml, */*
Referer: http://192.168.132.80/docs/docs/DocAdd.jsp?mainid=15&subid=49&secid=48&showsubmit=1&coworkid=&prjid=&isExpDiscussion=&crmid=&hrmid=&topage=
Accept-Language: zh-CN
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
Content-Type: multipart/form-data; boundary=---------------------------7e431d37a30abc
Accept-Encoding: gzip, deflate
Host: 192.168.132.80
Content-Length: 4212
Connection: Keep-Alive
Pragma: no-cache
Cookie: testBanCookie=test; JSESSIONID=abcIswHnk9uU49ql9MP2w; loginfileweaver=%2Fwui%2Ftheme%2Fecology7%2Fpage%2Flogin.jsp%3FtemplateId%3D6%26logintype%3D1%26gopage%3D; loginidweaver=114; languageidweaver=7`

    uri := fmt.Sprintf("http://192.168.132.80/docs/docs/DocDsp.jsp?fromFlowDoc=&id=803038&blnOsp=false&topage=&pstate=sub")
    req, err := http.NewRequest("POST", uri, ioutil.NopCloser(bodyBuffer))
    if err != nil {
        log.Printf("Cannot NewRequest: %s , err: %v", uri, err)
        return
    }
    AddHeaders(req, headers)
    fmt.Println(req.Header)
    //fmt.Println(req.Body)
    client := &http.Client{}
    resp, err := client.Do(req)
    defer resp.Body.Close()
    if err != nil {
        log.Printf("Cannot client.Do, err: %v", err)
        return
    }
    body, _ := ioutil.ReadAll(resp.Body)
    fmt.Println(len(string(body)))

}

func attachField(bodyWriter *multipart.Writer, keyname, keyvalue string) error {
    if err := bodyWriter.WriteField(keyname, keyvalue); err != nil {
        log.Printf("Cannot WriteField: %s, err: %v", keyname, err)
        return err
    }
    return nil
}

func attachFile(bodyWriter *multipart.Writer, formname, filename string) error {
    fullname := filepath.Join(".", filename)
    file, err := os.Open(fullname)
    if err != nil {
        log.Printf("Cannot open file: %s , err: %v", fullname, err)
        return err
    }
    defer file.Close()

    // MD5
    md5hash := md5.New()
    if _, err = io.Copy(md5hash, file); err != nil {
        log.Printf("Cannot open md5 hash: %s , err: %v", fullname, err)
        return err
    }

    keyname := filename + ".md5cksum"
    keyvalue := hex.EncodeToString(md5hash.Sum(nil)[:16])
    if err = attachField(bodyWriter, keyname, keyvalue); err != nil {
        log.Printf("Cannot WriteField: %s, err: %v", keyname, err)
        return err
    }

    // file
    part, err := bodyWriter.CreateFormFile(formname, filename)
    if err != nil {
        log.Printf("Cannot CreateFormFile for: %s , err: %v", filename, err)
        return err
    }

    _, err = io.Copy(part, file)
    if err != nil {
        log.Printf("Cannot Copy file: %s , err: %v", fullname, err)
        return err
    }

    return nil
}

func AddHeaders(req *http.Request, headers string) *http.Request {
    //将传入的Header分割成[]ak和[]av
    a := strings.Split(headers, "\n")
    ak := make([]string, len(a[:]))
    av := make([]string, len(a[:]))
    //要用copy复制值；若用等号仅表示指针，会造成修改ak也就是修改了av
    copy(ak, a[:])
    copy(av, a[:])
    //fmt.Println(ak[0], av[0])
    for k, v := range ak {
        i := strings.Index(v, ":")
        j := i + 1
        ak[k] = v[:i]
        av[k] = v[j:]
        //设置Header
        req.Header.Set(ak[k], av[k])
    }
    return req
}

重要，注意：代码中的请求uri地址与最初截获的请求地址不一样！我在这里被卡了一天。后来，

中断响应才发现，原来有一个302跳转，所以要将代码中的uri改为302跳转后的请求地址才能成功。

参考：

https://www.jianshu.com/p/f2d9c601c66a （重点推荐）

https://www.cnblogs.com/wonyun/p/7966967.html

https://my.oschina.net/bianweiall/blog/544355

https://stackoverflow.com/questions/3508338/what-is-the-boundary-in-multipart-form-data

https://studygolang.com/articles/14075

https://www.jianshu.com/p/f95558a49e98

mime golang form

cmsmdn

cmsmdn

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

python实现邮件循环自动发件功能

发邮件是一种很常见的操作，本篇主要介绍一下如何用python实现自动发件。att.add_header#这一步可避免文件不能正常打开。image.add_header#可避免图片不能正常打开

GhostLWB 2020-09-11

python发送邮件

　　在实际开发中，有很多场景都需要消息通知，消息通知的类型主要分为短信、web页面消息、邮件。python发送邮件主要使用smtplib和email模块，smtplib模块主要负责发送邮件：是一个发送邮件的动作，连接发送邮件的动作，连接服务器，登录邮箱，发

一叶不知秋 2020-07-09

PHP实现获取文件mime类型多种方法解析

本文实例讲述了php获取文件mime类型的方法。分享给大家供大家参考。Returns the MIME content type for a file as determined by using information from the magic.mi

天步 2020-06-13

nginx访问静态文件不下载,修改默认流下载

HTTP服务器在发送一份报文主体时，在HTTP报文头部插入解释自身数据类型的MIME头部信息。2）application/octet-stream是HTTP规范中Content-Type的一种，意思是 未知的应用程序文件 ，浏览器一般不会自动执行或询问执行

Strongding 2020-06-03

Linux下Apache服务器放置.3gp文件的设置

在Linux下上午Apache服务器放置.3gp文件的相关知识,如果你直接在Apache上边放置.3gp文件，会被当成文本文件传输，手机打开后就是乱码。需要给Apache添加一个mime type来解决。如果是Apache2 最好加到 <IfModu

ziyifengfei 2008-02-08

Linux Apache的.htaccess控制php.ini 与MIME类型

在Linux+Apache+PHP+MySQL配置里，其中PHP有两种工作模式，一种是Apache Mode一种是CGI/phpsuexec，安装时二选一。MOD_PHP比较普遍使用，他将PHP交给Apache管理，所以可以用.htaccess控制；CGI

书弋江山 2010-10-25

Python实现发送邮件功能(可发送附件)

在日常工作当中，我们经常要发送一些邮件，比如系统的监控、自动化运维、网站注册后的确认信等各种方面。我们可以通过Python的smtplib模块轻松的实现发送电子邮件。SMTP类构造函数，表示与SMTP服务器之间的连接，通过这个连接我们可以向SMTP服务器发

Derllk 2012-05-29

make gedit more like textmate

entries:. sudo apt-get install gedit-plugins(comment and color)

Jruing 2011-05-24

IE下载apk ipa有时候会变成zip格式的包

在APP下载页面时，

Alexzhuang 2014-11-21

nginx gzip duplicate MIME type “text/html”

Starting nginx: [warn]: duplicate MIME type “text/html” in. 最近在开发一个项目,开发环境为 win + apache & linux + nginx,开发过程中在IE. 示有时不可以,而且

wvfeng 2010-09-14

服务器找不到存在的文件的解决方法

局域网服务器的操作系统是Windows Server 2003，当在服务器上对利用IIS 6.0建立的Web服务器中的文件进行浏览时，收到了HTTP Error 404 - File or directory not found的提示信息。出现这个问题的原

paanpan 2012-06-01

Python解析邮件

邮件的解析是个大课题，远超一般人的预期。这就是为什么网上中文外文搜邮件的问题，绝大多数都是讲发送的而讲接收的很少。发送邮件好说，接收和下载邮件也好说。关键是下载下来的邮件是一种比HTML还复杂的嵌套结构。先不论Python，也不谈什么邮件发展历史，只论现在

amazingbo 2019-06-30

网页上传文件的原理详解

今年第三季度工作上完成了一个比较有意思的项目，类似于外包的性质，主要任务就是提供一大堆API，其中一个API是上传附件，完成开发后，对方的程序员问我，这个API怎么调用，当时我就愣住了，因为自己也没想过这个问题，一般情况下，我就是用 Curl 命令行或 P

分享经验共同进步 2019-06-30

使用AS2(http)协议实现 B2B 商用数据交换 (二) [译]

前言设计 AS2 协议的主要目的，是基于 HTTP 协议之上实现安全的结构化电子商业数据交换。在这系列文章的第一部分，我们大体了解了 AS2 为何这么优秀。我们作为 B2B 集成平台 AS2Gateway 的开发者，已经在 AS2 协议这方面工作了很多年。

89590599 2019-06-28

<HTTP权威指南>记录 ---- HTTP概述

HTTP概述Web客户端与服务器是如何通信的HTTP服务器存储了因特网中的数据，如果客户端发出请求的话，它们会提供数据。客户端向服务器发送一条HTTP请求，服务器会去寻找所期望的对象，如果成功，就将对象、对象类型、对象长度、以及其他一些信息放在HTTP响应

王道立心 2019-06-28

IIS服务器自定义MIME类型大全(408种)

windows2003安装好IIS之后默认是支持.shtml的，只要在“WEB服务扩展”允许“在服务器前端的包含文件”即可。windows2000，则需在IIS里添加一个应用程序扩展名映射。可执行文件在:C:\WINDOWS\system32\inetsr

VincentDrW 2011-09-16

angularjs 指令中取代码模板时中文乱码解决方案

在写angular 指令时，代码模板常用 tempalteUrl 指定，由于模板只是HTML的片段，所以不包含header内容，所以在HTML中无法指定编码，就会引起中文乱码。解决方案就是要在 response-header中加入Content-Type:

lizean 2015-05-02

载入页面时使用多域名实现资源并行下载。图片，js、css文件等

网页中包含的资源引起的http请求基本上都来源于同一个域名，有的网站对静态资源文件使用了独立的无cookie域名。YSlow提倡的高性能网站准则中有一条“reduce DNS lookups”，减少域名数量以便减少域名解析所需要的时间，但是，有的情况下，适

realitycss 2014-12-31

jquery ajax 与servlet

在servlet里面，定义了ajax要执行的内容，最后返回给ajax的调用处。但是值得注意的是，在servlet里面，定义mime类型的时注意：。如果不给出指定，就会按照默认的html类型进行设置mime类型。dataTypeString预期服务器返回的数

sunnygirls 2014-02-24

解决Apache Tomcat服务器不支持FLV视频的方法

今天在一台服务器上上传了一个flv流媒体文件，发现无法访问该文件，经过研究发现，原来是Apache Tomcat服务器默认配置下不支持flv格式。打开$TOMCAT_HOME$\conf目录下的WEB.XML文件，找到<mime-mapping>

tengmuxin 2010-07-11
cmsmdn

cmsmdn

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号