JS实现爬虫原生js实现Ajax

hugebait

2019-01-21

为什么要用JS抓取数据？

有的网站的安全性比较好，不能破解登录的限制，使用JS可以绕开登录的限制。实现方法：使用Google Chrome登录抓取站的用户账号，在console运行js脚本即可。实例抓取淘宝卖家商品分类

var CAT = {
    //[{id: '', name: '', data: [{id: '', name: '', data:[{id: '', name: ''}]},{}, ...]}, {} ...]
    data: [],
    url: function(){
        return 'https://upload.taobao.com/auction/json/reload_cats.htm?t='+Math.random();
    },
    init: function(){
        var url = CAT.url(),
            post_data = 'path=all';
        CAT.ajax(url, post_data, CAT.first_r);
    },
    first_r: function(data){
        var rs = data[0]['data'],
            first_l, first_d, i, j, second_id, second_d, func;
        for(i=0;i<rs.length; i++){
            //保存一级分类
            first_d = rs[i]['data'];
            first_l = [];
            for(j=0; j<first_d.length; j++){
                //保存二级分类同时查询三级分类，并提供存储数据的容器
                second_id = first_d[j]['sid'];
                second_d = {
                    'id': first_d[j]['sid'],
                    'name': first_d[j]['name'],
                    'spell': first_d[j]['spell'],
                    'data': []
                };
                first_l.push(second_d);
                func = CAT.second_r(second_d['data']);
                CAT.ajax(CAT.url(), 'path=next&sid='+second_id, func);
            }
            CAT.data.push({
                'id': rs[i]['id'],
                'name': rs[i]['name'],
                'data': first_l
            })
        }
    },
    second_r: function(container){
        return function(data){
            if(data.length<1){
                return
            }
            var rs = data[0]['data'],
                i, j, here, third_d;
            for(i=0; i<rs.length; i++){
                third_d = rs[i]['data'];
                for(j=0; j<third_d.length; j++){
                    here = third_d[j];
                    container.push({
                        'id': here['sid'],
                        'name': here['name'],
                        'spell': here['spell']
                    });
                }
            }
        }
    },
    ajax: function(url, post_data, func){
        var xhr = new XMLHttpRequest(),
        result;
        xhr.open('POST', url, true);
        xhr.setRequestHeader("Content-type","application/x-www-form-urlencoded");
        xhr.send(post_data);
        xhr.onreadystatechange=function(){
            if (xhr.readyState==4 && xhr.status==200){
                result = JSON.parse(xhr.responseText);
                func(result);
            }else if(xhr.readyState==4 && (!xhr.status==200)){
                console.log('Ajax Return Error!');
            }
        }
    }
};
CAT.init(); 
//console.log(CAT.data);

JS代码实现抓取网页数据有一定的局限性：数据源用ajax可以获取，数据源是json格式。

http://www.test.com跨域抓取数据例子

var CAT = {
    url: function () {
        return 'https://upload.taobao.com/auction/json/reload_cats.htm?t=' + Math.random();
    },
    init: function () {
        CAT.ajax(CAT.url(), 'path=next&sid=50024865', CAT.first_r);
    },
    first_r: function (data) {
        if (data.length < 1) {
            return
        }
        var rs = data[0]['data'],
            i, j, here, third_d;
        for (i = 0; i < rs.length; i++) {
            third_d = rs[i]['data'];
            for (j = 0; j < third_d.length; j++) {
                here = third_d[j];
                //配置Access-Control-Allow-Origin支持
                CAT.ajax("http://www.test.com/taobao/data", 'id='+here['sid']+"&name="+here['name']+"&spell="+here['spell']+"&sid=50024865", CAT.mycallback_r);
            }
        }
    },
    mycallback_r: function (data) { //json
        console.log(data);
    },
    ajax: function (url, post_data, func) {
        var xhr = new XMLHttpRequest(),
            result;
        xhr.open('POST', url, true);
        xhr.setRequestHeader("Content-type", "application/x-www-form-urlencoded");
        xhr.send(post_data);
        xhr.onreadystatechange = function () {
            if (xhr.readyState == 4 && xhr.status == 200) {
                result = JSON.parse(xhr.responseText);
                func(result);
            } else if (xhr.readyState == 4 && (!xhr.status == 200)) {
                console.log('Ajax Return Error!');
            }
        }
    }
};
CAT.init();

原生js实现Ajax方法：

var Ajax = {
    get: function (url, fn) {
        // XMLHttpRequest对象用于在后台与服务器交换数据   
        var xhr = new XMLHttpRequest();
        xhr.open('GET', url, true);
        xhr.onreadystatechange = function () {
            // readyState == 4说明请求已完成
            if (xhr.readyState == 4 && xhr.status == 200 || xhr.status == 304) {
                // 从服务器获得数据 
                fn.call(this, xhr.responseText);
            }
        };
        xhr.send();
    },
    // datat应为'a=a1&b=b1'这种字符串格式，在jq里如果data为对象会自动将对象转成这种字符串格式
    post: function (url, data, fn) {
        var xhr = new XMLHttpRequest();
        xhr.open("POST", url, true);
        // 添加http头，发送信息至服务器时内容编码类型
        xhr.setRequestHeader("Content-Type", "application/x-www-form-urlencoded");
        xhr.onreadystatechange = function () {
            if (xhr.readyState == 4 && (xhr.status == 200 || xhr.status == 304)) {
                fn.call(this, xhr.responseText);
            }
        };
        xhr.send(data);
    }
}

注释：

1. open(method, url, async) 方法需要三个参数:

　 method：发送请求所使用的方法（GET或POST）；与POST相比，GET更简单也更快，并且在大部分情况下都能用；然而，在以下情况中，请使用POST请求：