SEO

SEO是为了网站在搜索引擎中的自然排名更靠前，引入更多的用户流量。SEO有很多技巧，譬如官网多发优质文章，文章的url做成静态化，文章多出现一些搜索相关的关键字，自建站群等等。

百度收录

百度定期会对优质文章进行收录（原创程度高），如何判断文章是否被收录呢？有个简单的方法：
直接在百度的搜索框输入文章的链接，如果有结果且结果里就有对应文章的链接，就说明这篇文章被收录。

代码实现

自己用nodejs封装了一个查询收录和计算文章原创度的库，已放置于Github上，这里对isURLIncluded接口梳理一下自己的思路，原理很简单，就是上文讲的方法，只是有些细节。

isURLIncluded

const baiduSearchUrl = 'https://www.baidu.com/s?wd=';

async function isURLIncluded(url) {
    url = url.trim();
    let urlParsed = URL.parse(url);
    let body = await sendRequest(baiduSearchUrl + url);
    let $ = cheerio.load(body);
    let firstBlock = $('#1');
    let emptyBlock = $('#container .content_none');
    if(firstBlock.length > 0) {
        let firstLinkText = firstBlock.find('.f13 > a > b').eq(0).text();
        // 三个.和四个.都会有
        firstLinkText = firstLinkText.split('...')[0].trim();
        // 域名开头
        // 带protocol
        if(url.substr(0, firstLinkText.length) === firstLinkText) {
            return true;
        }
        let protocol = urlParsed.protocol + "//";
        let urlNoProtocol = url.substr(protocol.length);
        return urlNoProtocol.substr(0, firstLinkText.length) === firstLinkText
    } else if(emptyBlock.length > 0) {
        return false;
    } else {
        throw new Error('访问频率过快');
    }
}

思路

直接调用百度接口查询后，要考虑到情况如下：

├── 网络正常 
     |── 有查询结果
     |── 无查询结果
     |── 其他错误（如百度反爬虫策略）
├── 网络出错

有查询结果我是用html中id=1的元素（也就是第一个查询到的结果）判断的

无查询结果有两种情况（一种存在class=content_none元素，一种存在hit_top_new元素）

对于我有查询结果的情况，我把百度给我的链接和输入链接进行比对

百度给的链接（标绿色的部分）会有省略号（，三个点和四个点都有），所以我用了统一用三个点进行截断，取第一部分

firstLinkText = firstLinkText.split('...')[0].trim();

然后用这部分字符串和输入的链接进行比对（分两种，因为有时候百度给的结果有协议头，有时候没有）
带协议头比较

if(articleUrl.substr(0, firstLinkText.length) === firstLinkText) {
    return true;
}

不带协议头比较

let protocol = urlParsed.protocol + "//";
let articleUrlNoProtocol = articleUrl.substr(protocol.length);
return articleUrlNoProtocol.substr(0, firstLinkText.length) === firstLinkText