没想到python还可以这样做，爬取了漂亮小姐姐的照片
关于爬小姐姐的脚本示例，在我的Gayhub仓库：ReptileSomething
里已经有好几个了，基本都是没什么技术含量的，直接解析HTML拿到
图片的URL，然后下载，特别开一篇写爬取花瓣网的小姐姐的实战教程，
是因为爬这个网站的时候会遇到好几个问题，第一感受到了反爬虫的套路，
(折腾了我将近2天)：
1.图片是瀑布流布局，通过Ajax动态加载数据的
2.在处理图片详情页的时候才发现了图片链接规则，前面做
了很多无谓的操作；
3.最后获得了图片的正确url，但是根本下载不下来，不知道
是做了防盗链还是什么？或者要登录之类的，浏览器打开也无法下载，
打开超链接是这样的内容，但是当你右键保存的时候发现并不能下载：
不信的话可以试试。
http://img.hb.aicdn.com/36b521f717741a4e3e024fd29606f61b8f960318f3763-WzUoLC_fw658
我觉得算是爬图片里稍微有点难度的站点了，强烈建议跟着我
一起回顾这个过程！
1.问题初现：瀑布流和Ajax动态加载数据
Chrome抓包的时候，抓到的数据和Elements的内容不一样，
js动态加载数据，前面已经见识过这种反爬虫的套路了，
有Selenium在手，根本不虚，模拟一波浏览器请求
加载下就能得到和Elements一样的内容了。
两个问题：瀑布流和Ajax动态加载数据。
怎么说？且听我一一道来：
没事喜欢练手的我意外发现了花瓣网，F12 Chrome抓一波包：
随手写个代码看看：
先Elements看下我们想扒的是什么：
这里尽管有个img，但是明显是个小图，应该是要点开a那个
/pins/1433175317链接里才有大图，点开：
http://huaban.com/pins/1433175317/
看下Elements，这个就是我们想要的图片url：
恩，一如既往的简单套路，搞到批量的列表url，然后下载图片。
看回我们的利用Selenium得到的网页代码，可以很稳。
接下来的事情本该就水到渠成的了，然后这时候发生了一件
令人猝不及防的事情：
在网页那里滚到底部发现会加载更多的图片，越滚越多，但是
我们的Selenium只抓到了30个，咦，这种在之前抓某个网站
的时候就遇到过了，写个简单的滚动到底部的js，然后Selenium
循环执行这个脚本图片数/30次就好了，中途可以休眠1s给他加载，
执行完毕后，再去调用page_source得到最终的页面代码，然后走波
BeautifulSoup把我们1000多个小姐姐扒出来就好。
现在分享点福利，大家都知道爬虫用的正则比较多，现分享正则知识。
1. 正则表达式基础
1.1. 简单介绍
正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里使用过正则表达式，只需要简单看一看就可以上手了。
下图展示了使用正则表达式进行匹配的流程：
正则表达式的大致匹配过程是：依次拿出表达式和文本中的字符比较，如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。如果表达式中有量词或边界，这个过程会稍微有一些不同，但也是很好理解的，看下图中的示例以及自己多使用几次就能明白。
下图列出了Python支持的正则表达式元字符和语法：
1.2. 数量词的贪婪模式与非贪婪模式
正则表达式通常用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪的则相反，总是尝试匹配尽可能少的字符。例如：正则表达式"ab*"如果用于查找"abbbc"，将找到"abbb"。而如果使用非贪婪的数量词"ab*?"，将找到"a"。
1.3. 反斜杠的困扰
与大多数编程语言相同，正则表达式里使用"\"作为转义字符，这就可能造成反斜杠困扰。假如你需要匹配文本中的字符"\"，那么使用编程语言表示的正则表达式里将需要4个反斜杠"\\\\"：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可以使用r"\\"表示。同样，匹配一个数字的"\\d"可以写成r"\d"。有了原生字符串，你再也不用担心是不是漏写了反斜杠，写出来的表达式也更直观。
1.4. 匹配模式
正则表达式提供了一些可用的匹配模式，比如忽略大小写、多行匹配等，这部分内容将在Pattern类的工厂方法re.compile(pattern[, flags])中一起介绍。
2. re模块
2.1. 开始使用re
Python通过re模块提供对正则表达式的支持。使用re的一般步骤是先将正则表达式的字符串形式编译为Pattern实例，然后使用Pattern实例处理文本并获得匹配结果（一个Match实例），最后使用Match实例获得信息，进行其他的操作。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
|
re.compile(strPattern[, flag]):
这个方法是Pattern类的工厂方法，用于将字符串形式的正则表达式编译为Pattern对象。 第二个参数flag是匹配模式，取值可以使用按位或运算符'|'表示同时生效，比如re.I | re.M。另外，你也可以在regex字符串中指定模式，比如re.compile('pattern', re.I | re.M)与re.compile('(?im)pattern')是等价的。
可选值有：
re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）
M(MULTILINE): 多行模式，改变'^'和'$'的行为（参见上图）
S(DOTALL): 点任意匹配模式，改变'.'的行为
L(LOCALE): 使预定字符类 \w \W \b \B \s \S 取决于当前区域设定
U(UNICODE): 使预定字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性
X(VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。以下两个正则表达式是等价的：
1 2 3 4 |
|
re提供了众多模块方法用于完成正则表达式的功能。这些方法可以使用Pattern实例的相应方法替代，唯一的好处是少写一行re.compile()代码，但同时也无法复用编译后的Pattern对象。这些方法将在Pattern类的实例方法部分一起介绍。如上面这个例子可以简写为：
1 2 |
|
re模块还提供了一个方法escape(string)，用于将string中的正则表达式元字符如*/+/?等之前加上转义符再返回，在需要大量匹配元字符时有那么一点用。
好了，今天的知识就分享到这里，欢迎关注爱编程的南风，私信关键词：学习资料，获取更多学习资源，如果文章对你有有帮助，请收藏关注，在今后与你分享更多学习python的文章。同时欢迎在下面评论区留言如何学习python。