在对一个网站或网页进行爬虫时，选择正确的方法往往能够事半功倍，因此观察网站结构和网站提供的各种API就非常重要，下面我们将举例对不用方法进行分析。 直接从网页上抓取 顾名思义，该方法就是通过直接分析网页页面，抓取到网页内容。 例如在本例中 ...

获取已经存入mongodb中的每个帖子的url，screenshot.py实现了对每篇帖子截图的功能。 爬取Instagram上某一账户的全部post，包括正文，点赞数，评论数，发帖时间，帖子链接，并且下载相应的图片或视频 ...