网络抓取

网络抓取是指利用软件或爬虫，采集互联网数据。

基础知识

网络内容传播的相关技术

• HTML、XML、JSON、HTTP、AJAX

网络信息提取的相关技术

• 正则表达式、XPATH查询语言

工具与方法

网络抓取策略

网络抓取有可能受到知识产权侵权的指控，尤其是将抓取内容用于商业目的重新发布的情况下。为避免不必要的纠纷，抓取网络内容时应尽可能将工作透明化，遵循robots.txt声明的非正式规则，随时记录数据来源，并将下载内容的使用局限在研究分析领域。

抓取工具

• 火车采集器、八爪鱼采集器

爬虫编程

• R语言：利用RCurl、XML包，R语言可方便地抓取网络数据。介绍R语言爬虫的中文资料不多，强烈推荐《基于R语言的自动数据收集》。
• Python：Python3.x标准库urllib（Python2.x标准库urllib，urllib2）提供了网络抓取所需的相关功能。

参考链接

• Wikipedia: Web crawler
• 百度百科：网络爬虫