Akagi201
9/7/2014 - 1:41 PM
web-crawler.md
Specs
- web spider / web crawler, 自动化浏览网络的程序, 是网络机器人的一种. 这样的程序是为了自动从网络截取特定的数据, 或为了组织网络上的数据, 所涉及的"自动浏览网络"的程序.
- 网络爬虫是一个网络机器人系统的浏览WWW网站, 尤其为了网站索引(Web indexing).
- web crawler/ web spider/ ant/ automatic indexer/ web scutter(in FOAF).
golang
- https://github.com/crackcomm/crawl
- https://github.com/yhat/scrape
- https://github.com/h12w/html-query
- https://github.com/PuerkitoBio/goquery
- https://github.com/celrenheit/spider
- https://github.com/wcong/ants-go
- https://github.com/kgretzky/dcrawl
- https://github.com/suicidegang/spider-srv
- https://github.com/schollz/linkcrawler
- https://github.com/sjwhitworth/plod
- https://github.com/TimTosi/crawlr