gecco 1.1.0稳定版发布，易用的轻量化爬虫

gecco 1.1.0稳定版发布了。

1.1.0版本主要做了如下修改：

1.优化代理设置，运行时计算代理下载成功率，自动发现无效代理，支持运行时添加代理
2.HttpClientDownloader支持类似12306网站非信任ssl证书
3.JsonBean支持嵌套解析
4.修复部分网站302无法跳转的bug
5.优化debug日志输出

 

gecco是一款易用的轻量化网络爬虫。十分的容易上手。

 

主要特征：

1. 简单易用，使用jquery风格的选择器抽取元素
   2.支持页面中的异步ajax请求
   3.支持页面中的javascript变量抽取
   4.利用Redis实现分布式抓取,参考gecco-redis
   5.支持结合Spring开发业务逻辑,参考gecco-spring
   6.支持htmlunit扩展,参考gecco-htmlunit
   7.支持插件扩展机制
   8.支持下载时UserAgent随机选取
   9.支持下载代理服务器随机选取

评论

1 楼 nwater 2016-07-14  

楼主，我在使用gecco核心库开发时，出现下面的错误，请问这种问题是由什么原因引起的？

[Spider-0] DEBUG org.apache.http.impl.conn.PoolingHttpClientConnectionManager - Connection released: [id: 0][route: {s}->https://movie.douban.com:443][total kept alive: 0; route allocated: 0 of 50; total allocated: 0 of 1000]
[Spider-0] ERROR com.geccocrawler.gecco.spider.Spider - com.geccocrawler.gecco.spider.render.RenderException: null
[Spider-0] ERROR com.geccocrawler.gecco.spider.Spider - https://xxxxxxxxxxxx RENDER ERROR : com.banku.crawler.movie.MovieList
[main] DEBUG org.apache.http.impl.conn.PoolingHttpClientConnectionManager - Connection manager is shutting down

部分代码

@Gecco(matchUrl = "https://xxxxxxx.com/tag/{tag}?start={page}&type=T", pipelines = "consolePipeline")
public class MovieList implements HtmlBean {

	/**
	 * 
	 */
	private static final long serialVersionUID = 8487778806984376953L;

	@Request
	private HttpRequest request;

	@RequestParameter("page")
	private String page;
}