Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star,100+的fork。那么,Gecco这个新的爬虫框架在实际应用中的表现如何呢?为了让用户放心使用Gecco框架,Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实际应用的框架都是耍流氓。
闲逛应用抓取了京东、苏宁易购、天猫、什么值得买等10多个主流电商和导购平台,经过数据清洗和聚合实现了如下功能:
- 【历史新低】实时获取电商价格动态,历史新低谁买谁赚
- 【值得买】全网什么值得买信息全收录
- 【9.9包邮】天猫9.9包邮实时更新
- 【优惠券】收集全网优惠券信息
闲逛应用的爬虫部分主要使用了Gecco的核心和Gecco-Spring的扩展框架,由于规模还不大,并没有使用Gecco-Redis分布式爬虫,由于考虑到效率问题也没有使用Gecco-HtmlUnit扩展框架。下一步引入更多电商网站的抓取后将会使用Gecco-Redis扩展框架进行分布式抓取,以验证Gecco-Redis的可靠性。
闲逛应用的爬虫部分已经做了7*24小时的稳定性测试,今后,Gecco的升级都会先在闲逛应用上做好测试后再进行版本的发布。
APP目前只有Android客户端。可以通过点击这里下载,也能通过扫描下面的二维码进行下载,有兴趣的朋友可以安装使用。
相关推荐
【兰圃闲逛阅读答案】荔林闲逛阅读答案.docx
大学生网络闲逛行为本土量表、现状评价及干预对策.docx大学生网络闲逛行为本土量表、现状评价及干预对策.docx大学生网络闲逛行为本土量表、现状评价及干预对策.docx大学生网络闲逛行为本土量表、现状评价及干预对策....
酒吧背景让我们在太空闲逛吧。
更多不和谐的机器人资料。
随机旧东西一些随机学习项目或闲逛
nodejs的乐趣 只是在节点周围闲逛并表达 - hellothere - oopsiedaisy
这个 repo 有使用 dexy 的项目。 这些项目可能会使用新的和实验性的 dexy 功能和插件。 随意闲逛,但不要期望事情会奏效或有意义。 如果您有任何疑问,请随时发送电子邮件至
树谈默克尔森林中的一棵树,您可以在那里闲逛并交谈这是什么? Tree-Talk是一个讨论的论坛,主要是pubsub部分。 将线程/帖子发送给其他用户没有涉及服务器,但是有一个信令服务器可以帮助同级发现彼此。 Tree-Talks...
dungeon_generator:我现在只是在闲逛,但这最终将变成一个更严肃的项目
) codewarsBot 是一个非官方的Discord 机器人,旨在提升您在 Discord 上闲逛时的 Codewars 体验! :rocket: 命令和功能!?getuserinfo <user> 返回指定用户的信息。 !?getkatainfo <valid> 返回指定的 kata 信息。 !...
电影院电影院摆弄显示器和扬声器,在ComputerCraft中闲逛,以创建幻灯片放映的电影院体验
——拉普拉斯记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时;有一次,在书店看到一本书,名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想,一个方法能够专门写出一本书来...
我们错过了一个自发组织的人群一起在一张大桌子旁闲逛的动态。 酒吧中的大桌子,那里发生了很多讨论,笑话,令人安心的谈话,乌托邦和想法。 借助chatmosphere,您可以移动和放大该区域,并听到附近的人的声音更大...
Honmonu_Android_Projects::high_voltage:孤独的Android应用程序,推荐爱好,食物,闲逛的一切
在闲逛一个图片社区时看到这张图片,个人对炫酷的东西比较敏感(视觉肤浅),本来想下载一下这个 App 看一下实际效果,可是没找到。心有不甘,于是分析了一下,感觉实现起来不会太难,自己也花点时间实现了效果,...
课程设计 银行家算法 特殊算法、用C语言或C++语言来实现对N个进程采用优先算法以及轮识ID,其中0为闲逛进程,用户进程的标识数为1、2、3、、、、、、、。 (2)进程优先级Priority,闲逛进程(idle)的优先级为0,...
阿卡瓦奇探险家 此应用程序是的开发人员实用程序,允许您以不同的格式直观地挖掘 Akavache 缓存的内容。 Akavache Explorer 保证它不会写入缓存并忽略 TTL,因此它对于检查应用程序的缓存非常有用,而不必担心它会...
界面简洁漂亮,大量运用js插件。后台采用主流框架,运用了很多设计模式,架构精巧。是值得研究学习的好代码。(自己在网上闲逛时发现的,该项目现在可能还在继续更新。)
botprofileEditor CSGO:botprofile.db的编辑器,可让您轻松创建和改进自己的机器人。
我的垃圾这些只是一些无关的脚本,我认为它们很棒,但作为杰出的项目,它们至少不够有用(至少... 不过,还是闲逛吧,您还是可以找到很棒的东西。 通过贡献让我知道。 如何? 分叉回购。 打开一个公关。 编辑 文件结束