分享100个爬虫程序,开始第二批,网友回复'热腾腾的'

  • 小编 发布于 2019-12-01 06:52:12
  • 栏目:科技
  • 来源:极限男孩yata
  • 7418 人围观

他来了,他来了,他带着爬虫走来了。嘿嘿,今天给大家分享100个爬虫程序的第二批。请大家系好安全带,坐稳扶好,老司机要发车了。

No1. 豆瓣读书爬虫 Github仓库名【lanbing510/DouBanSpider】1.8K的星星。

通过豆瓣评分和评价人数等规则,可非常好的探索挖掘经典图书和隐藏好书,从中更高效地汲取书中智慧。而且还做出了web端的页面,方便选择各种筛选条件进行搜书。一个很不错的idea。主要使用了request, numpy 库。代码简洁可读性好。

推荐指数❤️❤️❤️❤️❤️

分享100个爬虫程序,开始第二批,网友回复'热腾腾的'

No2. 微信公众号爬虫 Github仓库名【bowenpay/wechat-spider】2.4K的星星

作者用的是一个很不错的通用爬虫框架开发的。为了帮助5000万贫困户对接公益机构,作者写了这个微信爬虫,从微信公众号发布的文章中上找出最新的公益项目。同时也开发了web的页面。很有爱心的一个作者,大家感兴趣的可以阅读下作者的代码,给个star。

推荐指数❤️❤️❤️❤️❤️

分享100个爬虫程序,开始第二批,网友回复'热腾腾的'

No3. 多线程+代理池爬取天天基金网、股票数据。Github仓库名【shengqiangzhang/examples-of-web-crawlers】5.2K的星星

玩股票的朋友可以收藏一波了。作者用到了代理池,多线程,反爬的技术。使用到了requests,quenu, threading这些库进行开发。代码简洁可读性好。

推荐指数❤️❤️❤️❤️❤️

分享100个爬虫程序,开始第二批,网友回复'热腾腾的'

No4. 雪球网股票超级爬虫 Github仓库名【decaywood/XueQiuSuperSpider】1.1K的星星

这个爬虫程序稳定,高性能,极易扩展, 功能十分强大,爬虫分析了一些大V的策略,公布的持仓组合,还有一些经典的K线信号的个股,游资追踪,等等。代码比较多,阅读需要读者花费一定的时间。

推荐指数❤️❤️❤️❤️❤️

分享100个爬虫程序,开始第二批,网友回复'热腾腾的'

No5. 炉石传说爬虫 Github仓库名【youfou/hsdata】

满满的回忆,克苏恩,火法,动物园,坑道穴居人...,为了玩好炉石,快速收集和分析炉石传说的卡牌及卡组数据。苦学爬虫啊,真的是高手在民间。果断去看看作者的代码吧。主要用到了scrapy和request库,代码写的还可以。有兴趣的可以学习下。

推荐指数❤️❤️❤️❤️❤️

分享100个爬虫程序,开始第二批,网友回复'热腾腾的'

好了,今天就先分享到这里了。百尺竿头更进一步,大家有任何建议和疑问都可以给我留言,保证一一回复。(由于不太方便在文章中放外部链接,如果想要地址的朋友可以私信我 "爬虫02" )

本人是一个喜欢编程,怀揣着一个通过编程去改变世界的梦想。我会分享各种有趣有价值的内容。欢迎大家关注我哦。谢谢。

分享100个爬虫程序,开始第二批,网友回复'热腾腾的'

转载请说明出处:866热点网 ©