分布式爬虫框架xxl-crawler

  • 开源协议:GPL
  • 操作系统: Windows Linux OS X
  • 开发语言:Java
  • 项目所有者:xuxueli
  • 收录时间:2017-11-05
  • 分享:
编辑评级
3

项目详细介绍

XXL-CRAWLER 是一个灵活高效、面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫;

特性

  • 面向对象:通过VO对象描述页面信息,提供注解方便的映射页面数据,爬取结果主动封装Java对象返回;

  • 多线程;

  • 扩散全站:将会以现有URL为起点扩散爬取整站;

  • 去重:防止重复爬取;

  • URL白名单:支持设置页面白名单正则,过滤URL;

  • 异步:支持同步

    异步两种方式运行;

  • 自定义请求信息,如:请求参数、Cookie、userAgent等;

  • 轻量级:底层实现仅依赖jsoup,简洁高效;

  • 超时控制:支持设置爬虫请求的超时时间;

  • 主动停顿:爬虫线程处理完页面之后进行主动停顿,避免过于频繁被拦截;

  • 单个页面支持抽取多个PageVO;

标签:网络爬虫