← 返回列表
一种多线程网络爬虫调度管理方法及系统
申请人信息
- 申请人:深圳市豪斯莱科技有限公司
- 申请人地址:518000 广东省深圳市前海深港合作区南山街道听海大道5059号前海鸿荣源中心A座2602A
- 发明人: 深圳市豪斯莱科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种多线程网络爬虫调度管理方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410218377.8 |
| 申请日 | 2024/2/28 |
| 公告号 | CN117807294A |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06F16/951 |
| 权利人 | 深圳市豪斯莱科技有限公司 |
| 发明人 | 李庆; 陈增和; 林兴武; 刁奇标 |
| 地址 | 广东省深圳市前海深港合作区南山街道听海大道5059号前海鸿荣源中心A座2602A |
摘要文本
本发明属于爬虫调度管理技术领域，本发明公开了一种多线程网络爬虫调度管理方法及系统，包括：S1、采集历史图片爬虫任务，基于历史图片爬虫任务构建多元线性回归模型与图片库，构建图片查重模型，通过图片查重模型对图片库内的图片进行查重；S2、获取待爬取网页，基于待爬取网页创建实时图片爬虫任务。通过构建图片查重模型，避免存储相同的图片，能减少对重复图片的爬取；通过构建多元线性回归模型，便于实时图片爬虫任务选择合适的线程池规模量；对线程池内线程速度较快的线程进行确定，能够对线程池内的线程进行调度管理，进而提升爬取的效率。。（） （来 自 专利查询网）
专利主权项内容
1.一种多线程网络爬虫调度管理方法，其特征在于，包括：S1、采集历史图片爬虫任务，基于历史图片爬虫任务构建多元线性回归模型与图片库，构建图片查重模型，通过图片查重模型对图片库内的图片进行查重；S2、获取待爬取网页，基于待爬取网页创建实时图片爬虫任务，通过多元线性回归模型对实时图片爬虫任务进行分析，得到线程池规模量；S3、基于线程池规模量创建线程池，通过线程池当前管理的任务对待爬取图片进行爬取，得到爬取图片；S4、对爬取图片以及待爬取图片对应的相同图片编码进行存储。