跳到主要内容

msray-plus 3.0.2 发布

· 阅读需 4 分钟
admin
msray project team
某些时候长期网络异常导致授权异常的问题优化;

命令行日志,支持不同级别按不同颜色区分显示,支持自定义级别,如debug,info,warn,error(可修改config.yaml实现自定义);

命令行日志,支持实时存储到文件中。默认存放于后端程序根目录下的logs目录下(可修改config.yaml实现自定义)。

联系信息采集任务引擎-引擎核心逻辑优化;

联系信息采集任务引擎-更多采集数据指标信息支持与前端实时展示;

联系信息采集任务引擎-更多采集结果数量信息支持与前端实时展示;

联系信息采集任务引擎-修复导出特定数据某些行内容为空导致的空行问题;

联系信息采集任务引擎-修复有效结果数计算逻辑,新增无效数据二次识别自动过滤。

联系信息采集任务引擎-进度存储功能以及种子文件内容全部执行完成,任务自动停止;

联系信息采集任务引擎-支持全自动重复过滤(同一个邮箱或qq、微信等内容,仅会存储一条最早的记录);

优化爬虫任务引擎,引擎核心逻辑优化;

优化爬虫任务引擎,增加自定义选项”是否自动把扩展词添加到种子文件“。该选项如果开启,会在停止任务并且初始种子文件数据已经全部载入后,把扩展出来的未使用的种子数据,自动写入到用户设定的原始虫子文件中。

优化爬虫任务引擎,增加自定义选择”扩展限制设置“。该选项拥有3个方案,可根据需求设定为”仅顶级域名扩展“、”仅国内域名扩展“、”仅海外域名扩展“。如果开启了”仅顶级域名扩展“,则蜘蛛仅会把采集结果中的顶级域名作为扩展种子数据进行循环扩展采集。

优化爬虫任务引擎,更多采集数据指标信息支持与前端实时展示;

优化搜索任务引擎,引擎核心逻辑优化,高并发下的性能与资源占用优化;

优化搜索任务引擎,更多采集数据指标信息实时展示(可实时查看种子文件进度、执行中、已完成任务数量);

优化搜索任务引擎,每个引擎池任务执行完毕后,命令行会输出"all tasks have been completed!",方便观察状态。