一孑 posted on 九月 3, 2009 04:56

Sokey采摘1.6测试版完成,此次新增功能较多,整合以前已有功能,soukey采摘1.6提供的功能如下:

1、多任务多线程数据采集,支持GET、POST,支持采集Ajax页面,支持Cookie,支持手工登录采集数据;
2、数据采集系统会默认保存采集数据,同时系统支持文本、Excel、Access、MSSql、Mysql等格式的数据发布,支持在线发布(Web发布);
3、网页数据采集支持导航,支持下一页自动翻页,同时采集数据支持文件下载,可以采集图片、Flash及其他文件;
4、支持采集数据加工,可对已采集的数据进行字符串的加工,包括替换、附前缀后缀、截取等操作,支持正则;
5、采集网址支持外部定义参数,通过字典数据可支持网址参数的自定义,同时网址参数支持数字、日期、字母等各种参数,基本满足当前大部分采集有规律网址的需求;
6、支持一个任务多实例运行;
7、定时任务,可定时(每天、每周)自动执行采集任务,外部可执行文件或数据库存储过程等;
8、支持采集网址多层导航,对导航深度不做限制;
9、增加任务触发器,可在任务启动或完成时自动触发执行各种任务,包括:Soukey采摘任务、外部可执行文件 或存储过程;
10、提供任务高级配置:可控制网址出错后重试,可输出出错网址到日志,也可将发布出错的数据输出到日志;
11、增加系统配置,但当前系统配置没有太多内容,提供了动态帮助入口,后期扩展帮助文档即可;

V1.1 为临时过渡版本,此次1.6为正式版本,稳定后会正式发布。

注意:由于此次升级内容较多,因此不再兼容以前版本的任务,系统提供了任务升级操作,需要升级任务后方可继续使用。


Posted in: 最新动态  Tags:
不允许评论

Blog Roll

    最新评论

    一孑工作室声明
    本站文章均为原创,如果转载请注明出处。

    © Copyright 2012『一孑工作室』
    管理我的网站
    京ICP备10018014号