网络矿工数据采集软件V2.0开始试用，请通过官网下载。
2.0版本主要增加功能为：网络雷达，可进行网络数据的监控。
网络矿工数据采集软件最新版在线帮助发布！
版本V2.0，发布时间2010-9-1
Posted in:
在线培训 ,
最新动态 Tags:
Normal
0
7.8 磅
0
2
false
false
false
EN-US
ZH-CN
X-NONE
MicrosoftInternetExplorer4
...
[更多...]Posted in:
技术文档 ,
在线培训 ,
最新动态 Tags:
采集网址的高级配置：
前面对采集网址的配置已经进行了较为详细的介绍，包括如何配置导航网址。实际在采集网址的配置中，还有很多的技巧，在本文中主要讲解一下采集网址中有可能遇到的其他的问题及解决方式。
1、自定义导航网址，导航网址的核心匹配实际就是正则，所以系统提供了正则表达式的支持，如果你了解正则表达式，可自己直接写正则表达式来进行导航网址的匹配，这样会更灵活。
2、导航网址的字符串处理，很多时候，导航网址是由js来完成的，尽管网络矿工当前还不具备js引擎，但对于此类导航，可以将导航的js参数获取，通过拼接字符串的方式来完成。
3、设置导航规则的提取范围...
[更多...]Posted in:
在线培训 ,
最新动态 Tags:
何为导航？
上次讲到采集网址改如何配置，并如何通过参数的形式来进行网址的批量配置，从而简化配置
操作。今天来重点讲一下导航规则的配置。
通常情况下，我们配置的采集网址就是需要采集数据的网址。但还有一种情况就是采集的网址
无规律可循，通过参数无法实现成批网址的配置，但其又有一个共同的特点，就是其网址都存在于一个网页中（通常我们称之为导航页面或入口页面）。
举一个例子：采集某个网站的时政新闻。
新闻的网址如下：
http://news.********.com/politics/2010-07/03/c_12293464.htm
...
[更多...]Posted in:
在线培训 ,
最新动态 Tags:
自本周开始每周固定2个小时进行采集任务配置答疑，方式为加入QQ群，无论您是否为我们的授权用户，只要加入QQ群即可参与此活动。
本周为第一次，对主要问题总结如下：
1、如何采集flash：
采集flash和采集图片的道理是一样的，只要设置采集的数据类型为“图片”或“Flash”即可，但有一个前提条件就是，采集规则的配置是图片或falsh的有效地址，系统会解析出这个地址并进行文件下载。如果地址解析错误，则无法进行下载。今天用户遇到的问题是无法正确找打flash的真实地址，在此推荐使用fiddler，一款免费的http...
[更多...]Posted in:
在线培训 ,
最新动态 Tags:
Normal
0
7.8 磅
0
2
false
false
false
EN-US
ZH-CN
X-NONE
MicrosoftInternetExplorer4
...
[更多...]Posted in:
在线培训 ,
最新动态 Tags:
采集网址的配置并不复杂，但如何配置一个高质量的采集网址，还是需要下点功夫，在此我们介绍一些技巧给大家。
采集网址就是我们需要采集数据的内容，这些内容在internet中唯一的标识就是Url（统一资源定位符），我们俗称为网址。就是在浏览器地址栏看到的内容。每一个网址对应一个唯一的网页，通过网址我们就可以准确的识别一个我们需要看到的网页内容。
通常情况下，我们需要采集的数据量会很多，也就是网址会很多，成百上千，甚至上万或更多，如果我们一个一个的输入，那这个工作量将会是巨大的。所以，我们必须通过一种简单的方法来实现这种成百上千个网址的解析。在网络矿工中，我们提供了网址参数来进...
[更多...]Posted in:
在线培训 ,
最新动态 Tags:
网络矿工V1.81正式发布，相比V1.8增加了以下功能：
1、支持字典数据文本导入，可成批建立字典参数，用于数据采集网址的自定义；
2、支持自定义HTTP Headers ，支持POST发布自定义headers头，支持更多网站数据的在线发布；
3、修正了POST数据时乱码的问题。
4、增加了网址日期参数；
原有网络矿工V1.8正式授权用户，请通过邮件告知，由我客服人员为您免费升级授权号。
同时网络矿工V2.0开始制作，
主要增加功能
1：支持各种类型的增量采集；
2、支持网络信息雷达
采集网站数据有一项重要的配置，就是配置采集规则中数据的起始位置和终止位置，即采集数据的前置标志和后置标志。
前面我们已经讲解过，采集数据，实际就是从网页的源代码中截取您想要的数据。任务网页的内容都可以通过“查看源代码”的方式，查看数据。网页代码就是一个文本内容。所以，要获取数据，就要告诉软件该从哪里截取数据，到哪里结束。这个就是采集数据起始位置和终止位置。
严格意义上，任何采集数据的起始位置和终止位置都必须是唯一的，只要这样，获取的数据才可以准确。如果采集的标识无法唯一，系统首先判断是否为采集多条数据，即所谓的循环采集。如果不是，将抛弃垃圾数据。...
[更多...]Posted in:
在线培训 ,
最新动态 Tags: