双子星通用网络蜘蛛是一款适用于中小型企业和网站的通用网页抓取软件。其主要功能是通过从指定网址开始寻找相关网页链接，下载转换相关文件并保存至MicrosoftSQLserver数据库中，以便用户查询修改以及过滤出有用信息。本软件现支持HTTP及FTP下载协议，PROXY5代理协议，下载文件尺寸限制，关键词过滤，捕获类型过滤等功能。