淘宝神器之重复数据过滤神器，支持字符串过滤，也支持对.txt文本文件、.csv文件直接过滤；支持多线程过滤，支持多文件批量过滤，支持多文件合并过滤，支持显示过滤进度、过滤报告，支持按重复次数再次筛选保存数据。淘宝神器之重复数据过滤神器功能：1、支持多文件批量过滤，支持多线程过滤，以列表方式友好显示每个文件各自的过滤进度。2、支持多文件合并过滤，如果你将数据保存在了多个文件中，不必合并，可以直接对这几个文件进行合并及去重复过滤，最后保存为一个无重复数据的文件。3、每个文件过滤都会提供过滤报告，记录各个数据的重复次数，你可以再次按重复次数来筛选数据（比如在提取的淘宝交易订单信息中，如果某个买家帐号出现的重复次数高于某个值，我们可以认为它可能是刷信誉的买家而非真买家从而再次去除等）。