文本去重 - 在线去除重复行/重复项工具 - 极速工具箱

工具简介

在线文本去重工具，可以按行*、**分隔符**或*字符三种单位去重，支持忽略大小写、忽略首尾空白、丢弃空行，并可按原序、升序或出现次数排序。全部计算在浏览器本地完成，文本不会上传。

假设输入是 苹果,香蕉,苹果,樱桃：

按字符去重会丢弃空白字符，适合清理杂乱的关键词串。

本工具保留第一次出现的那一份，包括它原来的大小写与前后空白。

例如输入 Apple 和 apple，勾选「忽略大小写」后视为同一条，输出里保留先出现的 Apple。这比保留最后一次更符合「以第一次录入为准」的习惯。

右侧的「重复项明细」会按出现次数降序列出每种重复项及其次数，最多显示 200 种。

常见问题 FAQ

文本会上传吗？

不会。全部计算在浏览器本地完成，关闭页面后内容即消失，重要结果请先导出。

导出的文件是什么格式？

导出为 UTF-8 编码的 .txt 文件，每行一条，可以直接被 Excel 或其它工具读取。

去重是模糊匹配吗？

不是。只有完全相同的字符串才会被判定为重复（可配合忽略大小写与忽略首尾空白），不做相似度匹配。

能处理多长的文本？

纯文本几万行没有压力。超过十万行时浏览器可能出现卡顿，建议分批处理。

全角和半角空格算一样吗？

不算。它们是完全不同的字符，不会被当作相同内容。如果需要统一，请先用查找替换处理。

为什么我的结果和预期不一样？

先检查去重单位是否选对。例如想按行去重却选了按字符，结果就会变成一堆单个字符。另外确认「丢弃空行」是否开着。

排序方式怎么选？

保持原序适合保持名单原有逻辑；升序按拼音/字母排序，方便肉眼核对；按次数把高频项排前面，适合分析。

「只看唯一项」有什么用？

找出只出现过一次的条目，适合检查合并多份名单后哪些是「孤儿」数据。

「只看重复项」有什么用？

可以快速找出名单里哪些条目重复了，配合右侧的重复项明细（含出现次数）做数据体检。

「忽略大小写」是怎么比较的？

比较时把内容统一转成小写再判断，但输出的是原文。所以 Apple 和 APPLE 会被视为同一条。

重复项保留哪一个？

保留第一次出现的那一份，包括它原来的大小写与前后空白。例如输入 Apple 和 apple，勾选忽略大小写后会保留先出现的 Apple。

按行、按分隔符、按字符有什么区别？

按行是整行比较，最常用；按分隔符会先把每行按指定符号拆开，再对拆出来的每一项去重，适合处理一行里的逗号列表；按字符是把文本拆成单个字符去重，会忽略空白。