一、结论先行：它判的是整行一模一样
能删掉字符完全相同的重复行，不能把大小写不同、或多一个空格的行判成重复。这是比对规则决定的结果，不是漏判，也不是面板出错。这一步在浏览器里完成，文件不上传到服务器，粘进去就出结果。
它的规则只有三条：按整行做全等比对；比对区分大小写；发现重复时保留首次出现的那一行，后面出现的丢掉。三条之外的事它一概不做：不去首尾空格、不统一大小写、不动空行、不重排行序。把去重理解成「删掉长得一样的行」就会失望，它删的是「一模一样的行」。
二、为什么大写 A 和小写 a 算两个字符
判断两行是否相同，通用做法是比字符编码。大写与小写在字符表里是两个不同的位置，编码不同就是两个字符；行尾那个空格同样占一位，两行的长度因此也不相等，自然判成不同行。全角与半角的数字、字母更明显，它们根本不是同一批字符。
这条规则对英文和拼音为主的名单最容易反直觉。同一份名单里 iphone、iPhone、IPHONE 是三种写法，会被当成三行全部留下。纯中文名单通常感觉不到它的存在，因为汉字没有大小写，剩下的坑集中在空格、全角半角和标点中英文写法上。
三、哪些情况算重复：一张对照表
| 两行的实际内容 | 判定结果 | 正确走法 |
|---|---|---|
| 都是 Error 503，字符完全一致 | 算重复，留前一条 | 直接用 |
| Error 503 与 error 503 | 不算重复 | 先统一大小写再回来跑一遍 |
| 张三 与 张三后带一个空格 | 不算重复 | 先把行尾空格清掉 |
| 全角数字编号与半角数字编号 | 不算重复 | 先统一成一种角式 |
| 同一编号出现三次且写法一致 | 只留第一次出现 | 位置不变，后面的删掉 |
| 连续的空行 | 一概不删 | 交给「删除空行」处理 |
四、分场景怎么选
- 纯中文名单，比如姓名、单位、地址：直接用，汉字没有大小写，只要每行写法一致就干净。
- 中英混排的物料编码、邮箱清单：先把大小写统一再进来，否则同一邮箱的两种写法一定都留下。
- 从聊天窗口或表格单元格复制出来的文本：先清掉行首行尾空格，复制带出来的空格是最常见的漏网原因。
- 日志与报错行这类条数多、内容长的文本：建议先去重、再删空行，顺序反过来要多跑一趟。
- 需要「不区分大小写去重」或者「去重同时排序」：这一档做不到，改用「TXT处理」那个本地页，它的去重可以选择忽略大小写，还能一起排序。
- 涉密材料的名单清洗：这一档在浏览器里算完就出结果，不用先评估能不能上传。
五、按这个顺序排查：为什么去完还有重复
- 先看两行的大小写是否完全一致，只要有一个字母不同就是两行，先统一写法。
- 再看空格与制表符，行首行尾的空格、中间连续空格的数量不同，都算不同行。
- 再看全角半角，数字与字母被打成全角时肉眼看着一样，字符并不一样。
- 再确认标点的中英文写法，同一个冒号有半角与全角两枚，占位不同。
- 最后单独看空行：去重不碰空行，满屏空行不是去重失效，把「删除空行」跑一遍就干净，连只有空格的行会一起删掉。
六、别做这几件事
- 别把去重当清洗：它只删整行重复，不补空格、不改大小写、不修正写法，指望去重顺带把脏数据理顺一定会落空。
- 别一次改好几类：删空行、统一大小写、清空格分成几步跑，出问题才找得到是哪一步带来的。
- 别指望它识别近似行：只多一个字、只差一个标点的两行都是不同行，要做模糊归并得先把差异写法拉平。
- 别在去重前手动排序：它保留的是首次出现的那一行，先把顺序打乱再去重，原来的先后关系就找不回来了。
常见问题
问：两行看着一模一样却都被留下，最可能差在哪？
答：最常见的是大小写与行尾空格这两处之一，把其中一种写法统一掉再去重，留下的行数会明显下降。
问：它会不会顺手把行的先后顺序打乱？
答：不会，去重只删后出现的重复行，第一次出现的那一行位置原样保留，不重排任何一行。
问：手机上能不能用这个面板？
答：能，面板本身就是网页，手机浏览器打开、把文本粘进去就出结果，这一步在浏览器里完成。
本站入口
入口是办公工具聚合页里的 文本去重 面板，粘入文本即可得到去掉重复行的结果，产物仍是一份文本。
如果还要连只有空格的行一起清掉，接着跑同一页面里的 删除空行；需要忽略大小写去重或顺带排序，走 TXT处理 这个本地页。