使用说明
工具说明
文本去重工具（Text Deduplicator）面向列表型内容清洗：每一行视为一条记录，保留首次出现的行，将后续相同（在选定规则下）的行标记为重复。快速清理重复内容，让你的列表更干净、更易用。
无论是邮箱列表、URL 链接、关键词，还是普通文本，只需粘贴内容，即可一键去重。所有处理都在浏览器本地完成，无需注册，也不会上传任何数据。支持离线使用，适合处理敏感数据（如客户邮箱、内部资料等）。
支持的使用场景
1. 通用文本去重
适用于任何按「每行一条」的内容，例如：
- 商品名称
- 标签列表
- 日志数据
工具会自动保留每条内容的第一次出现，删除后续重复项。
2. 邮箱列表去重
专为邮件营销和用户数据清洗设计：
- 自动忽略大小写（如 `Test@Email.com` = `test@email.com`）
- 自动识别重复邮箱
- 无效邮箱会单独标记，方便你检查，而不会被直接删除
适合整理订阅用户、客户名单等。
3. URL 链接去重
用于清理重复网页链接，特别适合 SEO 和数据整理：
工具会自动处理常见差异，例如：
- `/page` 和 `/page/` 视为相同
- 忽略页面锚点（`#section`）
还可以选择是否忽略参数（如 `?utm=xxx`），避免同一页面被重复统计。
4. 关键词去重
适用于 SEO、广告投放或内容规划：
- 支持大小写区分（默认）
- 可开启「忽略大小写」统一去重
帮助你快速整理关键词列表，避免重复投放或内容冲突。
简单 3 步完成去重
- 选择对应的使用场景（文本 / 邮箱 / URL / 关键词）
- 粘贴你的内容（每行一条）
- 自动完成去重，立即查看结果
你还可以：
- 查看哪些内容被删除（清晰标注）
- 一键复制去重结果
- 查看统计数据（总数 / 保留 / 删除）
灵活选项（可选）
你可以根据需要开启或关闭以下功能：
- 忽略大小写（统一内容格式）
- 去除空格（避免格式导致重复）
- 忽略空行（保持结果干净）
- 排序结果（A–Z 或 Z–A）
- URL 去参数（适合 SEO 数据清洗）
- 邮箱格式检查（识别无效地址）
大多数情况下，默认设置已经足够使用。
可视化差异预览
所有处理都是透明的：
- 保留的内容正常显示
- 被删除的重复项会加删除线，并标记为「重复」（`dup`）
你可以清楚看到每一条变化，不用担心误删。
使用限制
当前单次最多约 500,000（50 万）字符，便于大批量邮箱、网址或关键词列表去重；极端超长内容仍建议分段处理。