主题
文本清洗
基于大模型的文本清洗工具。
适用场景
适合：
- 语料来自网页抓取、PDF/OCR 识别，夹杂导航文字、页眉页脚、乱码、断行。
- 多个来源的文本格式不统一（繁简混杂、全半角混杂、空白混乱）。
- 要做词频或主题分析，需要去掉不影响语义的噪声词。
不适合：
- 文本已经规整（如自己整理好的访谈稿）→ 可以直接进入分析流程。
- 想做的是「从文本中提取字段」而不是「整理文本形式」→ 用结构化信息提取。
操作步骤
| 步骤 | 要做什么 | 产出 |
|---|---|---|
| 1. 数据上传 | 上传待清洗的文档 | 待清洗语料 |
| 2. 清洗规则 | 选择内置模板或自定义规则，确认清洗范围 | 清洗后的文本 |
清洗内容
内置规则覆盖这些常见处理：
| 类型 | 说明 |
|---|---|
| 繁简转换 | 繁体统一转为简体 |
| 全半角转换 | 全角字母数字标点转为半角 |
| 空白处理 | 去除多余空格、空行、断行 |
| 停用词 | 按内置停用词表过滤（是否启用按下游任务决定） |
| 自定义规则 | 按需添加针对本语料的特定处理 |
停用词不要无脑启用
下游如果是情感分析或话语分析，否定词（不、没）、程度副词（很、非常）、 转折词（但是、然而）都是分析对象，去掉就没法分析了。
能力说明
- 支持大文本量：分块策略 + 并行处理，长文档不会因长度被截断。
- 多通道扫描：同一份文本的多个清洗规则并行执行。
- 清洗结果可下载，也可直接进入后续分析流程。
计费方式
| 步骤 | 计费 |
|---|---|
| 上传文档 | 免费 |
| 设置清洗规则 | 免费 |
| 执行清洗 | 按文本字符数阶梯计费 |
具体积分以产品内价目表为准。
相关流程
详细操作文档
📖 2.2 数据清洗