文本预处理

分析流程之前的两步准备。原始语料的质量直接决定后面所有结果的质量，这一步值得多花时间。

包含的流程

流程	做什么	什么时候用
文本清洗	去噪声、统一格式（繁简、全半角、空白、停用词）	语料来自网页抓取、OCR、多来源混合时
结构化信息提取	按自定义模板从文本中抽取结构化字段	要把非结构化文本变成可统计的表格时

两者的关系

它们解决的是两类不同的问题，可以单独使用，也可以串起来：

• 文本清洗改变的是文本形式 —— 保持内容不变，去掉干扰分析的部分。
• 结构化信息提取改变的是文本存在形态 —— 从连续文本里抽出一行行记录。

典型链路：

原始语料 → 文本清洗 → 结构化信息提取 → 面板表格 → 统计分析

一个常见误解

清洗不是「越干净越好」。停用词、标点、口语成分对不同的分析目标是不同的：

• 做词频、主题分析 → 停用词要去掉，否则「的、了、是」占据榜首。
• 做话语分析、情感分析 → 否定词、程度副词、转折词必须保留，它们承载语义。
• 做句法分析 → 标点要保留，句子边界是分析单位。

所以清洗规则要根据下游任务来定，本模块提供内置模板，也支持自定义。

计费方式

步骤	计费
上传文档	免费
清洗规则设置、抽取定义	免费
执行清洗	按文本字符数阶梯计费
执行信息抽取	按文本字符数阶梯计费

只做设置不执行，不产生费用。具体积分以产品内价目表为准。