从日志、爬虫或表格导出的行数据,常常混着一堆过短的空行、残缺记录,或是被截断超长的异常行,肉眼一行行删既慢又容易漏。文本长度过滤按每行的字符数来筛:设一个阈值,保留或剔除长度超过、不足这个值的行,一次清掉整批噪声。
比如清洗一份邮箱列表,把不足 6 个字符的明显残行剔掉;整理关键词表,只留长度在合理区间的词;或核对一批标题,把超出限制的行单独挑出来改。
要注意的是长度按字符数计,中文、英文字母、标点都各算一个,且行尾空格和全角空格也计入其内——一行看着不长却因尾部空格被判超标,过滤前最好先去掉首尾空白。