对NgramSampleEvaluator代码实现的疑问

[DKAMX]

Problem Description / 问题描述

开发者你们好，我对文档
https://opendcai.github.io/DataFlow-Doc/zh/api/operators/general_text/filter/ngramfilter/
中给出的示例输出和结果分析感到困惑，其提到

样本1（"今天天气真不错，阳光明媚，万里无云，适合出门散步。"）通过过滤（但输出中未显示，可能因为只显示了通过的样本）

我通过调试和阅读源码，发现实际上这个范例只有样本3的英文文本能够通过，其他2个样本因为得分为0所以无法通过过滤。因为ngram_sample_evaluator.py中_score_func函数的实现是通过str.split函数来对文本进行切分，这仅对英文有效，对于没有空格或者使用标点的文本无法进行切分，导致gram只有1个，因而无法计分。

我想到的一个解决方法是使用大模型的分词器来对文本进行切分，但是我不清楚这样实现是否有效。以及关于代码架构方面，在Operator类里面调用transformer管线是否合适？

System Info (dataflow env) / 系统信息（dataflow env）

• Dataflow version: 1.0.7
• Platform: Linux-6.6.87.2-microsoft-standard-WSL2-x86_64-with-glibc2.39
• Python version: 3.12.3
• PyTorch version: 2.9.1+cu128 (GPU)
• Torchvision version: 2.9.1+cu128
• GPU type: NVIDIA GeForce RTX 3060
• GPU number: 1
• GPU memory: 12.00GB

Minimal Reproducible Example / 最小可复现示例

完全复制文档中的示例用法和输入
https://opendcai.github.io/DataFlow-Doc/zh/api/operators/general_text/filter/ngramfilter/

Additional Information / 其他补充

No response

[zzy1127]

你好，感谢指出bug，我已经针对该问题提交了修复代码。

针对中文无法通过 split() 正确分词的问题，采用字粒度切分是计算 N-gram 重复率更高效且通用的方案。

我的主要修改如下：

1. 新增参数：在 NgramSampleEvaluator 和 NgramFilter 中添加了 language 参数（默认为 'en'）。
2. 切分逻辑：
   • 当 language='zh' 时：去除空格并按字符切分列表，能够正确处理中文语义。
   • 当 language='en' 时：保持原有的按空格分词逻辑。
3. 兼容性：修复了空文本或文本长度小于 N-gram 窗口时的边界情况。

我已经添加了包含中英文样本的测试用例，并更新了api文档。

[SunnyHaze]

关于在Operator里面调用Transformer管线的实现应该是长期来说必须存在的，因为总会有算子需要执行一些怪算法，最理想的就是直接import进来用。

但是这样诚然会有并行度，以及调度的问题，我们后续的ray版本会考虑给这些算子统一设计一些范式，包括但不限于：

1. Operator需要指定batch_size来运行
2. map & reduce的统一接口
3. 上层的统一调度器

类似这些功能，以实现一定程度的算力调度和并发的合理性。

诚然，目前版本就只能单模型单算子来实现这些具体的外部，非SGLang或者vLLM能支持的模型算法。