Skip to content

分布式处理 #374

@cuiyah

Description

@cuiyah

Feature Description / 功能描述

当前的数据处理模式主要是:来回读写本地 json 文件,需要频繁的磁盘 IO 操作(如 FileStorage)。

数据加工步骤越多,处理流程就越长,IO操作越频繁。面对大规模数据时,这将可能成为性能瓶颈,将来是否会考虑进一步优化分布式处理能力,比如融合Ray?

System Info (dataflow env) / 系统信息(dataflow env

/

Additional Information / 其他补充

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions