AI + Data Infra:Ray 架构解析
数据湖解决了数据如何持久化、更新和共享的问题,但数据进入计算阶段后,还需要另一套系统:把预处理、模型训练、推理、环境交互和结果写回组织起来,让不同机器上的 CPU、GPU 与内存协同工作。特别是在大模型场景中,一次任务往往不再是一张固定的 SQL 执行图,而是持续创建任务、维护模型进程、交换中间结果,并根据运行结果决定下一步计算。
Ray 从强化学习等动态计算场景起步,用三种抽象描述这类应用:Task 表达一次计算,Actor 保存可跨调用复用的状态,ObjectRef 将上游结果连接到下游任务。本文将沿着一次远程调用,拆解 Ray 如何选择执行节点、传递对象、分配 GPU,以及失败后哪些状态能够恢复;再结合 Ray Data、Train、Serve 和强化学习系统的生产实践,讨论一个架构选型问题:什么时候值得引入 Ray 来组织计算,什么时候直接使用 Kubernetes 作业、训练框架或推理引擎就已足够。