agent 就是你写的那段程序，trainer 就是一个 actor，reward 是你在 Env 或 ChatAgent 里随手写的任意 Python。剩下的活儿三个大件全包了。README 里反复强调一个数字：大约 8600 行 RL 代码（推文里说的 9K 是个约数），却能撑到 1T 级别的 MoE。 OpenRLHF 的 ...