内存泄漏属于慢性隐性故障,不会立刻崩溃,但内存占用持续上涨、接口延时不断增加,久而久之程序卡顿降级,最终触发OOM 宕机,段错误为突发性致命故障没有固定的重复出现的规律,时不时地会出现闪退的情况,并且还缺少日志,这样很难去定位的程序崩溃 ...
agent 就是你写的那段程序,trainer 就是一个 actor,reward 是你在 Env 或 ChatAgent 里随手写的任意 Python。剩下的活儿三个大件全包了。README 里反复强调一个数字:大约 8600 行 RL 代码(推文里说的 9K 是个约数),却能撑到 1T 级别的 MoE。 OpenRLHF 的 ...