项目背景和目的:本项目实现了一个基于深度学习的遥感影像变化检测桌面系统,核心特点在于将6种SOTA模型从训练环境无缝迁移到本地CPU部署。系统通过ONNX Runtime和PyTorch CPU推理后端,在无GPU条件下完成高效推理,解决了科研模型向工程应用转化的关键问题。
CacheRoute是一种基于vLLM和LMCache开发的新型跨LLM系统任务调度平台。考虑到大语言模型的知识密集型业务(如浏览器AI、知识问答AI)涉及大量知识重用,而现有方法主要通过将知识的长文本片段放在问题前作为prompt一同送入模型进行重计算;尽管这种方法能够有效 ...