本研究针对蛋白质稳定性数据质量不足、数据库架构僵化等问题，开发了FireProtDB 2.0数据库。通过重构抽象化数据存储方案 ...

MegaScale是字节跳动开发的一个高效稳定的生产系统，用于在万卡级别上进行大规模语言模型的训练。它通过一系列优化措施，包括模型和优化器设计、计算与通信重叠、算子优化等，提高了训练效率和稳定性，并具备深入的监控和诊断能力，显著提升了模型FLOPs ...

在2024年的2月末，字节跳动发布了一篇论文，叫做《MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs》。标题中的MegaScale指的是是一个大语言模型的生产框架，类似于英伟达的开源框架Megatron-LM。 英伟达这套框架主要是通过数据并行（data parallelism）、张量 ...

文章披露，字节搭建起的万卡集群，能在1.75天内完成GPT-3规模模型（175B）的训练。 随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。 来自字节和北大的一篇新论文在此时吸引关注： 文章披露，字节搭建起的万卡集群，能在1.75天内完成GPT-3规模模型 ...

一些人可能对折纸术并不陌生，在折纸术中，纸张被复杂地折叠成各种形状。但人们是否知道，人体内的蛋白也会经历一个复杂的折叠过程，这对它们的结构和功能至关重要？ 一些人可能对折纸术并不陌生，在折纸术中，纸张被复杂地折叠成各种形状。但人们 ...

2022年6月28日，科睿唯安最新发布的《期刊引证报告》显示，中国工程院院刊《Engineering》2021年影响因子达到12.834，在全球工程综合领域92种期刊排名中跃居榜首，这标志着我国工程类综合性期刊向建设世界一流科技期刊的目标大大前进了一步！ ...