Welcome to Guangba's HomePage
Welcome to Guangba's HomePage
Home
Publications
Blogs
Projects
Contact
Light
Dark
Automatic
AI
Chatgpt 后面的分布式 AI 框架:Ray
现代AI应用已经不再由一种机器学习任务组成,而由多种机器学习任务如 Data Processing、Training、Serving 和Simulation 组成。而当前没有一个能够同时支持多种类型任务的通用调度框架,工程师需要组合多种框架来开发应用。为了解决这个痛点,UC Berkeley 提出一个通用的分布式计算框架 Ray。
Guangba Yu
Jun 21, 2023
2 min read
Weekly Paper
ChatGPT 后面的分布式 AI 框架:Alpa
将神经网络扩展到数千亿个参数,使得GPT-4等取得了巨大的突破,但训练和推理这些大规模的神经网络需要复杂的分布式系统技术。Alpa是一个适用于训练和推理大规模神经网络的自动化编译器。它只用几行代码就能实现大规模分布式训练和推理的并行自动化。
Guangba Yu
Jun 5, 2023
2 min read
Weekly Paper
Cite
×