天玑科技申请基于NPU算力的大模型调度专利,提高NPU资源利用率

金融界2025年1月24日消息,国家知识产权局信息显示,上海天玑科技股份有限公司申请一项名为“一种基于NPU算力的大模型调度方法及装置”的专利,公开号 CN 119336457 A,申请日期为2024年8月。

专利摘要显示,本发明涉及一种基于NPU算力的大模型调度方法及装置,具体步骤包括:将大模型按层拆分为多个子任务,并分析每个子任务之间的依赖关系;对大模型及子任务进行运算需求预测,得到运算量因子和内存需求因子;训练算力评估模型,预测每个NPU节点的实时算力评估数据;选择调度策略,根据调度策略计算每个待调度子任务的初始优先级,结合资源需求信息与NPU算力评估数据,使用贪心算法将每个子任务分配到最优的NPU节点上执行实时监测各个NPU节点上子任务的运行情况,当发现子任务执行出现非正常情况时,触发报警并采取应对措施。与现有技术相比,本发明具有提高NPU资源利用率和算力调度效率,保障设备安全的优点。

天眼查资料显示,上海天玑科技股份有限公司,成立于2001年,位于上海市,是一家以从事互联网和相关服务为主的企业。企业注册资本31345.7493万人民币,实缴资本31345.7493万人民币。通过天眼查大数据分析,上海天玑科技股份有限公司共对外投资了30家企业,参与招投标项目1693次,知识产权方面有商标信息72条,专利信息55条,此外企业还拥有行政许可8个。

来源:金融界返回搜狐,查看更多

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
我来说两句
0人参与, 0条评论
登录并发表