1.meta编程
Meta在本周开源了可将深度神经网络(Deep Neural Networks)转为C++程序代码以加速推理服务的AITemplate(AIT),这是一个Python框架,目前支持Nvidia与AMD的GPU,但未来也不排除支持英特尔(Intel)的GPU产品。
2.meta分析代码
Meta AI团队说明,在交付部署AI模型的运算需求时,GPU扮演一个很重要的角色,特别是执行大规模预训练模型时,但现阶段AI企业在选择高性能GPU推理解决方案时的弹性非常有限,因为这些方案都集中在特定平台的封闭黑盒子中,使得针对某个品牌的GPU所设计的机器学习系统必需要完全重新实现,才能于不同供应商的硬件上运行。
3.meta分析教程
此外,AI生产流程通常需要快速开发,且诸如TensorRT等提供定制化的工具却无法满足,再加上这些封闭且私有的解决方案不容易快速调试,使得Meta打造了AITemplate来解决上述难题AITemplate的两大特色分别是高性能,以及统一、开放与灵活。
4.meta项目
它在TensorCore(Nvidia GPU)与MatrixCore(AMD GPU)上执行各种主要模型的性能都可达到Roofline FP16,如ResNet、MaskRCNN、BERT、VisionTransformer与Stable Diffusion等;此外,它同时适用于Nvidia GPU或AMD GPU的FP16深度神经网络模型,且完全开源,与这两个平台上现有的解决方案相较,它支持更广泛的融合。
5.meta简明教程
这意味着AITemplate在Nvidia与AMD的GPU上执行各种AI模型时,可达到近似于原生硬件的性能,相较于PyTorch中的Eager模式,AITemplate在Nvidia CPU的性能改善了12倍,在AMD GPU上改善了4倍。
6.meta分析能解决什么问题
Meta已在Nvidia A100及AMD MI200的GPU系统上激活AITemplate,它们也是目前全球科技企业、研究实验室及云计算服务供应商在数据中心中最常使用的GPU。
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,请使用WINRAR解压,如遇到无法解压的请联系管理员!
8. 精力有限,不少源码未能详细测试(解密),不能分辨部分源码是病毒还是误报,所以没有进行任何修改,大家使用前请进行甄别
丞旭猿论坛
暂无评论内容