每日观察!基于第四代英特尔 至强 可扩展处理器的海鑫智圣云边端一体化方案加速 AI 推理

2023-06-25 11:45:48来源:哔哩哔哩

得益于人工智能 (AI)、大数据等技术的应用,金融机构正在日趋智能化,不仅能够提升业务处理效率和金融安全性,同时为客户提供更加人性化的金融服务,让客户体会到金融服务的 “温度”。例如,通过 AI 系统对于客户的业务数据进行智能化分析,金融机构将能够清晰地洞察客户的偏好,让客户服务过程更加精准。但同时,海量数据的分析与AI 应用也将给基础设施带来巨大的压力。

北京海鑫智圣技术有限公司(以下简称:海鑫智圣)推出了集成 “海鑫智圣边缘计算终端+云端Cell推理引擎”的云边端一体化解决方案,并搭载了全新的第四代英特尔®至强® 可扩展处理器。借助内置的英特尔® 高级矩阵扩展(英特尔® AMX)加速引擎,第四代英特尔® 至强® 可扩展处理器能够帮助海鑫智圣进一步优化端到端推理性能,提升 AI 平台的整体算力和可扩展性,满足智慧金融在生物特征识别、智能 OCR 识别等领域的性能要求,加速智慧金融变革。

第四代英特尔® 至强® 可扩展处理器提升 AI 推理性能


(资料图)

“人工智能是智慧金融系统构建的核心技术支撑之一,通过采用第四代英特尔® 至强® 可扩展处理器,我们得以在保证推理精度的前提下,大幅提升生物特征识别等 AI 模型的推理速度。我们还将与英特尔进行持续合作,以云边端一体化的金融 AI 应用,推动智慧金融系统的进化,助力金融业务价值的升级。” 

孟凡军

海鑫智圣总经理

在使用第四代英特尔® 至强® 可扩展处理器进行推理并通过 OpenVINO™ 工具套件进行性能优化的场景中,海鑫智圣一体化解决方案能够支持金融机构获得强大的推理性能,同时增强基础设施调度的灵活性,降低 TCO。为了验证第四代英特尔® 至强® 可扩展处理器带来的推理性能提升,海鑫智圣与英特尔在生物特征识别应用中,进行了联合测试。测试系统配置如表 1 所示。 

首先,双方对比了在模型数据类型同为 FP32 时,生物特征识别模型在第三代/第四代英特尔® 至强® 可扩展处理器上的推理性能差异。测试结果如图 1 所示,第四代英特尔® 至强® 可扩展处理器获得了 1.58 倍的代际性能提升。

随后,双方在基于第四代英特尔® 至强® 可扩展处理器的平台上,采用英特尔® AMX 将模型从 FP32 转化为 BF16,并测试了两者的性能差异。测试数据如图 2 显示,优化后可以实现 4.55 倍的性能提升。

方案收益

显著的推理性能提升               

相较于第三代英特尔® 至强® 可扩展处理器,内置英特尔® AMX加速引擎的第四代英特尔®至强®可扩展处理器能够大幅提升推理性能,加快 AI 应用响应速度,降低性能压力。

较低的精度损失                     

测试数据显示,通过将数据类型从 FP32 转化为 BF16,英特尔® AMX 在大幅提升性能的同时,精度损失仅为0.08%,完全可以满足实际应用所需。

实现算力在云边端的合理布局   

通过算力在云边端的分配,降低了云端的数据处理以及 AI 推理压力,缩短了处理时间,有效提升了数据处理效率。

快速适配各种应用场景            

解决深度学习框架不统一、生产环境不稳定等问题,提升人工智能平台整体算力和可扩展性能,满足更多场景所需。

支持边缘端高效 AI 推理         

即使在轻量化的边缘设备侧,也具备较高的 AI 推理性能,提升 AI 应用在边缘端的运行效率,降低数据处理延迟。

目前,该方案已经在金融机构的多个场景得到应用。例如在银行开户验证/支付等场景中,银行能够通过生物特征识别技术验证是否实现了 “人证合一”,有效解决在线无人值守环境中的各类假体攻击,构建安全、高效的金融服务体系,减少流程时间以提高转化率。

如果您想要了解该解决方案的详细信息,请关注英特尔开发人员专区微信公众号在后台回复HisignAI,即可获取相关资料。

关键词:

上一篇:【全球报资讯】济南大学2023年硕士研究生调剂公告
下一篇:最后一页