鲲鹏解决方案在1.0版本中是将鲲鹏解放方案分为了通用解决方案以及行业解决方案两种。
基于华为鲲鹏计算平台(云平台或物理平台)的解决方案分为通用解决方案及行业解决方案,通用解决方案包括全栈专属云HCS Online、高性能计算HPC、大数据基础设施、分布式存储、企业核心应用等,行业解决方案包括运营商、政府、金融等行业。部署方式可以全部采用鲲鹏平台部署,也可以采用鲲鹏平台和X86平台混合部署的方式。
1、全栈专属云HCS Online解决方案(Huawei Cloud Stack Online,HCS Online)
它是华为云在客户数据中心的一种延伸,以一体化全栈方式交付完整的云服务平台,与华为云统一架构、统一服务、统一API。
HCS Online部署在客户数据中心,物理隔离以确保安全合规,管控面通过专线接入华为云运维中心,统一运维以降低运维成本,是政府、金融、以及大企业客户核心业务上云的优选方案。
2、HPC高性能计算解决方案
高性能计算HPC(High Performance Computing,高性能计算)是一个计算机集群系统,它通过各种互联技术将多个计算机系统连接在一起,利用所有被连接系统的综合计算能力来处理大型计算问题,所以又通常被称为高性能计算集群。
高性能计算云解决方案(HPC Cloud)是利用云部署方式来提供一种高效、可靠、灵活、安全的计算服务;能够为工业设计、海量数据处理等场景提供卓越的计算服务;帮助客户降低TCO,缩短产品上市周期, 提升企业产品竞争力。(TCO (Total Cost of Ownership ),即总拥有成本,包括产品采购到后期使用、维护的成本。)
华为HPC解决方案主要分两层:
华为主要提供相关的计算所需要的IAAS资源,包括计算、存储、网络等资源。
集群调度层在不同的应用场景使用的软件略有不同,如工业仿真场景更多的使用的PBS,而针对基因测序使用的更多的是开源软件Sge以及Slurm。
PBS:作业管理系统
基于鲲鹏的HPC的解决方案的特点:
ARM HPC瞄准内存敏感型应用或双精度计算密度低的应用 (如单精或者整形计算), 比如气象环保,基因测序。
内存敏感型应用:Roofline模型描述了应用在运行时的性能上限,当应用每byte数据所进行的操作少于1时,该类型应用便可认为是内存敏感型(Memory Bound)应用,应用性能上限受内存带宽影响较大;大于1就是计算敏感(Compute bound)型,HPC场景中非常大量的算法和应用属于内存带宽受限型(Memory Bound)应用。
浮点运算和整型运算源于编程规范,浮点可细分为半精度、单精度、双精度等。精度越高,通常消耗的计算资源越多。
由于华为鲲鹏920芯片有8通道,内存带宽较高,因此对内存敏感型应用性能较好。
3、鲲鹏大数据基础设施解决方案
鲲鹏大数据基础设施解决方案 结合华为云丰富的大数据平台和基础云服务经验,为企业提供高性能、高可靠的大数据业务基础资源、AI训练推理平台,快速实现企业数据化、智能化转型 。
1.0没有提到,鲲鹏大数据解决方案—big data pro
该方案采用基于公有云的存储与计算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务为统一的存储数据湖,提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案,大幅提升了大数据集群的资源利用率,大数据成本最高可降低50%。
4、行业内的解决方案:主要是针对于不同行业对于鲲鹏架构的方案。
1.5版本中鲲鹏解决方案主要是从鲲鹏通用解决方案的介绍。
通用解决方案中包含:高性能计算HPC解决方案、大数据基础设施解决方案、鲲鹏云手机解决方案
1、高性能计算HPC解决方案
华为鲲鹏面向HPC研发创新技术点:
应用:符合HPC计算的应用场景
中间件:华为MPI(MPI是一个跨语言的通讯协议,用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口,包括协议和和语义说明,他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能,大规模性,和可移植性。MPI在今天仍为高性能计算的主要模型。);作业调度{PBS、LSF、Slurm、Paracloud、CHESS、OGSP}(PBS作业调度管理;Slurm工作负载管理器软件是一个免费的开源工作负载管理器,专为满足高性能计算的苛刻需求而设计。LSF(Load Sharing Facility)是分布资源管理的工具,用来调度、监视、分析联网计算机的负载。Slurm通过openlava接口提供了对LSF的必要兼容,可以实现作业提交、取消、查询等功能。Paracloud 并行超算云、CHESS HPC高性能计算集群管理软件、OGSP—OG HPC Service Portal:HPC高性能智能管理和自服务软件。OCSM:企业级云监控管理服务软件。OGSH:自然语言+互动平等技术服务的大数据知识库 )
基础设施:CPU、加速器、下一代服务器总线技术(PCIE4.0);下一代NAS系统(NAS(Network Attached Storage:网络附属存储)按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储,而效率却远远高于后者。);
网络互联技术(IB--InfiniBand(直译为“无限带宽”技术,缩写为IB)是一个用于高性能计算的计算机网络通信标准,它具有极高的吞吐量和极低的延迟,用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连,以及存储系统之间的互连。;InfiniBand技术不是用于一般网络连接的,它的主要设计目的是针对服务器端的连接问题的。因此,InfiniBand技术将会被应用于服务器与服务器(比如复制,分布式工作等),服务器和存储设备(比如SAN和直接存储附件)以及服务器和网络之间(比如LAN, WANs和the Internet)的通信
。RoCE–基于RDMA的网络互连技术具备高带宽低延时的网络功能,有ROCEv1、v2两种。dedicated low latency technology–专用低延时技术)
OPenHPC
OpenHPC是HPC的综合软件堆栈,是开源HPC软件组件的参考集合。1.3.3版本已经通过华为鲲鹏( ARM )服务器的全面测试。
openHPC是一套基于Linux的HPC社区驱动的FOSS(Free and open source software,自由及开放源代码软件)工具。openHCP对硬件没有特殊要求。OpenHPC提供了一个集成且经过测试的软件组件集合,以及支持的标准Linux发行版,可用于实现功能齐全的计算集群。组件涵盖整个HPC软件生态系统,包含配置和系统管理工具、资源管理、I/O服务、开发工具、数值库和性能分析工具。
2、大数据基础设施解决方案
大数据特性:4V特性
量大:volume,数据存储大,计算量大
样多:variety,来源多,格式多
快速:velocity,生成速度快,处理速度要求快
价值:value,价值密度低,和数据总量的大小成反比
对于大数据组件中常用的代表性产品的作用:
- HDFS:分布式文件系统 MapReduce:分布式并行编程模型 YARN:资源管理和调度器
Tez:运行在YARN之上的下一代Hadoop查询处理框架 Hive:Hadoop上的数据仓库
Hbase:Hadoop上的非关系型的分布式数据库 Pig:一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言Pig
Latin Sqoop:用于在Hadoop与传统数据库之间进行数据传递 Oozie:Hadoop上的工作流管理系统
Zookeeper:提供分布式协调一致性服务 Storm:流计算框架
Flume:一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统 Flink:流计算框架
Kafka:一种高吞吐量的分布式发布订阅消息系统,可以处理消费者规模的网站中的所有动作流数据 Spark:类似于Hadoop
MapReduce的通用并行框架,引入了内存计算能力
BigData Pro方案是以华为多元化芯片技术为支撑:鲲鹏CPU提供了多核高性价比算力、昇腾910提供高性能AI训练能力、昇腾310提供高效AI推理能力
大数据方案全面使用50GE网卡,华为自研SSD等技术,提供了超高的IO性能
数据湖多协议互通使得一份数据能够被多种应用兼容读取,简化了应用开发
方案兼容业界主流大数据生态、并被华为大数据生态无缝集成
大数据场景在互联网行业非常成熟,通常使用于内容推荐、广告投送、运营分析、报表等场景;互联网之外,也有各行各业的大数据场景正在迅速孵化,如卫星遥感、自动驾驶等,这些都可以使用华为BigData Pro方案。
3、鲲鹏云手机解决方案
云手机-CPH;华为云鲲鹏云手机,是基于华为云鲲鹏裸金属服务器,虚拟出带有原生安卓操作系统,同时具有虚拟手机功能的云服务器。简单来说,云手机=云服务器 + Android OS,本质是将手机上的应用转移到云上的虚拟手机来运行。
Monbox软件仿真架构:是云手机使用的软件架构,黑科技。现今一台云手机服务器可以同时部署60台云手机。
SCC:一种编解码方式
需要了解更多数据库技术:鲲鹏解决方案 1.0vs1.5,都可以关注数据库技术分享栏目—计算机技术网(www.ctvol.com)!
本文来自网络收集,不代表计算机技术网立场,如涉及侵权请联系管理员删除。
ctvol管理联系方式QQ:251552304
本文章地址:https://www.ctvol.com/dtteaching/817025.html