• 卢经理 151 5399 4549
    扫一扫,加我咨询
扫码关注我们
新商智慧数据平台
发布时间:2019-03-05

        新商大数据中心平台采用分布式文件系统,隐藏下层负载均衡,冗余复制等细节,对上层程序提供一个统一的文件系统API接口。并可以根据自己的需求对它进行了特别优化,包括:超大文件的访问,读操作比例调整,自动化故障自动恢复处理流程。文件系统将把文件分成64MB的块,分布在集群的机器上,使用Linux的文件系统存放。并具备多重备份。 

C931DD27-9401-4999-B8A3-F69C42A22E5A

        大数据中心模块架构:

图片2



           智慧平台大数据中心 由许多元素构成。其最底层是 Distributed File System(分布式存储器),它存储 大数据中心 集群中所有存储节点上的文件。分布式存储器的上一层是分布式计算 引擎,该引擎由任务调度引擎和任务处理引擎组成。


          技术优势: 

               (1) 高扩展性。在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

               (2)高效性。能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

               (3)高容错性。能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。 

        

智慧平台云服务基础设施架构图 

图片3

        

        智慧平台安全基本方案:

           1. 渗透防护,采用基于硬件的网闸进行数据隔离。

           2. 认证防护,才用USBKEY与两段式验证的用户验证体系。

           3.攻击防护,基于WAF与人工智能引擎的恶意行为识别,进行攻击辨别与处理。

           4.运行监控,对系统从基础架构到用户界面,多达数百处监控点进行动态监控。

           5.基于分布式冗余的数据备份,以及基于日志的单向传输的实时备份     6.对网络传输层与数据存储层进行加密处理。


    

 图片4


         人工智能核心组件(core runtime) :

           1、API接口层(C API)

           2、分发中心(distributed master) 

           3、执行器(dataflow executor/worker service)

           4、内核应用(kernel implementation)

           5、最底端的设备层(device layer)

           6、网络层(networking layer) 


        人工智能运行原理-分发中心

          分发中心从输入的数据流图中剪取子图(subgraph),将其划分为操作片段并启动执行器。分发中心处理数据流图时会进行预设定的操作优化,包括公共子表达式消去(common subexpression elimination)、常量折叠(constant folding)等 。

图片5


        人工智能运行原理-执行器 

        执行器负责图操作(graph operation)在进程和设备中的运行、收发其它执行器的结果。拥有参数器(parameter server)以汇总和更新其它执行器返回的模型参数。执行器在调度本地设备时会选择进行并行计算和GPU加速  。 

 图片6

     

         综上,智慧数据平台具有以下安全性优势:

             1、读取各企业系统时,采用“无侵入式读取” 。 即可以在不改变用户系统的前提下,进行数据接入。

             2、数据共享使用时采用“沙盒数据监管系统” 即可在各平台用户使用数据时实现数据使用时间的全称监管,处理完以后的存储数据根据用户之间共享协议进行权限分配。

             3、数据通讯均采用证书加密技术防止中间被窃取、篡改和入侵。

             4、数据库采用2进制日志进行实时性备份,在出现紧急情况时可快速恢复。

             5、可以进行数据校验与比对,确保数据的安全性。

             6、基于信息化系统L4安全级别标准,系统各模块之间采用硬件防护隔离,阻止入侵或者将可能发生的入侵隔离,并形成告警日志。 


下一篇:电商平台