登录 / 注册
IT168网络安全频道
IT168首页 > 网络安全 > 网络安全评论 > 正文

大数据碰撞私有云 飞谷云的几点分享

2017-05-13 18:04    it168网站 原创  作者: 高博 编辑: 高博

  【IT168 评论】5月11日到13日,2017第八届中国数据库技术大会(DTCC2017)在北京国际会议中心召开。本届大会以“数据驱动 价值发现”为主题,汇集了来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。

  5月12日大会的第二天,现场参会人员依然热情高涨,本着学习、技术交流的态度游走于各论坛之间,其中大数据云服务作为最受欢迎的分论坛之一,吸引了众多观众到场聆听学习。其中飞谷云的创始人张粤磊作为“压轴”演讲给大家带来了“基于私有云的大数据运维实践”。

大数据碰撞私有云 飞谷云的几点分享
飞谷云的创始人张粤磊

  首先他向我们介绍了飞谷私有云构建的业务场景,主要是解决大数据开发者本地搭建大数据环境的不稳定问题;解决公有云搭建hadoop后开发运维管理的不方便以及解决学员个性化学习实战项目多hadoop版本环境共享数据源问题等。此外他还提到,云计算与大数据的关系可以分两部分来概括,即分(SOA+虚拟化技术+分布式并行计算)与合(分布式存储和并行计算来实现智能BI)的关系。

  在讲到基于私有云的选型云软件对比时,张总提到以下几点:

  ●传统虚拟化中分为两个类型,Type-1型是指在服务器的硬件平台上先部署虚拟机管理层(Hypervisor),再在Hypervisor之上生成虚拟机,每个虚拟机再安装操作系统、运行库与相关的应用,Type-2型则在裸机之上先安装操作系统(比如Linux或Windows),再安装Hypervisor。Type-1虚拟化比较常见的是VMware的vSphere、微软的Hyper-V、Linux的KVM以及Xen,Type-2的典型代表是VMware的Workstation以及Oracle的VirtualBOX。

  传统的LXC在当前的应用中的弊端也在突显,由此LXC缺少更全局的统一标准化的描述定义,以及在原始的开发中并没有过多考虑可迁移性(共享),所以在管理方面也比较复杂,尤其在互联网+云计算时代,时常会出现应用大规模扩展部署的情况,在这种情况下传统的LXC显然就缺乏了有效应对办法。

  ●从Docker的应用封装架构中,可以看出其最基础的运行内核与底层镜像就源于Linux的内核,用户可以将利用Dockerfile生成好的应用镜像,上传至远端的Docker Registry(比如Docker公司自己运营的云服务,或是私建的Docker Registry),也可以从Docker Registry里下拉一个别人已经建立好的镜像直接投入到容器中进行运行,相比之下Docker显然带给了LXC更灵活的部署与快速应变的能力。

  在基于私有云的大数据系统相关构建实践的内容分享中,张总提到了多版本大数据系统构建的需求,主要有以下几个方面:

  ●Hadoop基本配置信息做到各集群间共享复用。

  ●Hadoop的服务启动进程监控脚本做到各集群间复用。

  ●操作系统级别的用户配置环境变量网络设置复用。

  ●各集群系统数据源的共享复用。

  数据驱动·价值发现

  本届DTCC大会为第八届,本届大会以“数据驱动·价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会共设定2大主场和20个技术专场,吸引了5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

行车视线文章推荐

首页 评论 返回顶部