通过对数据处理阶段性发展的解析，分析大数据、人工智能技术的发展趋势。结合实际生产需求，验证了基于容器云架构的新一代大数据与人工智能平台在数据分析、处理、挖掘等方面的强大优势。
人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值；同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸；此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切。通过容器技术，在容器云平台上构建大数据与人工智能基础公共能力，结合多租户技术赋能业务部门的方式将人工智能、大数据与云计算进行融合。
数据处理的发展阶段
随着信息技术的蓬勃发展，特别是近十年，移动互联技术的普及，运营商、泛金融、政府、大型央企、大型国企、能源等领域数据量更是呈现几何级数的增长趋势。数据量的膨胀除了带来了数据处理性能的压力外，数据种类的多样性也为数据处理手段提出了新的要求，大量新系统的建设同时产生了众多数据孤岛，给企业的数据运营维护与价值发掘带来了重大的挑战。随着大数据技术的不断发展，企业的数据处理技术转型也经历了几个阶段。
大数据、人工智能与云技术的融合
随着企业内部对于数据资源的应用不再仅仅局限于IT部门，越来越多的内部项目组与分支机构加入大数据平台的使用中，加之数据处理技术的不断发展，如何解决基础平台的资源隔离问题、管理分配问题、编排调度问题；如何将企业业务应用需要的基础服务能力做更好地抽象，降低应用所需的基础服务的环境搭建、开发、测试部署周期，提升IT支撑效能；如何更好地管理众多的基于大数据与人工智能开发的应用等等成为企业急需解决的问题。
在大数据技术发展的早期，仅仅是在计算框架MapReduce中提供简单的作业调度算法，随着资源管理的需求，在Hadoop 2.0时代，Yarn作为单独组件负责分布式计算框架的资源管理。但是，一方面，Yarn仅仅能够管理调度计算框架的资源；另一方面，资源的管理粒度较为粗放，不能做到有效的资源隔离，越来越不能满足企业客户的需求。
云计算技术作为资源隔离封装虚拟化，以及管理调度的技术，本应应用于解决上述问题。但是，在Docker容器技术被广泛接受之前，云计算虚拟化技术主要基于虚拟机封装资源，并在其之上加载操作系统，资源利用率低，早期有厂商尝试将大数据平台构建在基于虚拟机技术的云化方案上，由于资源利用和稳定性问题，在私有云上的尝试鲜有成功案例。在公有云方面，借助公有云较为强大的基础平台硬件与运维支持能力，有一些非核心业务的应用尝试。
随着Docker、Kubernetes等容器技术的发展，与微服务等技术概念的形成，大数据与人工智能基础平台开始基于容器云构建底层资源管理与调度平台。容器云就像一个分布式的操作系统，将集群中的各类硬件资源进行封装、管理以及调度，将封装的资源作为容器承载大数据的相关组件进程，再将这些容器进行编排，组成一个个的大数据和人工智能的基础服务，如分布式文件系统HDFS、NoSQL数据库Hbase、分布式分析型数据库Inceptor、分布式流处理平台Slipstream、分布式机器学习组件Sophon等。由这些基础服务编排构建公共能力服务层，提供如数据仓库、数据集市、图数据库、全文搜索数据库、流处理服务、NoSQL数据库、机器学习平台服务、定制图像识别服务等，为企业打造全新的数据处理核心系统。基于这一核心系统服务于各类企业的不同部门。通过资源隔离技术，通过对每个租户的资源分配和权限管理，满足业务分析人员的个性化分析需求，专注于业务逻辑的开发和数据的分析挖掘。
基于容器云的大数据与机器学习平台的全面应用
基于TOS实现的多租户新模式，将大数据与机器学习平台组件完全容器化实现，并在TOS提供能力服务。实现资源发布、申请，使用及应用开发、成果推广。通过项目立项申请审批后，省分项目组人员在租户空间内，接入访问数据资源，使用平台服务资源，大数据分析工具及机器学习挖掘工具展开数据分析挖掘工作，具体开展数据处理、模型开发、算法应用、应用发布等，在审批验收之后，将成果推广到数据湖上部署对全集团提供数据应用服务。
通过TOS+TDH搭架厚平台、薄应用的微服务架构，实现租户之间的异构性、独立测试与部署、资源按需伸缩、高性能计算能力、租户间错误问题隔离、团队全功能化。实现数据资产化管理。面对集团数据多样、海量、跨板块、跨专业的需求，集团对数据进行了全面梳理，创新集成各版块、专业数据，创建数据资产目录便于快速检索获取资产，管控治理资产，让数据即资产从理论阶段上升到实现阶段。
随着企业数据处理与服务需求的不断发展，由大数据的汇聚，分布式技术释放计算能力开始，技术不断延伸发展，大数据、人工智能与云计算的边界越来越模糊，三者技术的发展不断互相影响与融合，这是发展与需求产生的自然趋势。在“后大数据时代”，基础大数据与人工智能云平台的形成与落地会越来越多，真正实现科技赋能业务，为企业提升效率与发展提供更强的心脏。同时，未来可以看到，企业可能会将其基于基础能力平台的应用体系也上架到平台的应用市场中，充分利用云平台的优势能力，资源共享，统一管理。
