VMware副总 谈云端大数据
VMware研发资深副总查尔斯范,本周在华美半导体论坛演讲「云端时代的大数据」(Big Data in the Cloud Era)时指出,云端及移动的兴起,带来巨大的数据,科技界对于大数据要有突破传统的储存处理方法,同时还要作到「即时匯流处理」(Real Time Streams)。
查尔斯范指出,电脑从最早的主机、个人电脑、网路连结,到现在的云端计算,由于社群网的高速成长,加上移动电子产品的无所不在,使得数据大量增加,「大数据是续云端计算后,最热门火红的科技名词」。
查尔斯范指出,大数据的处理有五个层面(Layer)。先从「联合大数据云端架构」(Unified Big Data Cloud Infrastructure)匯集网路上各种管道的数据,进入「大数据档案系统中的非结构性数据」(Unstructured Data in a Big Data Filesysem)。
第三个层面开始对这些数据「即时处理」、「互动处理」及「分组处理」(Batch Processing)。第四个层面进入「数据分析」,最高的第五个层面才是「数据呈现」,成为商业企业、分析师、数据科学家、研发工程师需要的资讯。从「数据」到「资讯」,最后成为「知识」。
查尔斯范表示,由数据库设备大厂甲骨文(Oracle)规画的「TXN、OPS、DW」三层「数据库世界」(Database World)架构,是属于传统企业数据处理架构。在大数据时代的「数据云端世界」(Datacloud World)架构,还要具有五种功能,结合了「数据库世界架构」才能完整处理大数据。
五种功能包括:一、「大数据」处理,有Logs、Sensor、Video、Ticksers、Social、Mobile等数据,以「CRAP」(Creat、Replicate、Append、Process )原则来处理。二、「混合云端」(Hybrid Cloud),有SaaS Apps、Multi-Cloud Data、Polyglot Data。三、「数据民主化」(Democratization of Data),如AaaS、Visualization。四、「虚拟化」(Virtualization),Operationalization & Automation 。五、「开放资源软体」(Open Source Software),接合NoSQL及RDBMS。
查尔斯范指出,电脑从最早的主机、个人电脑、网路连结,到现在的云端计算,由于社群网的高速成长,加上移动电子产品的无所不在,使得数据大量增加,「大数据是续云端计算后,最热门火红的科技名词」。
查尔斯范指出,大数据的处理有五个层面(Layer)。先从「联合大数据云端架构」(Unified Big Data Cloud Infrastructure)匯集网路上各种管道的数据,进入「大数据档案系统中的非结构性数据」(Unstructured Data in a Big Data Filesysem)。
第三个层面开始对这些数据「即时处理」、「互动处理」及「分组处理」(Batch Processing)。第四个层面进入「数据分析」,最高的第五个层面才是「数据呈现」,成为商业企业、分析师、数据科学家、研发工程师需要的资讯。从「数据」到「资讯」,最后成为「知识」。
查尔斯范表示,由数据库设备大厂甲骨文(Oracle)规画的「TXN、OPS、DW」三层「数据库世界」(Database World)架构,是属于传统企业数据处理架构。在大数据时代的「数据云端世界」(Datacloud World)架构,还要具有五种功能,结合了「数据库世界架构」才能完整处理大数据。
五种功能包括:一、「大数据」处理,有Logs、Sensor、Video、Ticksers、Social、Mobile等数据,以「CRAP」(Creat、Replicate、Append、Process )原则来处理。二、「混合云端」(Hybrid Cloud),有SaaS Apps、Multi-Cloud Data、Polyglot Data。三、「数据民主化」(Democratization of Data),如AaaS、Visualization。四、「虚拟化」(Virtualization),Operationalization & Automation 。五、「开放资源软体」(Open Source Software),接合NoSQL及RDBMS。