面向网络游戏的大数据处理框架和挑战
本大数据TRACK的主题是“数据驱动生活”,而在互联网中的重要应用网络游戏中,如何应用游戏大数据成为各大游戏公司都一直思考问题,当游戏遇见大数据会碰撞出非常剧烈的火花,首先网络游戏的数据具备下面的特点:
- 数据具备实时性:网络游戏的数据收集完全可以在线完成,数据不失效;
- 数据具备海量性:玩家行为数据、游戏采集的数据非常巨大,例如游戏的日志文件,每天以T的指数级增长;
- 游戏具备纯洁性:游戏中的数据杂质比其他行业数据会少一些,虽然游戏干扰数据处理一个重要研究课题,但是相对而言噪音低,去噪成本不高。
网络游戏大数据处理工作流大致如下:玩家在游戏内外的所有行为数据,以关系数据库或者非关系数据仓库存储所需要的数据,可以利用一些分布式数据库技术,进行并行计算,以节省数据计算时间, 提高数据处理实时性,并使用目前存在的成熟数据挖掘或者机器学习算法,最后得到知识,以挖掘出有用的价值。作为在游戏大数据领导者,我们很早就开始重视综合应用大数据技术到游戏中,这样有利于我们对玩家进行有效地管理,并能够帮助我们在激烈的市场竞争中更好地获取玩家资源,本演讲结合演讲者在大数据研究与游戏行业多年的经验,分享面向游戏行业大数据处理的框架以及面临的挑战,构建大数据时代的网络游戏解决方案,利于改良和优化游戏设计,帮助公司做出正确的商业决策,并节省成本的开销,提供更大的利润空间,总之在网络游戏中,利用大数据技术大有用武之地。
王健宗博士,目前担任网易公司大数据高级研究员,中国计算机学会大数据专家委员会委员, 在此之前,曾担任惠普公司云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,精通Hadoop、Spark和OpenStack生态系统,其在大数据、云计算、存储系统、深度学习、软件定义生态系统和数据可视化等方面有丰富的研究和工程经验。其在华中科技大学获得计算机系统结构博士学位,博士期间在云计算和大数据领域发表大约20余篇国际杂志和会议论文,并在FAST、CCGrid、GRID、HiPC、NAS、MSST、 BigData和 CLUSTER等顶尖会议宣讲其研究成果,获得一致好评。王博士还是IEEE、ACM和中国计算机学会会员,以及中国计算机学会广州执行委员和CCF YOCSEF广州分论坛副主席。