黑科技王者荣耀背后的实时大数据平台用了什么黑科技?( 六 )
下面介绍下函数 , 我们原来在做的时候也是存在着一些问题 , 把数据存到存储里面 , 如果存储直接开放出去 , 让别人任意去使用的话 , 其实对存储的压力和管理程度都是很有问题的 。 所以后来我们采用了一种类似于 Fass 的的解决方式 。 我们把存储在里面的元数据进行管理 , 完了之后接口再配置化的方式 , 你要使用我这个 DB , 这个 DB 最大 QPS 多少 , 我就进行对比 , 允许你之后才能使用这个量 。
比如我这个 DB 的最大 QPS 只有 10 万 , 你要申请 11 万 , 那我就给你申请不了 , 我就只能通知 DB 把这个 Redis 进行扩容 , 扩容后才给你提供使用 。
所以这里面牵扯到我们的指标数据的元数据管理和接口之间的打通 。
2、一体化函数执行引擎—OneFun
这个和刚才 OneData 的方式是一样的 , 比如这块提供了快速的函数 , 还有一些在线函数编程的方式的接口 , 你可以在上面写一点 JavaScript 或者 Golang 代码 , 然后就生成接口 , 接口里面可以直接对外提供服务 , 把他形成产品化的包装 , 在上层根据接口衍生出更多其他的一些应用系统 。
3、基于 ssa 的在线 Golang 函数执行引擎
这里重点介绍下 Golang , 其实我们是基于 Golang 语言本身 ssa 的特点去做的 , 我们有一个执行器 , 这个执行器已经写好的 , 它的作用就是可以把你写的 Golang 代码提交过来 , 加载到它的执行器里 。
并且我们可以把我们写的代码作为函数库 , 积累下来然后放进去 , 它可以在执行的时候去调用这些函数库 , 而这里面写的代码语法和 Golang 是完全一样的 。
同时我们在这里面执行的时候 , 指定了一个协程 , 每一个协程我们规定它的作用域 , 就是以沙箱机制的方式来去执行 , 最先实现的就是外部 context 去实现的 , 我们就可以实现 Web 化的 Golang 开发 , 这种有点像 Lua 那种脚本语言一样 , 你在线写完语言直接提交执行 。
4、基于 V8 引擎的在线函数服务引擎
这是我们的 Javascript 的执行引擎 , 我们主要是做了 V8 引擎的池子 , 所有 Javascript 写完之后 , 丢到 V8 引擎上去执行 , 这应该大家都能够理解 , 如果大家玩过 JS 的可以理解这种方式 , 就是 V8 引擎里直接去执行 。
5、一体化函数执行引擎--函数即服务
这是我们的在线函数编写过程:
右下角是我们的函数代码编写区 , 写完后左边的黑框是点击测试 , 输出可以在这里写 , 点击测试就会把结果输出出来 , 通过这种方式 , 我们极大地扩张了我们数据平台的开发能力 。 原来是本地要把 Golang 代码写完 , 然后调试完再发到线上环境去测试 , 而现在我们可以很大的规范化 , 比如说数据源的引入 , 我们就直接可以在这里去规定了 , 你只能引入申请过的数据源 , 你不能随便乱引入数据源 , 包括你数据源引入的时候 , QPS 放大我都可以通过这种方式知道 。 降低启动成本;更快的部署流水线;更快的开发速度;系统安全性更高;适应微服务架构;自动扩展能力 。
这个是我们一站式 , 把函数开发完后 , 直接提交 , 我们用 Prometheus + Grafana 可以里面看到实时报表 。
6、案例介绍
这是一个典型的应用 , Flink 里面去计算的时候 , 他对这个数据进行过滤 , 完了之后进行一个远程的 call , 这个远程调用执行函数代码 , 大多数这种情况就是一个开发就可以完成大数据的开发和这个函数接口的开发 , 就可以完成这样一个活动的开发 , 整个活动开发的门槛就低了很多 , 真正实现了我们 DevOps , 就是开发能够把整个流程自己走完 。
1、数据应用必走之路—微服务化
上面讲的是 OneData 和 OneFun 的实现原理和机制 , 我们在内部是怎么去应用的 , 这套系统我们在游戏内部是大力推广 。
这里尤其是接口这块 , 其实如果说要微服务化的话 , 大数据我们能做的也就是那样了 , 能够用 yarn 或者 K8S 去做资源的管控 , 和任务的管控 , 但真正去做服务治理还是在接口这块 。 目前我们上下接口大概是三千五百个 , 每周新增 50 个接口 。
- 王者荣耀|返场投票20号截止,阿离确认0希望出线,李小龙专属奖励别错过!
- 王者荣耀|王者荣耀:“脆皮杀手”横空出世,两大战神彻底陨落,猴子已沦为边缘英雄
- 王者荣耀|蜜桔之夏返场无望?玩家请别着急难过,皮肤碎片商城“藏”着惊喜
- 王者弎月|五周年皮肤返场排名首次出现变动,白虎志赢了4天,最后一天却输给了他
- 科技日报|塑料微粒影响几何?人类认知仍不足
- 王者荣耀|李小龙皮肤28号免费上架,3大亮点话题不断,9限定集体来袭绝了
- 王者荣耀|孤影solo再丢666红包,赛后为维护自身形象,做1离谱举动,网友笑了
- 王者荣耀|QG飞牛猪八戒进步神速原因找到,拖米透露:他私下曾跟Alan请教过!
- 王者荣耀|超1000㎡!国内首个电竞体验馆来了,5大主题给你沉浸式体验
- 王者荣耀|王者荣耀:五周年庆免费福利曝光,永久皮肤/英雄免费必得