数据分析要会写代码

添加时间:17-11-01   添加人:  点击:

大数据


最近工作任务有些忙,主要是各个部门的数据分析需求再加上APP后端性能优化挤到一块儿去了。


之前的数据相关工作主要是被动式的,各个部门把数据分析的需求给出来,然后一个人从ES或者Hadoop中对数据进行分析,最终用tableau画图,然后通过Keynote导出成pdf,通过邮件反馈回去。


近期通过了一个提案,就是开发一个内部使用的大数据开放平台,在Web上输入某个关键字,就可以返回相关的信息和分析结果。将自己从很多的手工分析中解放出来。


任务比较急,从零到上线只给一个月时间,而且只有我一个开发人员,还不能耽误平时的正常工作。


所以权衡下来,初步选择基于tableau server提供的Restful API,将后台预先生成的图返回到Web前端。同时会从Redis中获取一个实时计算的数据以及Mysql中获取一些文本类的信息展示。


Nginx主要是用来做安全控制,只允许公司内网使用,这样就不需要账号登录模块了。


总的架构如图所示:


大数据

今天升级了一下tableau server到最新版本,可以基于Http Restful API来下载视图的高清图片了。幸好今天升级了,还有不到一个月维护的License就到期了,到时候就无法升级了。而低版本的tableau server提供的API比较弱,完全没法满足初步的需求。


前端会提供一个简单的搜索框,然后搜索的内容和图片会显示在下面,第一版本暂时不会提供数据的导出功能。


目前是基于Python快速搭建一个Demo出来,等到Demo搭建的差不多了,打算使用Golang来做为后台,主要的考虑是顺便捡起遗失已久的Golang。


End.


转载请注明来自36大数据(36dsj.com)