前端开发在大数据行业中的工作总结 (2)

       这就是前端开发工程师在大数据行业中所占有的优势点,如何制作交互良好的可视化操作界面?如何将现有的工作流程、工作需求变成一个个的可视化操作界面? 可不可以使用智能化取代一些无脑的操作?

  从一定意义上来说,大数据开发中,我个人认为前端开发工程师占据着更重要的位置,仅次于大数据开发工程师。至于后台开发,系统开发是第三位的。好的交互至关重要,如何转换数据,如何抽取数据,一定程度上,都是有先人踩过的坑,例如kettle,再例如kafka,pipeline ,解决方案众多。关键是如何交互? 怎么样变现为可视化界面? 这是一个重要的课题。

  现有的各位朋友的侧重点不同,认为前端的角色都是可有可无,我觉得是错误的,后台的确很重要,但是后台的解决方案多。 前端实际的地位更重要,但是基本无开源的解决方案,如果不够重视前端开发, 面临的问题就是交互很烂,界面烂,体验差,导致开发人员的排斥,而可视化这块的知识点众多,对开发人员的素质要求更高。

 

大数据治理

  大数据治理应该贯穿整个大数据开发流程,它有扮演着重要的角色,浅略的介绍几点:

               数据血缘

               数据质量审查

               全平台监控

        数据血缘

  从数据血缘说起,数据血缘应该是大数据治理的入口,通过一张表,能够清晰看见它的来龙去脉,字段的拆分,清洗过程,表的流转,数据的量的变化,都应该从数据血缘出发,我个人认为,大数据治理整个的目标就是这个数据血缘,从数据血缘能够有监控全局的能力。

        数据血缘是依托于大数据开发过程的,它包围着整个大数据开发过程,每一步开发的历史,数据导入的历史,都应该有相应的记录,数据血缘在数据资产有一定规模时,基本必不可少。

        数据质量审查

         数据开发中,每一个模型(表)创建的结束,都应该有一个数据质量审查的过程,在体系大的环境中,还应该在关键步骤添加审批,例如在数据转换和映射这一步,涉及到客户的数据提供,应该建立一个完善的数据质量审查制度,帮助企业第一时间发现数据存在的问题,在数据发生问题时也能第一时间看到问题的所在,并从根源解决问题,而不是盲目的通过连接数据库一遍一遍的查询sql。

        全平台监控

         监控呢,其实包含了很多的点,例如应用监控,数据监控,预警系统,工单系统等,对我们接管的每个数据源、数据表都需要做到实时监控,一旦发生殆机,或者发生停电,能够第一时间电话或者短信通知到具体负责人,这里可以借鉴一些自动化运维平台的经验的,监控约等于运维,好的监控提供的数据资产的保护也是很重要的。

  大数据可视化

   大数据可视化不仅仅是图表的展现,大数据可视化不仅仅是图表的展现,大数据可视化不仅仅是图表的展现,重要的事说三遍,大数据可视化归类的数据开发中,有一部分属于应用类,有一部分属于开发类。

       在开发中,大数据可视化扮演的是可视化操作的角色, 如何通过可视化的模式建立模型? 如何通过拖拉拽,或者立体操作来实现数据质量的可操作性? 画两个表格加几个按钮实现复杂的操作流程是不现实的。

       在可视化应用中,更多的也有如何转换数据,如何展示数据,图表是其中的一部分,平时更多的工作还是对数据的分析,怎么样更直观的表达数据?这需要对数据有深刻的理解,对业务有深刻的理解,才能做出合适的可视化应用。

       智能的可视化平台

        可视化是可以被再可视化的,例如superset,通过操作sql实现图表,有一些产品甚至能做到根据数据的内容智能分类,推荐图表类型,实时的进行可视化开发,这样的功能才是可视化现有的发展方向,我们需要大量的可视化内容来对公司发生产出,例如服装行业,销售部门:进货出货,颜色搭配对用户的影响,季节对选择的影响   生产部门:布料价格走势?  产能和效率的数据统计?  等等,每一个部门都可以有一个数据大屏,可以通过平台任意规划自己的大屏,所有人每天能够关注到自己的领域动向,这才是大数据可视化应用的具体意义。

 

写在最后

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpdxyw.html