数据分析 - 平台 - 调试架构
对于专门研究数据的公司来说,数据分析工作任务量是很大的,对于结果呈现也有着极高的要求。由于数据源来源差异大,格式的不确性,数据分析需要大量人员参与,而对于可视化呈现来说,方式却可以趋于一致性,无非就是图表、柱形图、折线图等有限种。所以这里开发了一种多项目数据分析统一呈现的可视化平台。
架构师: 1人 * 3月
数据分析人员: 6人 长期
平台开发人员: 2人 * 3月
数据分析人员仅需要关心项目数据源结构,分析结果要求,提供结果数据源和呈现要求,对于结果的具体实现不需要关心,将精力放于各个具体项目数据上。
平台开发人员仅需要开发各种表格、图形的呈现方式,形成通用接口,仅需一次开发,即可各项目均实现通用化。
各人员均在各自电脑工作,开发完成后将结果上传到生产环境。
因代码均使用各自电脑完成,数据人员需要将代码上传到生产环境才能看到结果,平台人员对数据的各种要求无法预知,双方代码不互通(出于安全保密性考虑,平台人员是没有数据读取权限的),因此无法安全的进行各种测试(生产环境不能也不应用于代码测试),必须建设安全测试层。
局域网部署服务器一台,安装Nextcloud私有云服务,各人员通过账号控制权限将代码同步到私有云,合并代码,进行实时调试。服务端启动Flask DEBUG模式,并使用sh编写异常退出守护进程,保证调试服务器稳定性。