1.负责日志、数据库、API及第三方数据等多源异构数据的接入、清洗与标准化处理,搭建高效稳定的数据入湖管道。
2.参与数据仓库离线、准实时及实时ETL任务的开发工作。
3.搭建端到端数据质量监控体系,制定并落地数据校验规则,保障数据质量符合标准。
4.参与大数据治理体系设计,负责数据模型的开发与维护,通过元数据管理及质量体系实现专有领域数据的全链路管控。
5.参与数据资产管理,重点搭建指标体系、标签体系,并负责数据目录的梳理与维护。
6.负责领导交办的其他工作。
1.本科及以上学历学位(留学回国人员应取得教育部相应学历学位认证),计算机科学与技术专业。
2.精通数据建模及ETL设计开发,对数据仓库、数据平台等有深刻理解,具备丰富的数据加工处理和优化经验。
3.熟练掌握MySQL、GaussDB、PostgreSQL、Hive数据库使用;精通SQL、存储过程等开发,具备SQL调优知识和经验。
4.熟练使用python、shell进行ETL开发和数据处理以及数据质量预警;有Airflow、Dolphinscheduler、Kafka、Sqoop、MapReduce、Spark、Flink 等两种以上使用和优化经验。
5.对数据敏感,有较强的数据建模能力,结合业务需求,给出合理高效的解决方案。
1.负责参与需求评审,制定测试计划、设计测试用例,覆盖功能、性能、安全及兼容性等场景。
2.负责支持公司数据服务、京云平台等系统测试投产验证,保证功能稳定上线。
3.负责探索并引入测试新技术、工具,提升测试覆盖率和执行效率。
4.负责制定公司测试管理流程,推动制度建立。
5.负责撰写测试报告,清晰呈现测试结果与风险,支撑发布决策。
6.负责领导交办的其他工作。
1.本科及以上学历学位(留学回国人员应取得教育部相应学历学位认证),计算机科学与技术、软件工程相关专业。
2.熟悉软件测试基本理论和方法,掌握测试用例设计方法,熟悉jmeter或自动化测试工具使用,有金融、高并发系统测试经验者优先。
3.熟悉Unix/Linux基本使用命令,熟悉数据库的基本知识,熟悉SQL语言。
4.善于沟通,具备较好的文档编写能力。
1.负责数据库的监控、运维巡检、性能优化、故障处理等技术运维支持,例如MySQL、GaussDB等数据库和数据仓库,负责数据库迁移、数据同步等工作。
2.负责数据库的组件高可用性维护工作等,负责根据项目需求设计并制定数据库解决方案,制定并不断完善数据库的运维规范、开发规范及安全规范,制定数据库备份恢复制度和策略。
1.硕士研究生及以上学历学位(留学回国人员应取得教育部相应学历学位认证),计算机科学与技术相关专业。
2.具备3年以上数据库管理工作经验,有国产化信创数据库相关运维实践经验。
3.熟练掌握如MySQL、PostgreSQL、MongoDB、Redis、Elastic Search等数据库技术,能够熟练完成数据库的安装配置、性能优化,故障处理、数据迁移等操作,熟悉数据备份原理、数据恢复机制,可自主完成备份管理与恢复工作。
4.熟练编写运维脚本,shell、python等,有一定的自动化运维经验。
5.具有中级工程师职称或持有软考中级、OCP、OCM等相关认证。
6.良好的沟通表达能力和团队合作精神,有一定的组织协调能力,学习能力强有责任心。