这是一个创建于 1980 天前的主题,其中的信息可能已经有所发展或是发生改变。
岗位职责:
( 1 )负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。确保方案对架构遵从,并协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。
( 2 )负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范,参与云数据平台的日常运维,参与集群查错和性能调优,提升平台的稳定性及效率。
( 3 )结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查、性能调优,包括不同类型不同来源的数据收集、清洗、挖掘;海量数据的高速存取、分布式存储、和持久化;资源调度、离线计算、流式任务处理;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。
( 4 )对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。
任职要求:
( 1 )熟悉云计算基础平台,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境,熟悉控制、计算、存储和网络;
( 2 )掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化 /异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品,包括通用平台,分布式存储,分布式协调服务,资源调度,ETL,高性能数据仓库,消息队列,日志收集,流式计算,数据可视化,机器学习等等,了解主流系统比如 Hadoop/Spark/Stream/HDFS/Hive/Ignite/Clickhouse/Mesos/ZooKeeper/Kafka
/EMQ/Kylin/Elasticsearch / HAProxy/Keepalived 等等的基本原理,架构设计,精通其部署、查错、性能优化等。
( 3 )精通 Java,Python,Shell 编程语言,精通 SQL、NoSQL 等数据库增删改查的操作优化;
( 4 ) PB 级别实战数据平台和生产环境的实施、开发和管理经验;
( 5 )熟悉 Docker 等容器的编排封装,熟悉微服务的开发和日常调度;
( 6 ) 211 及 985 院校计算机、软件、电子信息及通信等相关专业本科以上学历,5 年以上软件工程开发经验,2 年以上大数据架构师工作经验。
( 7 )极强的问题解决能力,具备极强的团队领导、合作能力和沟通能力,擅长各种技术文档的书写。
|
|
1
Umenezumi 2019-06-24 10:01:35 +08:00
是北理工国防科技园那家吗
|