岗位描述:
MaxCompute(原ODPS)是阿里集团统一的大规模分布式数据处理平台,由阿里云自主研发,提供针对EB级海量数据进行高效安全的分布式处理和计算的分布式平台,应用于数据分析、挖掘、商业智能等领域。
加入我们,你可以亲身参与打造和优化一个与国民生活息息相关的计算平台(例如,你有机会优化淘宝/天猫的商户账单的产出速度,有机会优化“饿了吗”的调度算法执行,有机会进入双11作战室保障系统10X流量的冲击)。同时,你也会直面EB级别的超大规模分布式计算在功能、性能、效率、安全性和扩展性上的挑战,也有机会接触到搜索、广告、物流、IoT、OTO、互联网金融等多种业务场景及其与平台的联动。你会和阿里巴巴计算平台团队一起,推动建设高效的编程语言/接口,计算引擎,分布式调度能力,资源统筹和协调能力,数据资产管理能力,隔离能力,数据存储和管理能力。未来以来,今后几年会全面步入大数据和人工智能的时代,我们邀请有热情、有想法、有经验、有能力的你,和我们一起并肩作战!
1. 负责系统整体和关键模块的架构和设计;
2. 负责开发和完善MaxCompute系统功能,例如用户管理,作业调度、REST API设计等 ;
3. 系统性能调优,精简硬件资源需求,例如降低计算开销,降低存储成本,提高响应QPS等;
4. 负责设计和开发和优化MaxCompute跨地域跨机房的数据分布机制和调度机制;
5. 负责调研新硬件(GPU,FPGA,ASIC芯片等)和新技术(RDMA,SDN等)在存储和计算能力优化的革新。
6. 负责调研和优化开源分布式系统, 通过MaxCompute系统的联合计算平台发挥开源系统(Spark,ElasticSearch,Hive,Impala等)富生态特性,对现有系统做生态补充;
岗位要求:
1. 三年以上软件开发经验,有较强的编程能力和编程经验,至少熟悉Java/C++其中一种编程语言,至少会一种脚本语言;
2. 有分布式系统理论和实践经验 ;
3. 熟悉Linux/Unix操作,熟悉基本的Shell脚本。
4. 有技术探索热情,愿意深入大数据计算平台领域深耕。
加分项:
1. 计算机硕士/博士学历;
2. 熟悉分布式计算技术,如mapreduce/mpi/bsp、实时计算等,有相关经验;
3. 有开源社区贡献者优先,Hadoop/Hive/Hbase/Spark/Beam/Yarn 源码熟悉;
4. 有运维经验者和linux内核经验 ;
全部评论
(0) 回帖