字节跳动做为一个数据驱动的公司,一直致力于让数据更高效地服务于各个业务。随着业务的不断发展,字节跳动在大数据任务开发和调度方面遇到了很多挑战。为此开发了"大数据开发和调度平台",可以快速完成数据集成、开发、调度和运维等全套研发工作。面对公司的业务复杂性以及任务量,完成秒级延迟、复杂依赖关系的任务调度有很大的挑战。
岗位一、【社招】【字节】高级实时计算研发工程师
【职位描述】
1、负责数据平台下实时数据集成业务的计算架构设计与开发;
2、负责对实时数据集成服务的性能和稳定性进行优化;
3、参与Flink内核的定制和改进,与开源社区保持合作;
4、追求极致,构建业内领先的数据集成产品。
【职位要求】
1、扎实的计算机基础和算法数据结构功底,对技术有热情,愿意不断尝试新技术和业务挑战;
2、掌握Java或Scala语言,如并发编程和JVM等,追求高标准的工程质量;
3、熟悉并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案;
4、具备较强的业务需求分析能力,问题定位能力良好的沟通能力和自我学习能力;
5、有Storm/SparkStreaming/Flink等实时计算开发经验,向社区贡献过 patch 者优先(请注明);
6、熟悉Hadoop EcoSystem/Kafka/Clickhouse等技术者优先。
岗位二、【社招】【字节】Java高级开发工程师 — 开发套件方向
【职位描述】
1、面向公司的大数据开发套件产品设计与研发,包括大数据任务建设平台,元数据管理系统,数据质量监控平台,任务运维平台等
2、参与需求调研与用户技术支持
3、追求极致,构建业内领先的数据平台产品
【职位要求】
1、精通java/scala语言,包括JVM、类装载、线程、并发、IO资源管理、网络
2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战
3、精通SOA架构和微服务架构
4、有 IDE 开发经验者优先考虑
5、熟悉前端技术的全栈开发工程师优先
6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等
岗位三、【社招】【字节】数据中台-后端高级工程师
【 职位描述】
1、面向公司的数据建设和治理中台产品研发,包括数据集成,一站式大数据开发平台,数据质量,数据地图,数据安全和成本治理等
2、参与系统设计,需求调研与用户技术支持
3、追求极致,构建业内领先的数据中台产品
【职位要求】
1、精通java/scala语言,包括JVM、类装载、线程、并发、IO资源管理、网络
2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战
3、熟悉常用web开发框架,包括spring boot等
4、有批流数据开发,数据治理经验者加分
5、有ToB经验者加分
岗位四、【社招】【字节】数据湖分析Leader
【职位描述】
1、打造业界领先的 PB 级数据湖联邦分析引擎,并支撑字节跳动几乎所有产品线(如抖音、今日头条)ETL 及 ad-hoc 查询;
2、打造公司统一的分布式元数据视图,并通过 DAG / MPP 计算引擎支持异构数据源直接查询、跨数据源联合分析
3、负责数据湖存储方案设计与研发,支持增量更新,缓存加速等
4、负责为技术&产品代言,打造公司内外影响力
【职位要求】
1、熟悉 Spark、Presto、Druid、Kylin、Hive、Impala、Flink 等主流大数据系统原理及源码(不要求熟悉所有技术栈);
2、掌握主流的 OLAP 引擎的优化原理,包括但不限于向量化执行、列式存储、late materialization、Dynamic Filter、代码生成;
3、了解开源数据湖存储方案(如 Delta Lake、Hudi、IceBerg)的原理
4、丰富的大数据计算与存储相关领域经验,并有大规模落地应用者优先
5、具有 Spark、Presto、Flink、Calcite 社区经验者优先
邮箱:wanghuixiang.joker@bytedance.com
全部评论
(1) 回帖