2022腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交 Apache InLong 项目申请书

Apache InLong(incubating) 项目介绍

Apache InLong(incubating) 是一个一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。详细项目情况参考:https://inlong.apache.org/zh-CN/

Apache InLong 项目导师介绍

张超、张国成

Apache InLong PPMC

导师寄语:

Apache InLong 是腾讯捐献 Apache 基金会的一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力。数据集成通过将不同来源的数据整合在一起,为商业和决策提供统一的有价值的数据,参与 InLong 有助于你掌握数据集成全链路技术细节,同时进入 Apache 开源的世界。

Apache InLong 相关资料

Apache InLong 官网地址:

http://inlong.apache.org/

Apache InLong 文档集合:

https://inlong.apache.org/zh-CN/docs/next/introduction/

Apache InLong 任务实战项目

编程任务

收获

(1)了解 Apache 开源项目如何运作

(2)了解海量数据集成框实现原理

项目1:收获支持 TubeMQ 命令行工具设计和开发(初级):

(1)模块:TubeMQ

(2)说明:聚合到一个命令,进行Topic 的使用,降低使用门槛;比如tubectl topic list

(3)标准:功能需要包括:a,Topic 增删改查;b,发送和消费消息

项目2:SDK 负载优化(中级):

(1)模块:DataProxy

(2)说明:SDK 在生产数据的时候,会选出一组节点发送数据,当其中部分出现问题时,剔除,选用新的候选节点

(3)标准:a,减少对生产的影响,做到客户端无感知;b,在服务器节点恢复后,能再次被选用;c,保证选用节点负载均衡

项目3:全链路集成测试框架设计和实现(高级)
(1)模块:平台能力

(2)说明:由于InLong 数据链路涉及多个环节和组件,单个组件的修改都可能造成数据流异常。该题目需要给出通用的全链路测试框架,以及一条数据流验证准确性

(3)标准:a,具备良好的扩展性,可以快速支持新的数据节点;b,至少覆盖一条数据链路用于验证框架,比如 MySQL->Hive;c,能够跟GitHub Actions打通,创建对应流水线

扫码填写问卷报名,提交项目申请书

加入开发实战

与导师一起成长这一夏

Apache InLong 开源项目交流群

更多开源项目信息,

尽在“腾讯犀牛鸟开源人才社区

扫码加入,解锁所有学习资料

🔍学生指南Q&A:https://github.com/Tencent/OpenSourceTalent/issues/14

🔍官方QQ群:

859260607 (加群请备注学校+专业)

腾讯犀牛鸟开源人才培养计划官网

https://opensource.tencent.com/summer-of-code

(点击文末阅读原文直接访问)

合作或疑问欢迎联系:tencentopen@tencent.com

文章来源于腾讯云开发者社区,点击查看原文