开源项目介绍｜Apache InLong-一站式海量数据集成框架

2023腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参加开源人才培养计划

提交Apache InLong项目申请书

Apache InLong 项目介绍

Apache InLong（应龙）腾讯捐献给 Apache 软件基金会的顶级项目，目前正广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域。Apache InLong 依托 100 万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。该项目最初于 2019 年 11 月由腾讯大数据团队捐献到 Apache 孵化器，2022 年 6 月正式毕业成为 Apache 顶级项目。

Apache InLong 项目导师寄语

张超 Apache InLong PMC Chair

张国成 Apache InLong PMC Member

彭梓瑞 Apache InLong PMC Member

邓钒 Apache InLong PMC Committer

资道利 Apache InLong PMC Contributor

Apache InLong 是腾讯捐献 Apache 基金会的一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力。数据集成通过将不同来源的数据整合在一起，为商业和决策提供统一的有价值的数据，参与 InLong 有助于你掌握数据集成全链路技术细节，同时进入 Apache 开源的世界。

Apache InLong 相关资料

Apache InLong官网地址：

http://inlong.apache.org/

Apache InLong 文档集合：

https://inlong.apache.org/zh-CN/docs/next/introduction/

Apache InLong 任务实战项目

收获

（1）了解 Apache 开源项目如何运作

（2）了解海量数据集成框实现原理

编程任务

项目一

支持 TubeMQ 命令行工具设计和开发（初级）

模块：TubeMQ
说明：聚合到一个命令，进行Topic 的使用，降低使用门槛；比如tubectl topic list
标准：功能需要包括：a，Topic 增删改查；b，发送和消费消息

项目二

SDK 负载优化（中级）

模块：DataProxy
说明：SDK 在生产数据的时候，会选出一组节点发送数据，当其中部分出现问题时，剔除，选用新的候选节点
标准：a，减少对生产的影响，做到客户端无感知；b，在服务器节点恢复后，能再次被选用；c，保证选用节点负载均衡

项目三

全链路集成测试框架设计和实现（高级）

模块：平台能力
说明：由于InLong 数据链路涉及多个环节和组件，单个组件的修改都可能造成数据流异常。该题目需要给出通用的全链路测试框架，以及一条数据流验证准确性
标准：a，具备良好的扩展性，可以快速支持新的数据节点；b，至少覆盖一条数据链路用于验证框架，比如 MySQL->Hive；c，能够跟GitHub Actions打通，创建对应流水线

扫码填写问卷报名，提交项目申请书

加入开发实践

与导师一起成长这一夏