作|者|介|绍
爱数据讲师-张晓泽
4年+ 大数据开发+数仓开发经验
担任京东BI工程师岗，负责数仓模型建设和指标的产出， 主要做过国家开发银行脱贫攻坚指挥管理系统、标签工厂、离线数仓等项目。
2019年， ETL工程师与人工智能工程技术人员、大数据工程技术人员、无人机驾驶员等一起被人社部官宣为新时代的新职业。
我们都知道，顺应时代潮流发展的职业无论是前景还是薪资水平都不差，ETL工程师自然也一样。职友集数据显示， 一线城市ETL工程师月平均工资17.8K。
（数据来源：职友集）
华为、中软国际等知名公司也 高薪招聘ETL工程师。
（来源：BOSS直聘）
大数据领域这么抢手的职业你还不了解吗？今天就来科普一下！
什么是ETL?
ETL就是抽取、转换、加载这三个单词的缩写，所以顾名思义主要的工作就是把数据从哪块儿抽过来，然后进行一个清洗、加工，最后再存到哪块儿。
ETL工作流程
ETL工作的环节也是见名知意。
抽取：这个环节可能主要是比如说Sqoop、Flume、Kafka、还有Kettle、DataX、Maxwell这些都是抽取工具。离线可能主要是用的Sqoop或者是DataX去进行离线数据的抽取，像实时可能会采用比如说Flume或者是Kafka、Maxwell，还有Kettle去进行抽取。
转换：转换包括清洗、合并、拆分、加工等等，可以用Hadoop生态的东西， MapReduce、Spark、Flink、Hive等去进行数据方面的清洗。
加载：抽取转换之后，就是将数据加载到目标数据库。可能会用到Hbase去存储一些大数据方面的东西，或者HDFS等等这些工具。
ETL工程师的岗位价值
ETL的工作主要是对数仓的底层建设， ETL这个岗位是非常重要的，因为它属于是一个基础，如果ETL工作做好的话会有事半功倍的效果。
如果做不好可能后续会有很多的一些问题， 比如说数据如果没有清洗好，后续分析起来可能会有很多的脏数据等等。而且数据使用起来也非常的不方便。
ETL工程师进阶指南
任何岗位都会有初、中、高级的一个划分，不管是在业务理解还是技术能力、需求理解沟通交流，以及在项目中的位置等等。ETL工程师的进阶方向也以此划分。
初级：对业务理解的不是特别的深入，技术上也就是会使用，出现一些问题可能不能独立解决或者是独立解决的问题数量会比较少，需要去咨询大牛之类的。
中级：对业务相对来说比较熟悉，另一方面就是理解能力也比较强，技术上可能已经比较熟练了，而且还对框架、原理都有一些了解，也会调优。而且中级可能会参与到管理中，分一个小组，做一些比较小的项目或者需求。
高级：对业务就是非常熟悉，技术是服务于业务的，所以熟悉业务非常重要，我们现在实现的功能，其实就是建立在业务的基础上去做的，另一方面高级的ETL工程师对各项技术、系统架构都非常熟悉或者是会设计这样的架构，同时具有管理能力，可以带领团队完成项目。
如何入门ETL工程师？
对于应届的同学来说一方面要喜欢大数据这方面的，另一方面就是喜欢技术、喜欢钻研。 应届从专业上来说可能是 计算机、数学这些都比较合适。
对于 转行的小伙伴来说首先要能 沉下心来学习，另一方面如果会一些Java、Linux这些技术，有一些开发的基础，也做过完整的系统，接触过数据库这些，相对来说就会比较容易。
另外 有python基础，或者之前做过大数据运维或者数据库运维的都可以。
对想要从事ETL工程师的小伙伴们，我建议还得是多看、多学、多练。
学习一些编程语言，比如刚才提到的java，如果java基础扎实的话，对大数据的学习是有很大的帮助的。
另一方面的话可能需要对linux比较熟。因为后面大数据所有的操作基本上都是在linux上面去操作。同时我还是建议就是往实时的方向走一走，虽然现在离线用的场景会很多，但是我觉得未来的话实时还是一个趋势，希望我的分享能对小伙伴们有帮助！
爱数据开设了ETL相关课程，大家想了解 课程内容或者在学习/求职中遇到问题可以添加课程顾问老师进行咨询 ！ 返回搜狐，查看更多
责任编辑：