数据架构师岗位职责_数据架构师工作内容是什么- 职业百科

薪酬发展

本月薪资中位数 ¥18490，比较上月 -1.38%，其中 30%的数据架构师任职年龄在30岁-34岁

数据截止日期：2024年3月

数据来自 CSL 职业科学实验室

解析职位间的匹配度，更快评测转行难度

当前职位

请选择当前职业

转到

数据架构师

选择当前职业，查询转行数据

问大数据架构师需要掌握哪些技术和技能？

答
基于大数据生产环境开源组件集群部署，从数据采集，数据存储（离线数仓，实时数仓）批流合一，lambda 架构，数据计算，最终统计数据落地，那些技术组件，数据库很多种，但有的 sql 语句不一样，数据采集工具（flume，sqoop，datax），数据存储（Hadoop 基于离线数仓作为存储，mapreduce 是离线数仓计算引擎走 javamap 端 reduce 端，kafka 基于实时数仓作为存储）数据计算（flink 作为实时计算引擎，基于内存带状态计算）基于列 key value 数据库，redis hbase，最后落地存储数据库（mysql，d，clickhouse），离线数仓整个处理逻辑，第一维度建模，雪花模型，星型模型，星座模型，之后 sqoop 拉数据到 hive，第二 shell 脚本之行逻辑计算 hsql，定时任务调 shell 脚本，实时数仓处理逻辑，第一 kafka 实时监控 mysql binlog 日志，第二 flink 映射 kafka 表，纬度建模，第二次宽表层，flinksql 执行，落地最终数据库，大数据架构掌握哪些技术和技能，其实也就是整体从集群部署，离线处理，实时处理整体架构打通，差不多大数据大部分开发技术都可以了，架构还是需要更多的知识，比如数据治理，数据挖掘，算法，这些都得会

没有天生的领导者，只有后天的领导力！

华章管理 “真正的领导力能将个人的视野提高到更高的境界，将个人的绩效提高到更高的水平，将个人品格培育到超越其平常的局限。”——德鲁克 1.3K 阅读 · 10 评论 · 115 收藏
真正的高手，尊重所有人的时间

创业酵母很多人忽略了一个保证会议拿到结果的重要因素：老板或者管理者，要对参加会议的下属的表现心里有数，能做出一个合理的预期。 1.8K 阅读 · 10 评论 · 96 收藏
最好的管理，是能打硬仗！

华章管理经常听人说，一个好的企业或者一个好的管理者要具备“敢打硬仗、能打硬仗”的能力，可这里的硬仗到底指的是什么？为什么要打硬仗？什么样的仗才算“硬”？具体又该怎么打？带着这一连串的疑问，常识君特别邀请到了北 2.1K 阅读 · 9 评论 · 114 收藏
什么样的领导值得跟？这 2 个故事讲透了

华章管理优秀的领导者是什么样的？这个问题一直困扰着许多企业。通过两个故事，我们可以看到领导者对企业文化的影响。在美林证券的例子中，领导者欧尼尔试图改变以员工为中心的文化，创造了充满内部和外部竞争的组织氛围。然 4.8K 阅读 · 19 评论 · 149 收藏