高级数据工程师(光谷)
ID:154830046| |
分享到微信
一、工作职责
1.为Scilit数据库进行数据仓库的设计、开发、维护工作,推动数据工程技术栈革新,整合MDPI公司级数仓体系,构建丰富稳定的数据资产,推动Scilit的数据产品化;
2.协同相关方,将产品/数据分析/算法需求转化为数据工程需求,构建数据Pipeline和ETL任务,增进相关合作方的数据使用便利;
3.建立和提高数据模型的准确性、易用性、灵活性、可扩展性,提升查询效率,为可视化报表开发、数据分析、工程项目和算法开发等下游数据应用提供良好的数据条件;
4.承担大规模复杂指标的快速计算和维护任务,根据业务和数据分析需求,开发、仓储和维护分析表(宽表),优化其查询效率;
5.收集、清洗、整理Scilit数据,提升Scilit数据质量、数据可用性和数据效率,使得数据准确、一致、完整、有效、及时。搭建数据质量校验、报警、自动整理机制;
6.建立数据字典,将常用维度和指标的技术口径文档化。
二、职位要求
1.熟练运用书面和口语英语交流数仓技术,可以胜任同国际化团队协同工作;
2.计算机、信息技术、信息管理、数据管理、数据科学等相关专业本科及以上学历;
3.熟练使用数据工程工具,例如:
61 SQL类工具,如MySQl和PostgreSQL等
61 Python数据类工具:如pandas, polars, DuckDB, PyArrow, Great Expectation等
61 Data Lake相关工具:Delta Like, Parquet, Amazon S3, Apache Iceberg等
61 Airflow等数据调度工具
4.具备较好的维度建模方法论,独立负责过数仓架构设计和优化,熟练ETL、数仓分层、性能调优,了解MySQL数据库模型和数据结构;
5.熟悉一门或多门面向对象的编程语言:Python/Java/Scala/C++;
6.熟悉从数据生产到数据消费的全链路,具有将技术和优秀的业务理解相结合的能力,发掘机会、解决问题;
7.两年以上对口行业经验,优秀者工作年限可适当放宽;
8.逻辑清晰严谨,对数据敏感,跨团队协作能力、沟通能力强。
加分项:
61 熟悉以下技术:
* PHP Symfony
* 元数据管理,如DataHub
* 图数据库和图数据分析
* 其它:Apache Solr, Shell, Git
* Streamlit
* Docker
61 有学术出版、文献计量学和科学计量学、作者消歧等相关知识、技能和经验;
61 了解数据分析/机器学习/NLP,或有将数据分析/算法和业务洞察能力结合的经验。
三、薪酬福利
1. 薪酬待遇:19K-35K;
2. 基础福利:六险一金,带薪年假,年度体检,节日福利,活动经费,丰富茶歇,营养晚餐等;
3. 进阶福利:子女福利,团队奖励,培训津贴,岗位津贴;
4. 职业发展:导师培养,技能培训,管理培训。
四、办公地点
武汉市洪山区邮科院路88号烽火科技大厦2层
年龄要求:不限
工作年限:2年
学历要求:本科及以上
专业要求:不限
是否统招:统招
语言要求:英语
MDPI(Multidisciplinary Digital Publishing Institute)创办于1996年,是全球领先的Open Access出版公司之一,总部位于瑞士巴塞尔,同时在中国,西班牙,塞尔维亚,英国,泰国,日本,罗马尼亚,加拿大,波兰以,新加坡及韩国设有分公司。
MDPI中国区在北京,武汉,天津,南京,大连共设有七个代表处,主要负责MDPI期刊的编辑出版工作。
MDPI致力于开放获取出版服务,目前出版英文科技期刊400余种,其中SCIE期刊90余种。期刊领域覆盖生物、化学、医药、机械、能源、环境、农林等各学科。