头像
基本信息
本科
广东深圳
13800138000
BD@100chui.com
姓名
锤子简历
世界属于那些勤于思考的人,更属于那些善于行动的人。
求职意向
大数据工程师
广东深圳
8K-10K
一周内到岗
教育背景
2009.09-2013.07
锤子简历大学
电子信息工程
工作经验
2017.10-2019.05
锤子简历公司
大数据工程师
  • 负责PG数据库架构定制,编写运维文档,还有数据库备份,其中有逻辑备份和prpt备份。
  • 负责docker私有库安装部署管理,k8s运维管理,容器编排,Devops运维方案的制定。
  • 主从维护,xtrabackup备份,percona-toolkit的使用,定义计量的标准,即构成产品所需的ITEM信息,以及产品的不同模型,定义模型之间匹配优先级。
  • 负责集群搭建和配置,通过Spark Streaming对数据进行清洗。
  • 对前期的需求进行分析,对接客户,提供技术上的支持。
2013.08-2017.09
锤子简历公司
大数据工程师
  • 基于大数据技术的开发,完成公司其他部门的多种数据要求。
  • 负责分析所有数据的来源,以及数据的抽取、转换、加载工作。根据业务定位看要做哪些数据转化,接着配置数据采集任务。
  • 具有较强需求分析和设计能力,保障迭代内容按质按量交付,解决在工作过程中前台开发人员遇到的数据库的相关问题,并寻找恰当方法,着手解决。
  • 根据需求要实现的功能进行表结构设计。完成UT测试,输出UT测试文档,并根据测试提交的BUG进行定位、解决问题,调优在测试过程中出现的数据倾斜问题。
自我评价
熟悉hadoop生态圈一些开源组件flume、sqoop、zookeeper等,熟悉Java,Linux,熟悉关 系型数据库mysql、oracle,熟悉数据仓库hive,会写SQL语句,熟悉yarn工作原理及 mapreduce原理,了解hbase,spark,spark_rdd 性格开朗,为人细心,做事一丝不苟,能吃苦耐劳,工作脚踏实地,有较强的责任心, 具有团队合作精神,又具有较强的独立工作能力,思维活跃。
项目经历
2016.03-2016.06
三好网教学管理中心师资教学质量分析系统
项目负责人
  • 首先通过 Sqoop 将 MySQL 中所需数据导入至 HBase,通过 PySpark 读取 HBase 中数据进行 ETL 和预关联成大基表存至 HBase 和 MySQL。
  • 数据整合成训练集,模型训练生成模型文件,存至 Redis,根据需求,编写ETL调度概要、详细设计文档。根据产品经理和运营经理需求,用python进行数据清洗和数据分析,编辑进excle进行数据汇报。
  • 利用Spark sql对访问行为进行准实时分析及日常KPI指数报表分析任务,负责系统的开发,对系统进行日常更新和维护。
其他
  • 技能: 全国计算机等级二级,能够对计算机进行熟练操作。会制作ppt,熟悉Word、Excel等办公工具。
  • 语言能力: 英语(CET-6),普通话二级甲等证书