课程介绍
本套项目教程以线上问诊为基础业务，真实还原了线上问诊平台对于用户数据的分析和统计，并以大屏展示的方法呈现数据分析的结果。
线上问诊离线数仓项目共分四大部分：数仓建模原理介绍、数仓模型搭建、DolphinScheduler全流程调度、SuperSet可视化大屏展示。项目以线上问诊采集项目为前置基础，使用线上问诊采集项目的基础架构，将数据导入数仓中，对数据进行系统化的分析计算，最终得到指标需求结果。
项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Flink-CDC、Datax、DolphinScheduler、SuperSet等。通过本套视频教程的学习，你将彻底了解数仓建模理论体系，深入认识线上问诊平台的业务理论体系。
课程目录：
课时 1 : 01-数据采集课程内容介绍
课时 2 : 02-数据仓库的概念
课时 3 : 03-数据仓库的架构
课时 4 : 04-项目需求分析
课时 5 : 05-技术选型
课时 6 : 06-系统数据流程设计
课时 7 : 07-框架版本的选择
课时 8 : 08-服务器的选型
课时 9 : 09-集群规模
课时 10 : 10-集群规模设计
课时 11 : 11-业务数据说明
课时 12 : 12-虚拟机安装配置
课时 13 : 13-集群分发脚本
课时 14 : 14-安装jdk
课时 15 : 15-环境变量配置说明
课时 16 : 16-查看进程脚本
课时 17 : 17-安装hadoop-配置集群
课时 18 : 18-安装hadoop-配置历史服务器
课时 19 : 19-hadoop群起脚本
课时 20 : 20-hdfs存储多目录
课时 21 : 21-集群数据均衡
课时 22 : 22-hadoop参数调优
课时 23 : 23-安装zookeeper
课时 24 : 24-zookeeper启动脚本
课时 25 : 25-zookeeper常用指令
课时 26 : 26-安装kafka
课时 27 : 27-kafka群起脚本
课时 28 : 28-kafka常用指令-topic相关
课时 29 : 29-kafka常用指令-生产者和消费者相关
课时 30 : 30-flume安装与项目经验
课时 31 : 31-安装mysql
课时 32 : 32-模拟生成数据
课时 33 : 33-客户端连接异常问题
课时 34 : 34-maxwell简介
课时 35 : 35-mysql原理
课时 36 : 36-安装maxwell
课时 37 : 37-maxwell启动脚本
课时 38 : 38-maxwell数据同步
课时 39 : 39-同步策略
课时 40 : 40-数据同步工具
课时 41 : 41-datax简介和框架设计
课时 42 : 42-datax运行流程
课时 43 : 43-datax调度思路
课时 44 : 44-datax与sqoop的对比
课时 45 : 45-datax安装
课时 46 : 46-将数据从mysql导入到hdfs-tableMode模式
课时 47 : 47-将数据从mysql导入到hdfs-querysql模式
课时 48 : 48-datax传参
课时 49 : 49-将数据从hdfs导入到mysql
课时 50 : 50-datax优化
课时 51 : 51-datax配置文件生成
课时 52 : 52-全量表数据同步脚本
课时 53 : 53-flume配置01
课时 54 : 54-flume配置02
课时 55 : 55-增量表首日同步
课时 56 : 56-flume启动停止脚本
课时 57 : 57-安装hive
课时 58 : 58-在线就诊数仓项目简介
课时 59 : 59-数仓的概念
课时 60 : 60-数仓架构
课时 61 : 61-建模的意义
课时 62 : 62-ER模型
课时 63 : 63-维度模型
课时 64 : 64-事实表介绍
课时 65 : 65-事务型事实表概述
课时 66 : 66-事务型事实表的设计流程
课时 67 : 67-事务型事实表的不足
课时 68 : 68-事务型事实表的不足
课时 69 : 69-周期型快照事实表的概念
课时 70 : 70-周期型快照事实表设计与事实类型
课时 71 : 71-累积型快照事实表
课时 72 : 72-维度表设计
课时 73 : 73-规范化与反规范化
课时 74 : 74-全量快照维度表
课时 75 : 75-拉链表
课时 76 : 76-多值维度
课时 77 : 77-多值属性
课时 78 : 78-数据仓库的分层
课时 79 : 79-数仓的构建流程
课时 80 : 80-数据调研
课时 81 : 81-明确数据域
课时 82 : 82-业务总线矩阵
课时 83 : 83-明确统计指标
课时 84 : 84-维度模型与汇总模型设计
课时 85 : 85-hive引擎简介
课时 86 : 86-hive on spark兼容性说明
课时 87 : 87-搭建hive on spark
课时 88 : 88-ApplicationMaster资源比例调整
课时 89 : 89-datagrip使用
课时 90 : 90-模拟产生数据
课时 91 : 91-hive常见问题和解决方案
课时 92 : 92-ods层设计要点
课时 93 : 93-全量表建表
课时 94 : 94-复杂数据类型回顾
课时 95 : 95-json数据建表
课时 96 : 96-增量表建表
课时 97 : 97-ods数据加载脚本
课时 98 : 98-维度表建模理论回顾
课时 99 : 99-dim层设计要点
课时 100 : 100-医生维度表建表
课时 101 : 101-医生维度表数据加载
课时 102 : 102-医院维度表建表和数据加载
课时 103 : 103-药品维度表建表和数据加载
课时 104 : 104-患者维度表建表和数据加载
课时 105 : 105-用户维度表建表和数据加载
课时 106 : 106-dim层数据加载脚本
课时 107 : 107-事实表建模理论回顾
课时 108 : 108-DWD层设计要点
课时 109 : 109-问诊事务型事实表建表
课时 110 : 110-问诊事实表首日数据加载
课时 111 : 111-问诊事实表每日数据加载
课时 112 : 112-问诊支付成功事实表建表和首日加载
课时 113 : 113-问诊支付成功事实表每日数据加载
课时 114 : 114-处方开单事实表建表和首日数据加载
课时 115 : 115-处方开单事实表每日数据加载
课时 116 : 116-处方支付成功事实表建表和首日数据加载
课时 117 : 117-处方支付成功事实表每日数据加载
课时 118 : 118-医生注册事实表建表和首日数据加载
课时 119 : 119-医生注册事实表每日数据加载
课时 120 : 120-用户注册事实表建表和数据加载
课时 121 : 121-患者登记事实表建表和数据加载
课时 122 : 122-用户评价事实表建表和数据加载
课时 123 : 123-dwd首日数据加载脚本
课时 124 : 124-dwd每日数据加载脚本
课时 125 : 125-dws设计要点
课时 126 : 126-医院患者性别年龄段问诊最近1日汇总表mp4
课时 127 : 127-医院患者性别年龄段问诊支付成功最近1日汇总表
课时 128 : 128-医院患者性别年龄段处方开单最近1日汇总表
课时 129 : 129-医院患者性别年龄段处方开单支付成功最近1日汇总表
课时 130 : 130-医生粒度问诊最近1日汇总表
课时 131 : 131-dws 1d首日数据加载脚本
课时 132 : 132-dws 1d每日数据加载脚本
课时 133 : 133-交易域医院患者性别年龄段粒度问诊最近n日汇总表
课时 134 : 134-交易域医院患者性别年龄段粒度问诊支付成功最近n日汇总表
课时 135 : 135-交易域医院患者性别年龄段粒度处方开单最近n日汇总表
课时 136 : 136-交易域医院患者性别年龄段粒度处方开单支付成功最近n日汇总表
课时 137 : 137-交易域医生粒度问诊最近n日汇总表
课时 138 : 138-dws nd数据加载脚本
课时 139 : 139-交易域医生粒度问诊历史至今汇总表
课时 140 : 140-互动域医院用户粒度用户评价历史至今汇总表
课时 141 : 141-互动域医院粒度用户评价历史至今汇总表
课时 142 : 142-dws td首日数据加载脚本
课时 143 : 143-dws td每日数据加载脚本
课时 144 : 144-ads层设计要点
课时 145 : 145-交易综合统计
课时 146 : 146-各医院交易统计
课时 147 : 147-各性别患者交易统计
课时 148 : 148-各年龄段患者交易统计
课时 149 : 149-医生变动统计
课时 150 : 150-用户变动统计
课时 151 : 151-评价综合统计
课时 152 : 152-各医院评价统计
课时 153 : 153-ads数据加载脚本
课时 154 : 154-mysql建库建表
课时 155 : 155-将数据从hdfs导入到mysql演示
课时 156 : 156-生成datax配置文件
课时 157 : 157-ads导数据到Mysql脚本
课时 158 : 158-dolphinscheduler简介
课时 159 : 159-dolphinscheduler部署说明
课时 160 : 160-安装dolphinscheduler
课时 161 : 161-安全中心配置
课时 162 : 162-定义工作流与执行工作流
课时 163 : 163-定时调度
课时 164 : 164-局部参数
课时 165 : 165-全局参数
课时 166 : 166-参数传递
课时 167 : 167-参数的优先级
课时 168 : 168-内置参数
课时 169 : 169-引用依赖资源
课时 170 : 170-告警通知
课时 171 : 171-失败重试
课时 172 : 172-生成新数据
课时 173 : 173-数仓工作流调度
课时 174 : 174-superset简介
课时 175 : 175-安装superset
课时 176 : 176-superset启动脚本
课时 177 : 177-superset可视化
课时 178 : 178-总结
笔记.zip
代码.zip
资料
1.jdk.exe
10.mock.exe
11.datax配置生成器.exe
12.spark.exe
13.DolphinScheduler.exe
14.SuperSet.exe
2.hadoop.exe
3.flume.exe
4.kafka.exe
5.zookeeper.exe
6.mysql.exe
7.hive.exe
8.datax.exe
9.maxwell.exe
业务总线矩阵、需求等.exe
工具.exe
下载链接见右侧按钮
声明：1、学神资源吧资源均通过互联网公开合法渠道获取，资源价格仅代表资源收集整理的费用，绝不代表原作品本身的价值。资源仅供阅读测试，请在下载后24小时内删除，谢谢合作！2、由于部分资源中不可避免的存在一些敏感关键词，如果购买后提示网盘资源链接失效，或者提示此类资源无法分享的情况，您无需担心，只需要联客服联系为您补发资源即可。
3、版权归原作者或出版方所有，本站不对涉及的版权问题负法律责任。若版权方认为学神资源吧侵权，请联系客服或发送邮件处理。。。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理，微信: xueshen2025。
