#9527

大数据技术之新能源汽车数仓

课程介绍

课程来自于 尚硅谷大数据技术之新能源汽车数仓

新能源汽车数仓项目分为三大部分：数仓采集环境搭建、数仓分层计算以及FineBI可视化大屏展示。

数仓采集环境搭建是项目的首要任务。我们利用Hadoop、Hive、Spark、Kafka、Flume、DolphinScheduler等工具和技术，搭建了一个强大的数据采集环境。通过Kafka和Flume实现数据的实时采集和传输，保证了数据的及时性和完整性。而Hadoop和Hive则提供了底层的大数据存储和处理能力，确保了数据的高效性和可扩展性。DolphinScheduler则负责调度和监控数据的采集任务，保证了整个采集流程的稳定运行。通过构建这样一个强大的采集环境，我们可以满足项目对高质量的数据需求。

数仓分层计算是项目的核心内容。我们使用数仓模型拆解业务，并根据特定的模型构建需求指标的分析计算过程。这样的模型能够更好地理解和解释数据，为业务决策提供支持。借助Spark和Hive等工具和技术，我们能够从庞大的汽车行驶连续日志中，快速准确地提取出有价值的信息，并进行复杂的计算和分析。通过这样的分层计算，我们可以深入挖掘数据中的潜在关联和规律，为项目提供更加准确和有效的洞察。

最后，项目使用FineBI进行数据的可视化展示。FineBI是一款功能强大、操作简便的数据可视化工具，可以将复杂的数据转化为直观、易懂的图表和报表。我们通过利用FineBI，将数仓分析的结果以大屏展示的形式呈现，使得数据更加精美和细致。这样的可视化展示能够帮助用户更好地理解数据，把握业务趋势，做出更明智的决策。

通过以上三个部分的工作，我们完成了新能源汽车数仓项目的建设。从项目的零到一，我们搭建了完整的数仓框架环境，进行了数仓建模分析，并最终实现了数据的可视化展示。通过这个项目，我们不仅了解了数仓建模理论体系及实际应用，还为连续的日志分析提供了有效的解决方法。

文件目录

视频

文件名.txt

文件名.bat

01_新能源汽车课程介绍.mp4

02_新能源汽车数仓概述.mp4

03_数仓需求介绍及框架选择.mp4

04_数仓架构介绍.mp4

05_服务器选型介绍.mp4

06_集群资源规划介绍.mp4

07_采集数据格式介绍.mp4

08_克隆准备3台虚拟机.mp4

09_分发脚本和免密登录配置.mp4

10_jdk安装部署.mp4

11_环境变量配置介绍.mp4

12_节点进程查看脚本介绍.mp4

13_zookeeper的安装部署和使用.mp4

14_hadoop配置介绍.mp4

15_hadoop高可用配置及群起脚本.mp4

16_hdfs的多目录配置和集群平衡.mp4

17_hadoop的参数调优.mp4

18_kafka的安装部署.mp4

19_kafka命令行简单介绍.mp4

20_flume的安装及内存的调整.mp4

21_mysql的安装部署.mp4

22_mysql远程软件连接的问题解决.mp4

23_采集数据模拟生成展示.mp4

24_日志采集架构及组件选择.mp4

25_采集日志flume的配置文件编写.mp4

26_日志采集flume的测试及脚本编写.mp4

27_消费flume的配置编写.mp4

28_消费flume的拦截器编写.mp4

29_消费flume日志演示.mp4

30_维度数据同步策略选择.mp4

31_Datax同步工具简单介绍.mp4

32_Datax架构原理介绍.mp4

33_Datax基础实现同步任务.mp4

34_Datax使用传参演示.mp4

35_Datax的并发控制和内存修改.mp4

36_使用Datax完成维度表同步.mp4

37_数仓建模模型介绍.mp4

38_维度模型事实表和维度表介绍.mp4

39_数仓环境搭建_hive的基础配置.mp4

40_hive替换为spark引擎.mp4

41_修改yarn对应am的内存限制.mp4

42_配置数仓运行环境.mp4

43_业务场景模拟_回顾采集通道.mp4

44_业务场景模型_生成0502数据.mp4

45_数仓分层介绍.mp4

46_ods_hive映射hdfs成为表格介绍.mp4

47_ods_hive函数get_json_object解析json数据.mp4

48_ods_hive的serde简单介绍.mp4

49_ods_hive使用serde解析json数据.mp4

50_ods_日志表格建表介绍.mp4

51_ods_hive导入日志表格数据演示.mp4

52_ods_汽车信息表数据导入.mp4

53_ods_数据导入脚本基础内容编写.mp4

54_ods_数据导入脚本使用演示.mp4

55_dim层维度表回顾.mp4

56_dim层汽车信息维度表导入.mp4

57_dim离线维度编码表导入.mp4

58_dim层脚本数据导入.mp4

59_dwd_事实表建模理论分析.mp4

60_dwd_电动模式行驶日志事实表装载.mp4

61_dwd_混动模式和新能源燃料模式行驶日志事实表装载.mp4

62_dwd_充电日志事实表装载.mp4

63_dwd_行驶充电和故障记录日志事实表装载.mp4

64_dwd_电机日志事实表.mp4

65_dwd_数据导入首日脚本编写.mp4

66_dwd_数据导入脚本使用.mp4

67_dws_搭建建模分析.mp4

68_dws_纯电模式单次行程汇总表.mp4

69_dws_纯电模式单次行程数据装载.mp4

70_dws_单次充电聚合表数据导入.mp4

71_dws_单次汇总数据脚本装载.mp4

72_dws_最近1日里程聚合数据导入.mp4

73_dws_告警单日汇总和电机信息单日汇总数据导入.mp4

74_dws_单日电池组情况汇总基础数据读取.mp4

75_dws_单日电池组每日汇总数据装载.mp4

76_dws_每日聚合脚本数据装载.mp4

77_ads_创建表格特点介绍.mp4

78_ads_每月里程统计数据导入.mp4

79_ads_最近7天里程汇总数据导入.mp4

80_ads_不同类型汽车每月行程统计.mp4

81_ads_告警主题每月汇总.mp4

82_ads_温控主题每月汇总.mp4

83_ads_能耗主题表格字段介绍.mp4

84_ads_能耗主题充电指标计算.mp4

85_ads_能耗主题旅次消耗计算.mp4

86_ads_能耗主题最近100km能耗计算.mp4

87_ads_能耗主题数据导入.mp4

88_ads_汽车类型平均能耗计算.mp4

89_ads_数据脚本导入.mp4

90_数据导出建表语句.mp4

91_数据导出样例演示.mp4

92_脚本工具自动化生成datax的配置文件.mp4

93_使用脚本完成datax数据导出.mp4

94_dolphinScheduler架构介绍.mp4

95_dolphinSchedule安装配置文件编写.mp4

96_dolphinSchedule元数据配置及安装.mp4

97_dolphinSchedule启动停止命令介绍.mp4

98_dolphinSchedule管理用户介绍.mp4

99_dolphinSchedule简单任务的执行演示.mp4

100_dolphinSchedule的定时和传参功能.mp4

101_dolphinSchedule的依赖资源和告警功能介绍.mp4

102_新数据的全流程调度.mp4

103_fineBI的安装部署和启动.mp4

104_fineBI演示样例简单表格实现.mp4

105_fineBI的钻取联动和过滤功能.mp4

106_fineBI实战展示新能源汽车指标.mp4

107_新能源数仓整体内容回顾.mp4

资料.zip

笔记.zip

jamison普通

收藏 海报 链接