Spark进阶 大数据离线与实时项目实战

admin

游客，如果您要查看本帖隐藏内容请回复

                               
   
        
            
                Spark进阶干货：从使用到调优，整合多个大数据生态圈中的框架
                企业应用中Spark不可能单兵作战，掌握Spark与多个框架的结合运用才能真正应对实际需求
               
                    

                        Spark
                    
                    

                        HBase
                    
                    

                        Hadoop
                    
                    

                        Redis
                    
                    

                        Kafka
                    
                    

                        Alluxio
                    
               
               
                    

                        
                            资深Spark工程师亲授
                           
内容结合实际工作经验
                        
                    
                    

                        
                            三分基础，七分实战
                           
带你在项目中学习
                        
                    
                    

                        
                            实现功能并调优重构
                           
达到企业生产标准
                        
                    
                    

                        
                            理解并掌握课程内容
                           
可达Spark中级工程师水平
                        
                    
               
            
            
                实战Spark“离线”和“实时”两大应用场景
                课程整体为一个大项目，以IT资源网用户行为日志展现“离线场景”；以订单数据的统计分析展现“实时场景”
               
                    Spark整合HBase打造大数据离线项目实战
                    
                        

                            项目概述：
                           
                                使用Spark对IT资源网用户行为日志进行ETL处理，处理
                                
结果落地在HBase，并使用Spark对接HBase存储的日
                                
志数据进行统计分析
                           
                        
                        

                            实现功能：
                           
                                各地区访问量统计分析
                                
客户端访问分布情况统计分析
                           
                        
                        

                            解决的问题：
                           
                                离线通用处理架构
                                
快整合Github已有的资源到项目中
                                
Spark整合HBase数据使用DataFrame进行读写操作
                                
通过shell脚本动态传递参数进行Spark作业的提交
                                
Spark统计结果以正确的姿势写入到MySQL
                           
                        
                        

                            性能调优：
                           
                                Spark中Cache在项目中的使用
                                
禁用HBase的WAL机制
                                
使用Spark直接生成HFile文件高效的数据落地到HBase
                                
                           
                        
                    
               
               
                    Spark整合Kafka&Redis打造大数据实时项目实战
                    
                        

                            项目概述：
                           
                                使用Spark Streaming和Redis的整合完成IT资源网订单
                                
数据的实时统计分析
                           
                        
                        

                            实现功能：
                           
                                实时统计每天的总订单数（此处为模拟数据）
                                
实时统计每天的总订单金额（此处为模拟数据）
                           
                        
                        

                            解决的问题：
                           
                                实时通用处理架构
                                
Kafka整合Spark Streaming的使用
                                
根据不同的业务进行Redis数据类型的选择
                           
                        
                        

                            性能调优：
                           
                                项目参数统一配置管理
                                
如何将多个业务统计分析统计进行抽象提取处理、达到
                                
共享数据的目的，节省计算资源的开销
                                
offset管理的思路
                           
                        
                    
               
              
        
   
   
   
        
            
                实战项目架构：逻辑分层清晰，业务流程完整
               

            
        
   
   
            
                    
                        若你基础薄弱，为你推荐：Spark入门到进阶学习路径
                        讲师已在慕课出品了三门Spark课程，学习路径完整，你可根据自身水平选择
                        
                           

                            《SparkSQL极速入门 整合
Kudu实现广告业务数据分析》
                        
                        
                           

                            《Spark Streaming实时流处理项目实战》
                        
                        
                        
                        
                           

                            本课程
                                
                                
                           
                        
                    
               
      
   
        
            
                IT资源网精品课程 为你提供超值服务
               
                    

                        

                        技术版本维护
                        讲师长期维护项目，不会让项目由于
                           
技术版本更新而无法运行。
                    
                    

                        

                        Git代码仓库
                        提供高性能远端Git仓库，方便开发
                           
者随时随地参与项目。
                    
                    

                        

                        课程源代码
                        免费提供课程源码，课程源码保持长
                           
期更新维护。
                    
                    

                        

                        学习社群
                        课程专属学习交流群，与优秀的人共
                           
同进步：互相帮助，共同分享。
                    
                    
                    

                        

                        专题讨论
                        定期组织技术话题讨论，疑难问题/
                           
热点技术/职业规划/高效学习等热点
                           
观点等你参与。
                    
                    

                        

                        问答社区
                        遇到困难随时提问，讲师亲自
                           
答疑解惑。
                    
                    

                        

                        课后练习
                        定制每章课后练习，技能知识
                           
牢牢掌握。
                    
                    

                        

                        教辅材料
                        辅助视频内容，扩展知识面，让你更
                           
好，更深的理解知识。
                    
               
            
        
   
   
               
                       
                               
                                       
                                                适合人群
                                               
                            想转型或者从事大数据行业的小伙伴
                                               
                                       
                                       
                                                技术储备要求
                                               
                            Spark进阶课程，不是从零基础开始讲解，需要有一定基础
                           
熟悉Scala、JAVA SE基本语法
                           
熟悉Hadoop基本使用、linux基本命令
                           
了解Spark SQL和Streaming的基本使用
                                               
                                       
       
                               
                       
               
       
                               

游客，如果您要查看本帖隐藏内容请回复