Spark+ES+ClickHouse 构建DMP用户画像

admin · 发表于 2022-5-18 00:18:11

游客，如果您要查看本帖隐藏内容请回复

            课程目标
            系统掌握用户画像完整知识，跨入大数据新宠领域
            营销增长是企业的永恒使命，选对业务风口，技术变现更快速


                     高位设计
用户画像系统

                     带你从营销全局视角，分析用户
画像系统业务线条及关联逻辑，
并进行合理的架构设计。



                     多种算法
挖掘数据价值

                     只有经过挖掘整理的数据，才能
成为有价值的信息。TF-IDF、
FM算法、朴素贝叶斯、GBDT算
法，助力数据筛选。



                     自如使用
各大数据组件

                     工欲善其事，必先利其器。Spark
整合Clickhouse，ES，Hbase 等
大数据组件，开发顺畅无忧。








            课程亮点
            业务-算法-技术，环环相扣，轻松掌握完整用户画像知识体系


                     01. 业务逻辑

                        重点：
                        数仓的架构
                        数仓表的设计
                        人群去重
                        人群圈选


                        难点：
                        用户画像标签的复杂查询
                        用户画像标签的存储
                        Clickhouse OLAP
                        lookalike人群扩展



                     02. 算法原理

                        重点：
                        TF-IDF算法原理
                        FM算法原理
                        朴素贝叶斯算法原理
                        GBDT算法原理


                        难点：
                        基于Xgboost进行特征筛选
                        基于gbdt进行特征筛选
                        基于TF-IDF计算标签权重
                        时间衰减因素的计算



                     03. 技术体系

                        重点：
                        Spark实现Xgboost算法
                        Spark实现TF-IDF算法
                        Clickhouse的OLAP查询
                        Spark分别和Hive,Hbase,ES的整合


                        难点：
                        Spark ml包向量和mllib包向量的互换
                        Spark Pipeline如何实现特征工程流
程化
                        ES标签表结构的设计
                        ES+Hbase实现Hbase复杂查询



            热门业务场景，企业应用标准，项目扩展性强，可复用






                     实现用户画像核心功能

                        · 标签管理
                        从用户属性到消费行为、偏好预测，
支持多种标签创建及维护管理，快速
构建标签体系。


                        · 用户分群
                        支持不同标签组合圈选，进行多种用
户分群，帮助运营人员轻松完成用户
筛选。


                        · 单用户画像
                        微观角度分析单用户，实现典型用户
分析，洞察目标用户画像。


                        · 用户群画像
                        宏观角度勾勒群体特征，寻找精准用
户群体，定位营销发力点。



            从架构到开发部署，逐层递进，还原企业真实开发流程











                  课程大纲
                                                         第1章  DMP用户画像项目介绍
                  本章将向大家介绍什么是DMP，并辅以行业数据说明DMP的重要性和行业前景，并介绍课程讲解项目所会使用到的大数据技术，框架、版本以及推荐得学习方法。
                                                                              第2章  项目环境搭建
                  本章将带领大家一起来学习，如何用 docker 一键部署开发环境；如何实现 Hive 数仓的数据导入；实用工具类的代码编写等，完成开发前得准备工作。
                                                                              第3章  DMP和用户画像
                  本章会介绍，用户画像的生成流程，画像的标签维度，用户画像和特征工程的关系。带领大家了解什么样的画像才是高质量的用户画像，以及DMP用户画像的使用场景。
                                                                              第4章  用户画像搭建之特征工程
                  本章会详细的讲解数值型特征，类别型特征，文本型特征的特征处理，以及特征交叉的算法 FM，特征筛选的算法 gbdt 和 xgboost。并会带领大家应用 Spark 代码实现商品评论的情感提取，以及基于 xgboost 的特征筛选。
                                                                              第5章  用户画像搭建之标签体系构建
                  本章会详细的讲解，如何通过TF-IDF生成标签的权重；用户行为偏好标签的计算；标签在Hbase的存储格式；以及如何使用ES存储Hbase的索引，进而提高复杂组合标签的查询效率。
                                                                                                                                                                                                      查看完整目录








                  专属服务 -->
                  每个IT资源网课程，都是一个专业的技术社区
                  个性化增值服务，学习有保障更高效







                        答疑专区+技术社区
                        连百度谷歌都搜不到的问题，在这里讲
师都将耐心详细解答，更有小伙伴一起
交流互动，共同进步。



                        独家“动态”教辅材料
                        丰富的专属教辅资料上传更新，通过
课程教案、原理图解、技术文档、演示案
例等各种教材，保障你的学习效果。





                        课程全套代码下载
                        提供课程全套源代码下载，包含：
全套组件封装镜像、私有仓库、各个服
务的镜像、项目源代码。



                        实用图文资料
                        部分简单内容以图文形式呈现，与视频相
配合，既保障学习效果，又提高了学习效
率。

游客，如果您要查看本帖隐藏内容请回复