第一部分：  數(shù)據(jù)核心理念—數(shù)據(jù)思維篇

問(wèn)題：什么是數(shù)據(jù)思維？大數(shù)據(jù)決策的底層邏輯以及決策依據(jù)是什么？

1、 大數(shù)據(jù)的本質(zhì)

‐  數(shù)據(jù)，是事物發(fā)展和變化過(guò)程中留下的痕跡

‐  大數(shù)據(jù)不在于量大，而在于全（多維性）

‐  業(yè)務(wù)導(dǎo)向還是技術(shù)導(dǎo)向

2、 大數(shù)據(jù)決策的底層邏輯（即四大核心價(jià)值）

‐  探索業(yè)務(wù)規(guī)律，按規(guī)律來(lái)管理決策

案例：客流規(guī)律與排班及最佳營(yíng)銷(xiāo)時(shí)機(jī)

案例：致命交通事故發(fā)生的時(shí)間規(guī)律

‐  發(fā)現(xiàn)運(yùn)營(yíng)變化，定短板來(lái)運(yùn)營(yíng)決策

案例：考核周期導(dǎo)致的員工月初懈怠

案例：工序信號(hào)異常監(jiān)測(cè)設(shè)備故障

‐  理清要素關(guān)系，找影響因素來(lái)決策

案例：情緒對(duì)于股市漲跌的影響

案例：為何升職反而會(huì)增加離職風(fēng)險(xiǎn)？

‐  預(yù)測(cè)未來(lái)趨勢(shì)，通過(guò)預(yù)判進(jìn)行決策

案例：海爾利用數(shù)據(jù)來(lái)預(yù)測(cè)空調(diào)故障，實(shí)現(xiàn)事前檢修

案例：保險(xiǎn)公司的車(chē)險(xiǎn)預(yù)測(cè)與個(gè)性化保費(fèi)定價(jià)

3、 大數(shù)據(jù)決策的三個(gè)關(guān)鍵環(huán)節(jié)

‐  業(yè)務(wù)數(shù)據(jù)化：將業(yè)務(wù)問(wèn)題轉(zhuǎn)化為數(shù)據(jù)問(wèn)題

‐  數(shù)據(jù)信息化：提取數(shù)據(jù)中的業(yè)務(wù)規(guī)律信息

‐  信息策略化：基于規(guī)律形成業(yè)務(wù)應(yīng)對(duì)策略

案例：用數(shù)據(jù)來(lái)識(shí)別喜歡賺“差價(jià)”的營(yíng)業(yè)員

第二部分：  數(shù)據(jù)分析基礎(chǔ)—流程步驟篇

1、 數(shù)據(jù)分析的六步曲

2、 步驟1：明確目的，確定分析思路

‐  確定分析目的：要解決什么樣的業(yè)務(wù)問(wèn)題

‐  確定分析思路：分解業(yè)務(wù)問(wèn)題，構(gòu)建分析框架

3、 步驟2：收集數(shù)據(jù)，尋找分析素材

‐  明確數(shù)據(jù)范圍

‐  確定收集來(lái)源

‐  確定收集方法

4、 步驟3：整理數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量

‐  數(shù)據(jù)質(zhì)量評(píng)估

‐  數(shù)據(jù)清洗、數(shù)據(jù)處理和變量處理

‐  探索性分析

5、 步驟4：分析數(shù)據(jù)，尋找業(yè)務(wù)答案

‐  選擇合適的分析方法

‐  構(gòu)建合適的分析模型

‐  選擇合適的分析工具

6、 步驟5：呈現(xiàn)數(shù)，解讀業(yè)務(wù)規(guī)律

‐  選擇恰當(dāng)?shù)膱D表

‐  選擇合適的可視化工具

‐  提煉業(yè)務(wù)含義

7、 步驟6：撰寫(xiě)報(bào)告，形成業(yè)務(wù)策略

‐  選擇報(bào)告種類(lèi)

‐  完整的報(bào)告結(jié)構(gòu)

演練：產(chǎn)品精準(zhǔn)營(yíng)銷(xiāo)案例分析

‐  如何搭建精準(zhǔn)營(yíng)銷(xiāo)分析框架

第三部分：  用戶(hù)行為分析—統(tǒng)計(jì)方法篇

問(wèn)題：數(shù)據(jù)分析方法的種類(lèi)？分析方法的不同應(yīng)用場(chǎng)景？

1、 業(yè)務(wù)分析的三個(gè)階段

‐  現(xiàn)狀分析：通過(guò)企業(yè)運(yùn)營(yíng)指標(biāo)來(lái)發(fā)現(xiàn)規(guī)律及短板

‐  原因分析：查找數(shù)據(jù)相關(guān)性，探尋目標(biāo)影響因素

‐  預(yù)測(cè)分析：合理配置資源，預(yù)判業(yè)務(wù)未來(lái)的趨勢(shì)

2、 常用的數(shù)據(jù)分析方法種類(lèi)

3、 統(tǒng)計(jì)分析基礎(chǔ)

4、 基本分析方法及其適用場(chǎng)景

‐  對(duì)比分析（查看數(shù)據(jù)差距，發(fā)現(xiàn)事物變化）

演練：分析理財(cái)產(chǎn)品受歡迎情況及貢獻(xiàn)大小

演練：用戶(hù)消費(fèi)水平差異分析，提取優(yōu)質(zhì)客戶(hù)特征

‐  分布分析（查看數(shù)據(jù)分布，探索業(yè)務(wù)層次）

案例：銀行用戶(hù)的消費(fèi)層次/消費(fèi)檔次分析

演練：客戶(hù)年齡分布/收入分布分析

‐  結(jié)構(gòu)分析（查看指標(biāo)構(gòu)成，評(píng)估結(jié)構(gòu)合理性）

案例：收入結(jié)構(gòu)分析/成本結(jié)構(gòu)分析

案例：動(dòng)態(tài)結(jié)構(gòu)分析

‐  趨勢(shì)分析（查看變化趨勢(shì)，了解季節(jié)周期性）

案例：營(yíng)業(yè)廳客流量規(guī)律與排班

案例：用戶(hù)活躍時(shí)間規(guī)律/產(chǎn)品銷(xiāo)量的淡旺季分析

演練：產(chǎn)品訂單的季節(jié)周期性規(guī)律

‐  交叉分析（從多個(gè)維度的數(shù)據(jù)指標(biāo)分析）

演練：不同客戶(hù)的產(chǎn)品偏好分析

演練：銀行用戶(hù)違約的影響因素分析

第四部分：  用戶(hù)行為分析—分析框架篇

問(wèn)題：如何才能全面/系統(tǒng)地分析而不遺漏？如何分解和細(xì)化業(yè)務(wù)問(wèn)題？

1、 分析框架來(lái)源于業(yè)務(wù)模型

‐  商業(yè)目標(biāo)（粗粒度）

‐  分析維度/關(guān)鍵步驟

‐  業(yè)務(wù)問(wèn)題（細(xì)粒度）

‐  涉及數(shù)據(jù)/關(guān)鍵指標(biāo)

2、 常用的業(yè)務(wù)模型：PEST/5W2H/SWOT/PDCA/AARRR…

研討：結(jié)合公司業(yè)務(wù)情況，選取業(yè)務(wù)目標(biāo)，構(gòu)建系統(tǒng)的數(shù)據(jù)分析框架

第五部分：  用戶(hù)風(fēng)險(xiǎn)識(shí)別—異常數(shù)據(jù)篇

1、 反欺詐識(shí)別的重點(diǎn)內(nèi)容

‐  如何識(shí)別異常數(shù)據(jù)

‐  如何查找影響因素

‐  如何提取欺詐用戶(hù)的特征

‐  如何預(yù)測(cè)用戶(hù)的欺詐行為

2、 異常數(shù)據(jù)的定義

3、 異常數(shù)據(jù)的檢測(cè)方法

‐  基于統(tǒng)計(jì)法：標(biāo)準(zhǔn)差法、四分位距法、離群點(diǎn)檢測(cè)算法

‐  基于機(jī)器學(xué)習(xí)：回歸、聚類(lèi)等

4、 異常數(shù)據(jù)處理方法

演練：各種異常數(shù)據(jù)識(shí)別

第六部分：              影響因素分析—根因分析篇

問(wèn)題：如何做原因分析？比如價(jià)格是否可用于產(chǎn)品銷(xiāo)量？影響用戶(hù)違約的關(guān)鍵因素是什么？

1、 數(shù)據(jù)預(yù)處理vs特征工程

2、 特征選擇常用方法

‐  相關(guān)分析、方差分析、卡方檢驗(yàn)

3、 相關(guān)分析（衡量?jī)蓴?shù)據(jù)型變量的線(xiàn)性相關(guān)性）

‐  相關(guān)分析簡(jiǎn)介

‐  相關(guān)分析的應(yīng)用場(chǎng)景

‐  相關(guān)分析的種類(lèi)

◢    簡(jiǎn)單相關(guān)分析

◢    偏相關(guān)分析

◢    距離相關(guān)分析

‐  相關(guān)系數(shù)的三種計(jì)算公式

◢    Pearson相關(guān)系數(shù)

◢    Spearman相關(guān)系數(shù)

◢    Kendall相關(guān)系數(shù)

‐  相關(guān)分析的假設(shè)檢驗(yàn)

‐  相關(guān)分析的四個(gè)基本步驟

演練：營(yíng)銷(xiāo)費(fèi)用會(huì)影響銷(xiāo)售額嗎？影響程度如何量化？

演練：哪些因素與產(chǎn)品銷(xiāo)量有顯著的相關(guān)性

演練：影響用戶(hù)消費(fèi)水平的因素會(huì)有哪些

‐  偏相關(guān)分析

◢    偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性

◢    偏相關(guān)系數(shù)的計(jì)算公式

◢    偏相關(guān)分析的適用場(chǎng)景

4、 方差分析（衡量類(lèi)別變量與數(shù)值變量間的相關(guān)性）

‐  方差分析的應(yīng)用場(chǎng)景

‐  方差分析的三個(gè)種類(lèi)

◢    單因素方差分析

◢    多因素方差分析

◢    協(xié)方差分析

‐  單因素方差分析的原理

‐  方差分析的四個(gè)步驟

‐  解讀方差分析結(jié)果的兩個(gè)要點(diǎn)

案例：擺放位置與銷(xiāo)量有關(guān)嗎

演練：客戶(hù)學(xué)歷對(duì)消費(fèi)水平的影響分析

‐  多因素方差分析原理

‐  多因素方差分析的作用

‐  多因素方差結(jié)果的解讀

案例：廣告形式、地區(qū)對(duì)銷(xiāo)售額的影響因素分析

演練：銷(xiāo)售員的性別、技能級(jí)別對(duì)銷(xiāo)量有影響嗎

‐  協(xié)方差分析原理

‐  協(xié)方差分析的適用場(chǎng)景

演練：排除用戶(hù)收入，其余哪些因素對(duì)銷(xiāo)量有顯著影響？

5、 列聯(lián)分析/卡方檢驗(yàn)（兩類(lèi)別變量的相關(guān)性分析）

‐  交叉表與列聯(lián)表：計(jì)數(shù)值與期望值

‐  卡方檢驗(yàn)的原理

‐  卡方檢驗(yàn)的幾個(gè)計(jì)算公式

‐  列聯(lián)表分析的適用場(chǎng)景

案例：產(chǎn)品類(lèi)型對(duì)客戶(hù)流失的影響分析

案例：用戶(hù)學(xué)歷對(duì)產(chǎn)品類(lèi)型偏好的影響分析

研討：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析

第七部分：              數(shù)據(jù)建模基礎(chǔ)—流程步驟篇

1、 預(yù)測(cè)建模六步法

‐  選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型

‐  特征工程：選擇對(duì)目標(biāo)變量有顯著影響的屬性來(lái)建模

‐  訓(xùn)練模型：采用合適的算法對(duì)模型進(jìn)行訓(xùn)練，尋找到最優(yōu)參數(shù)

‐  評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用

‐  優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化

‐  應(yīng)用模型：如果評(píng)估結(jié)果滿(mǎn)足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景

2、 數(shù)據(jù)挖掘常用的模型

‐  定量預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等

‐  定性預(yù)測(cè)模型：邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等

‐  市場(chǎng)細(xì)分：聚類(lèi)、RFM、PCA等

‐  產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過(guò)濾等

‐  產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等

‐  產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等

3、 特征工程/特征選擇/變量降維

‐  基于變量本身特征

‐  基于相關(guān)性判斷

‐  因子合并（PCA等）

‐  IV值篩選（評(píng)分卡使用）

‐  基于信息增益判斷（決策樹(shù)使用）

4、 模型評(píng)估

‐  模型質(zhì)量評(píng)估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等

‐  預(yù)測(cè)值評(píng)估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等

‐  模型評(píng)估方法：留出法、K拆交叉驗(yàn)證、自助法等

‐  其它評(píng)估：過(guò)擬合評(píng)估、殘差檢驗(yàn)

5、 模型優(yōu)化

‐  優(yōu)化模型：選擇新模型/修改模型

‐  優(yōu)化數(shù)據(jù)：新增顯著自變量

‐  優(yōu)化公式：采用新的計(jì)算公式

‐  集成思想：Bagging/Boosting/Stacking

6、 常用預(yù)測(cè)模型介紹：回歸、時(shí)序、分類(lèi)

第八部分：  客戶(hù)行為預(yù)測(cè)—分類(lèi)模型篇

問(wèn)題：如何評(píng)估客戶(hù)購(gòu)買(mǎi)產(chǎn)品的可能性？如何預(yù)測(cè)客戶(hù)的購(gòu)買(mǎi)行為？如何提取某類(lèi)客戶(hù)的典型特征？如何向客戶(hù)精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？

1、 分類(lèi)模型概述及其應(yīng)用場(chǎng)景

2、 常見(jiàn)分類(lèi)預(yù)測(cè)模型

3、 邏輯回歸（LR）

‐  邏輯回歸的適用場(chǎng)景

‐  邏輯回歸的模型原理

‐  邏輯回歸分類(lèi)的幾何意義

‐  邏輯回歸的種類(lèi)：二項(xiàng)、多項(xiàng)

‐  如何解讀邏輯回歸方程

‐  帶分類(lèi)自變量的邏輯回歸分析

‐  多項(xiàng)邏輯回歸/多分類(lèi)邏輯回歸

案例：如何評(píng)估用戶(hù)是否會(huì)購(gòu)買(mǎi)某產(chǎn)品

案例：多品牌選擇模型分析（多項(xiàng)邏輯回歸）

4、 分類(lèi)決策樹(shù)（DT）

問(wèn)題：如何預(yù)測(cè)客戶(hù)行為？如何識(shí)別潛在客戶(hù)？

風(fēng)控：如何識(shí)別欠貸者的特征，以及預(yù)測(cè)欠貸概率？

客戶(hù)保有：如何識(shí)別流失客戶(hù)特征，以及預(yù)測(cè)客戶(hù)流失概率？

‐  決策樹(shù)分類(lèi)簡(jiǎn)介

演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征

‐  決策樹(shù)分類(lèi)的幾何意義

‐  構(gòu)建決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題

◢   如何選擇最佳屬性來(lái)構(gòu)建節(jié)點(diǎn)：熵/基尼系數(shù)、信息增益

◢   如何分裂變量：多元/二元?jiǎng)澐帧⒆顑?yōu)切割點(diǎn)

◢   修剪決策樹(shù)：剪枝原則、預(yù)剪枝與后剪枝

‐  構(gòu)建決策樹(shù)的四個(gè)算法

‐  如何選擇最優(yōu)分類(lèi)模型？

案例：商場(chǎng)用戶(hù)的典型特征提取

案例：客戶(hù)流失預(yù)警與客戶(hù)挽留

案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款

‐  多分類(lèi)決策樹(shù)

案例：識(shí)別不同理財(cái)客戶(hù)的典型特征，實(shí)現(xiàn)精準(zhǔn)推薦

‐  決策樹(shù)模型的保存與應(yīng)用

5、 人工神經(jīng)網(wǎng)絡(luò)（ANN）

‐  神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

‐  神經(jīng)網(wǎng)絡(luò)基本原理

‐  神經(jīng)網(wǎng)絡(luò)分類(lèi)的幾何意義

‐  神經(jīng)網(wǎng)絡(luò)的建立步驟及實(shí)現(xiàn)算法

‐  神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題

案例：評(píng)估銀行用戶(hù)拖欠貨款的概率

6、 支持向量機(jī)（SVM）

‐  SVM基本原理

‐  線(xiàn)性可分問(wèn)題：最大邊界超平面

‐  線(xiàn)性不可分問(wèn)題：特征空間的轉(zhuǎn)換

‐  維災(zāi)難與核函數(shù)

第九部分：  客戶(hù)行為預(yù)測(cè)—模型評(píng)估篇

1、模型的評(píng)估指標(biāo)

‐  兩大矩陣：混淆矩陣，代價(jià)矩陣

‐  六大指標(biāo)：Acc,P,R,Spec,F1,lift

‐  三條曲線(xiàn)：

◢   ROC曲線(xiàn)和AUC

◢   PR曲線(xiàn)和BEP

◢   KS曲線(xiàn)和KS值

2、模型的評(píng)估方法

‐  留出法（Hold-Out）

‐  交叉驗(yàn)證法（k-fold cross validation）

‐  自助采樣法（Bootstrapping）

第十部分：  客戶(hù)行為預(yù)測(cè)—集成優(yōu)化篇

1、模型的優(yōu)化思路

2、集成算法基本原理

‐  單獨(dú)構(gòu)建多個(gè)弱分類(lèi)器

‐  多個(gè)弱分類(lèi)器組合投票，決定預(yù)測(cè)結(jié)果

3、集成方法的種類(lèi)：Bagging、Boosting、Stacking

4、Bagging集成：隨機(jī)森林RF

‐  數(shù)據(jù)/屬性重抽樣

‐  決策依據(jù)：少數(shù)服從多數(shù)

5、Boosting集成：AdaBoost模型

‐  基于誤分?jǐn)?shù)據(jù)建模

‐  樣本選擇權(quán)重更新公式

‐  決策依據(jù)：加權(quán)投票

6、高級(jí)模型介紹與實(shí)現(xiàn)

‐  GBDT梯度提升決策樹(shù)

‐  XGBoost

‐  LightGBM

第十一部分：        市場(chǎng)細(xì)分模型—聚類(lèi)模型篇

問(wèn)題：我們的客戶(hù)有幾類(lèi)？各類(lèi)特征是什么？如何實(shí)現(xiàn)客戶(hù)細(xì)分，開(kāi)發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？如何提取客戶(hù)特征，從而對(duì)產(chǎn)品進(jìn)行市場(chǎng)定位？

1、 市場(chǎng)細(xì)分的常用方法

‐  有指導(dǎo)細(xì)分

‐  無(wú)指導(dǎo)細(xì)分

2、 聚類(lèi)分析

‐  如何更好的了解客戶(hù)群體和市場(chǎng)細(xì)分？

‐  如何識(shí)別客戶(hù)群體特征？

‐  如何確定客戶(hù)要分成多少適當(dāng)?shù)念?lèi)別？

‐  聚類(lèi)方法原理介紹

‐  聚類(lèi)方法作用及其適用場(chǎng)景

‐  聚類(lèi)分析的種類(lèi)

◢    K均值聚類(lèi)

◢    層次聚類(lèi)

◢    兩步聚類(lèi)

‐  K均值聚類(lèi)（快速聚類(lèi)）

‐  層次聚類(lèi)（系統(tǒng)聚類(lèi)）：發(fā)現(xiàn)多個(gè)類(lèi)別

‐  兩步聚類(lèi)

演練：劃分合適的客戶(hù)群，提取不同客戶(hù)群的典型特征

3、 客戶(hù)細(xì)分與PCA分析法

‐  PCA主成分分析的原理

‐  PCA分析法的適用場(chǎng)景

演練：利用PCA對(duì)客戶(hù)群進(jìn)行細(xì)分

第十二部分：        銀行客戶(hù)信用卡模型

1、 信用評(píng)分卡模型簡(jiǎn)介

2、 評(píng)分卡的關(guān)鍵問(wèn)題

3、 信用評(píng)分卡建立過(guò)程

‐  篩選重要屬性

‐  數(shù)據(jù)集轉(zhuǎn)化

‐  建立分類(lèi)模型

‐  計(jì)算屬性分值

‐  確定審批閾值

4、 篩選重要屬性

‐  屬性分段

‐  基本概念：WOE、IV

‐  屬性重要性評(píng)估

5、 數(shù)據(jù)集轉(zhuǎn)化

‐  連續(xù)屬性最優(yōu)分段

‐  計(jì)算屬性取值的WOE

6、 建立分類(lèi)模型

‐  訓(xùn)練邏輯回歸模型

‐  評(píng)估模型

‐  得到字段系數(shù)

7、 計(jì)算屬性分值

‐  計(jì)算補(bǔ)償與刻度值

‐  計(jì)算各字段得分

‐  生成評(píng)分卡

8、 確定審批閾值

‐  畫(huà)K-S曲線(xiàn)

‐  計(jì)算K-S值

‐  獲取最優(yōu)閾值

案例：構(gòu)建銀行小額貸款的用戶(hù)信用模型

第十三部分：        數(shù)據(jù)建模實(shí)戰(zhàn)篇

1、電信業(yè)客戶(hù)流失預(yù)警和客戶(hù)挽留模型實(shí)戰(zhàn)

2、銀行欠貸風(fēng)險(xiǎn)預(yù)測(cè)模型實(shí)戰(zhàn)

3、銀行信用卡評(píng)分模型實(shí)戰(zhàn)

結(jié)束：課程總結(jié)與問(wèn)題答疑。