特征降维
降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程
- 降低随机变量的个数
两种方式:
- 特征选择
- 主成分分析
1. 特征选择
- Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联
- 方差选择法：低方差特征过滤
- 相关系数
- Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
- 决策树:信息熵、信息增益 分析特征的重要性
- 正则化：L1、L2 y=w1xx1+…+wnxxn+b线性回归使用
- 深度学习：卷积等
1.1 低方差特征过滤:
删除低方差的一些特征，前面讲过方差的意义。再结合方差的大小来考虑这个方式的角度。
- 特征方差小：某个特征大多样本的值比较相近
- 特征方差大：某个特征很多样本的值都有差别
api：
sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
- 删除所有低方差特征
- Variance.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。
1.2相关系数：
- 主要实现方式：
- 皮尔逊相关系数 反应变量之间相关关系密切程度的统计指标 介于-1到+1之间 , 计算特征与目标值之间的相关系数
相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：
r=\frac{n \sum x y-\sum x \sum y}{\sqrt{n \sum x^{2}-\left(\sum x\right)^{2}} \sqrt{n \sum y^{2}-\left(\sum y\right)^{2}}}
- 当r>0时，表示两变量正相关，r<0时，两变量为负相关 (量化交易 研究不同股票走势之间的关系 对冲交易对 套期保值 比如种大豆 提前把期货卖掉)
- 当|r|=1时，表示两变量为完全相关，当r=0时，表示两变量间无相关关系, 将该特征忽略
- 当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
- 一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关
api:
- from scipy.stats import pearsonr
- x : (N,) array_like
- y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)
- 斯皮尔曼相关系数 反应变量之间相关关系密切程度的统计指标
-
$$
\operatorname{RankIC}=1-\frac{6 \sum d_{i}^{2}}{n\left(n^{2}-1\right)}
$$ -
斯皮尔曼相关系数表明 X (自变量) 和 Y (因变量)的相关方向。 如果当X增加时， Y 趋向于增加, 斯皮尔曼相关系数则为正
-
与之前的皮尔逊相关系数大小性质一样，取值 [-1, 1]之间
api：
- from scipy.stats import spearmanr
斯皮尔曼相关系数比皮尔逊相关系数应用更加广泛
2. 主成分分析PCA
相关系数 数据分析使用多 pca正常工作使用多
- 定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量
- 作用：数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
- 应用：回归分析或者聚类分析当中
api:
sklearn.decomposition.PCA(n_components=None)
- 将数据分解为较低维数空间
- n_components:
- 小数：表示保留百分之多少的信息
- 整数：减少到多少特征
- PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]
- 返回值：转换后指定维度的array
