Contents

3-1 降維(一)-特徵選擇

3-2 降維(二)-特徵提取

3-2-1 主成分分析

3-2-2 LDA與PCA在鳶尾花資料集應用

3-3 核主成分分析

3-1 降維(一)-特徵選擇

降維(Dimensionality reduction)

• 在某些限定條件下，降低隨機變數個數，得到一組「不相關」主變數的過程

特徵選擇(feature selection)

• 假定資料中包含大量冗餘或無關變數（或稱特徵、屬性、指標等），從原有變數中找出主要變數

• 最具代表性的方法包括Lasso 、Elastic net

• 使用特徵選擇技術有三個原因

  • 簡化模型，使之更易於被研究人員或用戶理解
  • 縮短訓練時間
  • 改善通用性、降低過擬合（即降低方差 ）

• 特徵選擇 VS 特徵提取

  • 特徵提取是從原有特徵的功能中創造新的特徵
  • 特徵選擇則只返回原有特徵中的子集

• 應用典型用例：解析書面文本、微陣列數據

  🡪 特徵成千上萬，但樣本只有幾十到幾百個

操作實例：森林的特徵重要性

3-1森林特徵重要性

3-2 降維(二)-特徵提取

特徵提取(Feature extraction)

• 可以看作特徵選擇方法的一般化
• 假設在原始數據中，變數數目浩繁，但只有少數幾個真正起作用

特徵提取代表性的方法

• 主成分分析(PCA)