Logo image
具 L_1/2 懲罰函數之模型選取法的電腦模擬研究
Thesis

具 L_1/2 懲罰函數之模型選取法的電腦模擬研究

江愷翔
Masters, 國立清華大學, 統計學研究所
2011

Abstract

懲罰函數 模型選取 model selection
摘要 現在的模型大部分維度都很高,因此在廣義線性模型或是其它迴歸模型之下,從所有參數中找出相對具影響力參數的問題越來越重要,這個工作就叫做模型選取。有很多文獻有提供一些方法來進行模型選取,比方說 Akaike’s information criterion (AIC; Akaike, 1974), Bayesian information criterion (BIC; Schwarz, 1978), Lasso (Tibshirani, 1996)以及 truncated L_1 (TL_1; Sung, 2011)等等。本篇論文中,我們針對廣義線性模型提出一種 TL_1/2 的懲罰方式,它是將 TL_1 的概念做些變化之後得到的函數,擁有更高的懲罰能力,簡化模型的能力更強,並且在截斷的點上是可微分的,因此計算上相對 TL_1 簡單。論文中還有介紹我們的演算方法和決定篩選參數的排序並且用我們的方法來跟AIC, BIC 和 TL_1 進行模擬比較,其中包含了參數個數是高維度和低維度的Poisson迴歸和 Logistic 迴歸,以及參數個數無限多個的正弦函數迴歸。從模擬結果中可以看到,我們的 TL_1/2 懲罰函數在大部分情況下都擁有較強並且相對準確的選模能力。論文最後是一些簡短的討論。

Metrics

1 Record Views

Details

Logo image