主成分分析是一門降維的技術(shù)，即將多個指標用少數(shù)幾個綜合指標表示出來。主成分分析可以用于變量的降維和數(shù)據(jù)的解釋。
前言
主成分分析（PCA)是一種經(jīng)典的線性維歸約方法，基于高維空間的數(shù)據(jù)尋找主成分將其轉(zhuǎn)換至低維空間，并保證低維空間下每個維度具有最大方差且不相關(guān)性。
目錄
1. 什么是主成分分析
2. 為什么降維
3. 主成分滿足條件
4. 分析過程及數(shù)據(jù)模型
5. 案例
一、什么是主成分分析
主成分分析，是一種降維的分析方法，其考察多個變量間相關(guān)性的一種多元統(tǒng)計方法，研究如何通過少數(shù)幾個主成分來揭示多個變量間的內(nèi)部結(jié)構(gòu)，即從原始變量中導出少數(shù)幾個主成分，使它們盡可能多地保留原始變量的信息，且彼此間互不相關(guān)。
舉個栗子好理解
若在數(shù)據(jù)收集過程中有許多變量,這些變量可能有幾十上百個,那么怎么去理解這些變量間的關(guān)系了?如果兩兩去看,那得有幾百個相關(guān)關(guān)系了,另外我們還會遇到這樣的問題:
1、 比如拿到一個汽車的樣本，里面既有以“千米/每小時”度量的最大速度特征，也有“英里/小時”的最大速度特征，顯然這兩個特征有一個多余。
2、 拿到一個數(shù)學系的本科生期末考試成績單，里面有三列，一列是對數(shù)學的興趣程度，一列是復習時間，還有一列是考試成績。我們知道要學好數(shù)學，需要有濃厚的興趣，所以第二項與第一項強相關(guān)，第三項和第二項也是強相關(guān)。那是不是可以合并第一項和第二項呢？
3、 拿到一個樣本，特征非常多，而樣例特別少，這樣用回歸去直接擬合非常困難，容易過度擬合。比如北京的房價：假設(shè)房子的特征是（大小、位置、朝向、是否學區(qū)房、建造年代、是否二手、層數(shù)、所在層數(shù)），搞了這么多特征，結(jié)果只有不到十個房子的樣例。要擬合房子特征->房價的這么多特征，就會造成過度擬合。
4、 這個與第二個有點類似，假設(shè)在IR中我們建立的文檔-詞項矩陣中，有兩個詞項為“l(fā)earn”和“study”，在傳統(tǒng)的向量空間模型中，認為兩者獨立。然而從語義的角度來講，兩者是相似的，而且兩者出現(xiàn)頻率也類似，是不是可以合成為一個特征呢？
主成分分析便是一種降維的技巧,就是將大量相關(guān)的變量變成一組很少的不相關(guān)的變量,這些無關(guān)變量稱之為主成分.
二、為什么要降維
脫水版：
1）多重共線性--預(yù)測變量之間存在一定程度的相關(guān)性。多重共線性會導致解空間的不穩(wěn)定，從而可能導致結(jié)果的不連貫。
2）高維空間本身具有稀疏性。
3）過多的變量會妨礙查找規(guī)律的建立。
4）僅在變量層面上分析可能會忽略變量之間的潛在聯(lián)系。例如幾個預(yù)測變量的綁定才可以反映數(shù)據(jù)某一方面特征。
拖沓版：
上面例子中有幾個關(guān)鍵詞,大量相關(guān)的變量,很少不相關(guān)的變量.學過線性代數(shù)的應(yīng)該了解這叫求最大線性無關(guān)組.其實把每個變量當做一個人,相關(guān)就是指兩個人認識比較熟,不相關(guān)就是比較陌生.我們認為熟悉的人之間可以互相代表,所以若一組人之間都認識那么只需要一個人就可以代表這個組,那么最大線性無關(guān)組就是變成組里面只剩下相互陌生的人了,這個小組就能代表之前的大組.
而PCA的思想與之有些區(qū)別,PCA模型中的那個代表是另外構(gòu)造的,并不是來自原先組中原本的特征,如果我們將每個特征看做一個維度的話,那么構(gòu)造出的代表其實就是將原先的多維變成少量新的維度.也就是說PCA的思想是將n維特征映射到k維上（k<n），這k維是全新的正交特征。這k維特征稱為主元，是重新構(gòu)造出來的k維特征，而不是簡單地從n維特征中去除其余n-k維特征。
三、主成分滿足的條件：
1）每個主成分P都是原變量的線性組合，有多少個原變量就有多少個主成分，任意主成分可以表示成：
2）公式中的未知系數(shù)aij滿足平方和為1；
3）P1是線性組合中方差最大，依次是P2，P3，...Pm，并且各主成分之間互不相關(guān)。
四、主成分計算過程及數(shù)據(jù)模型
接下來我們來看看主成分分析基本步驟：
1.將原始數(shù)據(jù)標準化，用scale()函數(shù)
2.求標準化數(shù)據(jù)的協(xié)方差陣，用cov()函數(shù)：或者求數(shù)據(jù)的相關(guān)陣用cor()函數(shù)
3.求協(xié)方差陣或者相關(guān)矩陣的特征值和單位特征向量，用eigen()函數(shù)，其中$values是按從達到小對應(yīng)的特征值，$vectors是對應(yīng)的單位特征向量
4.主成分分析，用princomp(x,cor...)函數(shù),x為矩陣,cor為確定x是否為相關(guān)系數(shù)矩陣
5.確定主成分個數(shù),可以用screeplot()函數(shù)，用可視化的方法來確定主成分個數(shù)，選取一個拐彎點對應(yīng)的序號
6.解釋主成分，用PCA$loadings顯示主成分載荷矩陣，PCA為主成分分析賦值的變量。7.確定各樣本的主成分得分，用PCA$scores 來確定，并根據(jù)樣本各主成分的分值來對樣本進行解釋。
對于一個樣本資料，觀測p 個變量（即特征）x1, x2 ,……,xp， n 個樣品（觀測）的數(shù)據(jù)資料陣為：
主成分分析就是將p 個觀測變量綜合成為p 個新的變量（綜合變量），即：
要求模型滿足以下條件：
于是，稱F1為第一主成分，F(xiàn)2 為第二主成分，依此類推，有第p 個主成分。主成分又叫主分量。這里aij我們稱為主成分系數(shù)。
五、主成分案例：
要用R語言結(jié)合一個小案例來實戰(zhàn)解析主成分分析的運用及結(jié)果分析。
1. 函數(shù)總結(jié)
#R中作為主成分分析最主要的函數(shù)是princomp()函數(shù)
#princomp()主成分分析 可以從相關(guān)陣或者從協(xié)方差陣做主成分分析
#summary()提取主成分信息
#loadings()顯示主成分分析或因子分析中載荷的內(nèi)容
#predict()預(yù)測主成分的值
#screeplot()畫出主成分的碎石圖
#biplot()畫出數(shù)據(jù)關(guān)于主成分的散點圖和原坐標在主成分下的方向
2. 案例1
#現(xiàn)有30名中學生身高、體重、胸圍、坐高數(shù)據(jù)，對身體的四項指標數(shù)據(jù)做主成分分析。
#1）載入原始數(shù)據(jù)
test<-data.frame(
X1=c(148, 139, 160, 149, 159, 142, 153, 150, 151, 139,140, 161, 158, 140, 137, 152, 149, 145, 160, 156,151, 147, 157, 147, 157, 151, 144, 141, 139, 148),
X2=c(41, 34, 49, 36, 45, 31, 43, 43, 42, 31,29, 47, 49, 33, 31, 35, 47, 35, 47, 44,42, 38, 39, 30, 48, 36, 36, 30, 32, 38),
X3=c(72, 71, 77, 67, 80, 66, 76, 77, 77, 68,64, 78, 78, 67, 66, 73, 82, 70, 74, 78,73, 73, 68, 65, 80, 74, 68, 67, 68, 70),
X4=c(78, 76, 86, 79, 86, 76, 83, 79, 80, 74,74, 84, 83, 77, 73, 79, 79, 77, 87, 85,82, 78, 80, 75, 88, 80, 76, 76, 73, 78)
)
> test X1 X2 X3 X41 148 41 72 782 139 34 71 763 160 49 77 864 149 36 67 795 159 45 80 866 142 31 66 767 153 43 76 838 150 43 77 799 151 42 77 8010 139 31 68 7411 140 29 64 7412 161 47 78 8413 158 49 78 8314 140 33 67 7715 137 31 66 7316 152 35 73 7917 149 47 82 7918 145 35 70 7719 160 47 74 8720 156 44 78 8521 151 42 73 8222 147 38 73 7823 157 39 68 8024 147 30 65 7525 157 48 80 8826 151 36 74 8027 144 36 68 7628 141 30 67 7629 139 32 68 7330 148 38 70 78#2）作主成分分析并顯示分析結(jié)果
test.pr<-princomp(test,cor=TRUE) #cor是邏輯變量 當cor=TRUE表示用樣本的相關(guān)矩陣R做主成分分析；
當cor=FALSE表示用樣本的協(xié)方差陣S做主成分分析
summary(test.pr,loadings=TRUE) #loading是邏輯變量 當loading=TRUE時表示顯示loading 的內(nèi)容
#loadings的輸出結(jié)果為載荷 是主成分對應(yīng)于原始變量的系數(shù)即Q矩陣
Importance of components: Comp.1 Comp.2 Comp.3 Comp.4Standard deviation 1.8817805 0.55980636 0.28179594 0.25711844Proportion of Variance 0.8852745 0.07834579 0.01985224 0.01652747Cumulative Proportion 0.8852745 0.96362029 0.98347253 1.00000000Loadings: Comp.1 Comp.2 Comp.3 Comp.4
X1 0.497 0.543 -0.450 0.506
X2 0.515 -0.210 -0.462 -0.691
X3 0.481 -0.725 0.175 0.461
X4 0.507 0.368 0.744 -0.232
#3）分析結(jié)果含義
#----Standard deviation 標準差 其平方為方差=特征值
#----Proportion of Variance 方差貢獻率
#----Cumulative Proportion 方差累計貢獻率#由結(jié)果顯示 前兩個主成分的累計貢獻率已經(jīng)達到96% 可以舍去另外兩個主成分 達到降維的目的
因此可以得到函數(shù)表達式：
Z1=-0.497X'1-0.515X'2-0.481X'3-0.507X'4
Z1= 0.543X'1-0.210X'2-0.725X'3-0.368X'4
#4）畫主成分的碎石圖并預(yù)測
screeplot(test.pr,type="lines")
由碎石圖可以看出 第二個主成分之后 圖線變化趨于平穩(wěn) 因此可以選擇前兩個主成分做分析！
> p<-predict(test.pr) # predict函數(shù)根據(jù)主成分生成最后的新變量(即將原始數(shù)據(jù)矩陣X與主成分系數(shù)矩陣A結(jié)合,生成最后的主成分新變量,用這個生成的新變量代替原始變量！)> p Comp.1 Comp.2 Comp.3 Comp.4 [1,] -0.06990950 -0.23813701 -0.35509248 -0.266120139 [2,] -1.59526340 -0.71847399 0.32813232 -0.118056646 [3,] 2.84793151 0.38956679 -0.09731731 -0.279482487 [4,] -0.75996988 0.80604335 -0.04945722 -0.162949298 [5,] 2.73966777 0.01718087 0.36012615 0.358653044 [6,] -2.10583168 0.32284393 0.18600422 -0.036456084 [7,] 1.42105591 -0.06053165 0.21093321 -0.044223092 [8,] 0.82583977 -0.78102576 -0.27557798 0.057288572 [9,] 0.93464402 -0.58469242 -0.08814136 0.181037746[10,] -2.36463820 -0.36532199 0.08840476 0.045520127[11,] -2.83741916 0.34875841 0.03310423 -0.031146930[12,] 2.60851224 0.21278728 -0.33398037 0.210157574[13,] 2.44253342 -0.16769496 -0.46918095 -0.162987830[14,] -1.86630669 0.05021384 0.37720280 -0.358821916[15,] -2.81347421 -0.31790107 -0.03291329 -0.222035112[16,] -0.06392983 0.20718448 0.04334340 0.703533624[17,] 1.55561022 -1.70439674 -0.33126406 0.007551879[18,] -1.07392251 -0.06763418 0.02283648 0.048606680[19,] 2.52174212 0.97274301 0.12164633 -0.390667991[20,] 2.14072377 0.02217881 0.37410972 0.129548960[21,] 0.79624422 0.16307887 0.12781270 -0.294140762[22,] -0.28708321 -0.35744666 -0.03962116 0.080991989[23,] 0.25151075 1.25555188 -0.55617325 0.109068939[24,] -2.05706032 0.78894494 -0.26552109 0.388088643[25,] 3.08596855 -0.05775318 0.62110421 -0.218939612[26,] 0.16367555 0.04317932 0.24481850 0.560248997[27,] -1.37265053 0.02220972 -0.23378320 -0.257399715[28,] -2.16097778 0.13733233 0.35589739 0.093123683[29,] -2.40434827 -0.48613137 -0.16154441 -0.007914021[30,] -0.50287468 0.14734317 -0.20590831 -0.1220788193. 案例2：變量分類問題
#案例：已知16項指標的相關(guān)矩陣 從相關(guān)矩陣R出發(fā) 進行主成分分析 對16個指標進行分類
#1）載入相關(guān)系數(shù) 下三角表示（輸入R之后，其實是以向量存儲的）
x<-c(1.00,
0.79, 1.00,
0.36, 0.31, 1.00,
0.96, 0.74, 0.38, 1.00,
0.89, 0.58, 0.31, 0.90, 1.00,
0.79, 0.58, 0.30, 0.78, 0.79, 1.00,
0.76, 0.55, 0.35, 0.75, 0.74, 0.73, 1.00,
0.26, 0.19, 0.58, 0.25, 0.25, 0.18, 0.24, 1.00,
0.21, 0.07, 0.28, 0.20, 0.18, 0.18, 0.29,-0.04, 1.00,
0.26, 0.16, 0.33, 0.22, 0.23, 0.23, 0.25, 0.49,-0.34, 1.00,
0.07, 0.21, 0.38, 0.08,-0.02, 0.00, 0.10, 0.44,-0.16, 0.23, 1.00,
0.52, 0.41, 0.35, 0.53, 0.48, 0.38, 0.44, 0.30,-0.05, 0.50,0.24, 1.00,
0.77, 0.47, 0.41, 0.79, 0.79, 0.69, 0.67, 0.32, 0.23, 0.31,0.10, 0.62, 1.00,
0.25, 0.17, 0.64, 0.27, 0.27, 0.14, 0.16, 0.51, 0.21, 0.15,0.31, 0.17, 0.26, 1.00,
0.51, 0.35, 0.58, 0.57, 0.51, 0.26, 0.38, 0.51, 0.15, 0.29,0.28, 0.41, 0.50, 0.63, 1.00,
0.21, 0.16, 0.51, 0.26, 0.23, 0.00, 0.12, 0.38, 0.18, 0.14,0.31, 0.18, 0.24, 0.50, 0.65, 1.00)
)
> x
[1] 1.00 0.79 1.00 0.36 0.31 1.00 0.96 0.74 0.38 1.00 0.89 0.58 0.31 0.90 1.00 0.79
[17] 0.58 0.30 0.78 0.79 1.00 0.76 0.55 0.35 0.75 0.74 0.73 1.00 0.26 0.19 0.58 0.25
[33] 0.25 0.18 0.24 1.00 0.21 0.07 0.28 0.20 0.18 0.18 0.29 -0.04 1.00 0.26 0.16 0.33
[49] 0.22 0.23 0.23 0.25 0.49 -0.34 1.00 0.07 0.21 0.38 0.08 -0.02 0.00 0.10 0.44 -0.16
[65] 0.23 1.00 0.52 0.41 0.35 0.53 0.48 0.38 0.44 0.30 -0.05 0.50 0.24 1.00 0.77 0.47
[81] 0.41 0.79 0.79 0.69 0.67 0.32 0.23 0.31 0.10 0.62 1.00 0.25 0.17 0.64 0.27 0.27
[97] 0.14 0.16 0.51 0.21 0.15 0.31 0.17 0.26 1.00 0.51 0.35 0.58 0.57 0.51 0.26 0.38
[113] 0.51 0.15 0.29 0.28 0.41 0.50 0.63 1.00 0.21 0.16 0.51 0.26 0.23 0.00 0.12 0.38
[129] 0.18 0.14 0.31 0.18 0.24 0.50 0.65 1.00
#2）輸入16個指標的名稱
names<-c("X1", "X2", "X3", "X4", "X5", "X6", "X7", "X8","X9","X10", "X11", "X12", "X13", "X14", "X15", "X16")
#3）將矩陣生成相關(guān)矩陣 即原始下三角矩陣的擴展
R<-matrix(0,nrow=16,ncol=16,dimnames=list(names,names))
<-for(i in 1:16){
for(j in 1:i){
R[i,j]<-x[(i-1)*i / 2+j]; R[j,i]<-R[i,j] #這個公式略D，有木有！
} }
> R
X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X16
X1 1.00 0.79 0.36 0.96 0.89 0.79 0.76 0.26 0.21 0.26 0.07 0.52 0.77 0.25 0.51 0.21
X2 0.79 1.00 0.31 0.74 0.58 0.58 0.55 0.19 0.07 0.16 0.21 0.41 0.47 0.17 0.35 0.16
X3 0.36 0.31 1.00 0.38 0.31 0.30 0.35 0.58 0.28 0.33 0.38 0.35 0.41 0.64 0.58 0.51
X4 0.96 0.74 0.38 1.00 0.90 0.78 0.75 0.25 0.20 0.22 0.08 0.53 0.79 0.27 0.57 0.26
X5 0.89 0.58 0.31 0.90 1.00 0.79 0.74 0.25 0.18 0.23 -0.02 0.48 0.79 0.27 0.51 0.23
X6 0.79 0.58 0.30 0.78 0.79 1.00 0.73 0.18 0.18 0.23 0.00 0.38 0.69 0.14 0.26 0.00
X7 0.76 0.55 0.35 0.75 0.74 0.73 1.00 0.24 0.29 0.25 0.10 0.44 0.67 0.16 0.38 0.12
X8 0.26 0.19 0.58 0.25 0.25 0.18 0.24 1.00 -0.04 0.49 0.44 0.30 0.32 0.51 0.51 0.38
X9 0.21 0.07 0.28 0.20 0.18 0.18 0.29 -0.04 1.00 -0.34 -0.16 -0.05 0.23 0.21 0.15 0.18
X10 0.26 0.16 0.33 0.22 0.23 0.23 0.25 0.49 -0.34 1.00 0.23 0.50 0.31 0.15 0.29 0.14
X11 0.07 0.21 0.38 0.08 -0.02 0.00 0.10 0.44 -0.16 0.23 1.00 0.24 0.10 0.31 0.28 0.31
X12 0.52 0.41 0.35 0.53 0.48 0.38 0.44 0.30 -0.05 0.50 0.24 1.00 0.62 0.17 0.41 0.18
X13 0.77 0.47 0.41 0.79 0.79 0.69 0.67 0.32 0.23 0.31 0.10 0.62 1.00 0.26 0.50 0.24
X14 0.25 0.17 0.64 0.27 0.27 0.14 0.16 0.51 0.21 0.15 0.31 0.17 0.26 1.00 0.63 0.50
X15 0.51 0.35 0.58 0.57 0.51 0.26 0.38 0.51 0.15 0.29 0.28 0.41 0.50 0.63 1.00 0.65
X16 0.21 0.16 0.51 0.26 0.23 0.00 0.12 0.38 0.18 0.14 0.31 0.18 0.24 0.50 0.65 1.00
> x<-c(1,-1,1,-2,-3,1)> names<-c('x1','x2','x3')> R<-matrix(0,nrow=3,ncol=3,dimnames=list(names,names))> R x1 x2 x3x1 0 0 0x2 0 0 0x3 0 0 0> for(i in 1:3){ + for(j in 1:i){ + R[i,j]<-x[(i-1)*i/2+j];R[j,i]<-R[i,j] #可見該公式可將相關(guān)系數(shù)下三角轉(zhuǎn)化成相關(guān)矩陣 + } + }> R x1 x2 x3x1 1 -1 -2x2 -1 1 -3x3 -2 -3 1
#4）主成分分析
> x.pr<-princomp(covmat=R) #covmat協(xié)方差陣（指定使用相關(guān)矩陣來進行PCA分析?。?gt; x.prCall:princomp(covmat = R)Standard deviations:Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Comp.6 Comp.7 Comp.8 Comp.9 Comp.10 Comp.11 Comp.12 Comp.13 Comp.14 Comp.15 Comp.16 2.6526359 1.6167971 1.2775386 0.9217124 0.8763498 0.8037803 0.6873924 0.6753023 0.5975465 0.5559751 0.4901757 0.4666029 0.4112178 0.3675549 0.2607323 0.169998216 variables and NA observations.> load<-loadings(x.pr) #載荷
#5）散點圖
plot(load[,1:2]) #取前兩個主成分,畫兩個主成分的散點圖！
text(load[,1],load[,2],adj=c(-0.4,0.3))
通過散點圖可以得到分析結(jié)果：指標1 2 4 5 6 7 13可以歸為一類 ；指標9 10 12可以歸為一類；指標3 8 11 14 15 16可以歸為一類。附錄
特征值和特征向量隱藏的秘密：主成分變量對應(yīng)的特征向量的每個元素，與對應(yīng)的特征值的平方根的乘積，等于該主成分變量，與該元素列標簽對應(yīng)的原始變量之間的相關(guān)系數(shù)。這是特征值與特征向量隱藏的秘密，可以用矩陣代數(shù)嚴格推導出來。不過這句話讀起來比較費勁，我們用圖8來表示這一關(guān)系。圖中的eigVec1至eigVec4是4個特征向量，對應(yīng)的特征值分別為eigVal1至eigVal4。我們在每個列中進行操作，用特征向量每個元素分別乘以對應(yīng)特征值的平方根，得到該主成分變量與所有原始變量的相關(guān)系數(shù)！
4. 案例3：主成分回歸問題
#考慮進口總額Y與三個自變量：國內(nèi)總產(chǎn)值，存儲量，總消費量之間的關(guān)系?，F(xiàn)收集了1949-1959共11年的數(shù)據(jù)，試做線性回歸和主成分回歸分析。
economy<-data.frame(
x1=c(149.3, 161.2, 171.5, 175.5, 180.8, 190.7, 202.1, 212.4, 226.1, 231.9, 239.0),
x2=c(4.2, 4.1, 3.1, 3.1, 1.1, 2.2, 2.1, 5.6, 5.0, 5.1, 0.7),
x3=c(108.1, 114.8, 123.2, 126.9, 132.1, 137.7, 146.0, 154.1, 162.3, 164.3, 167.6),
y=c(15.9, 16.4, 19.0, 19.1, 18.8, 20.4, 22.7, 26.5, 28.1, 27.6, 26.3)
)
> economy x1 x2 x3 y1 149.3 4.2 108.1 15.92 161.2 4.1 114.8 16.43 171.5 3.1 123.2 19.04 175.5 3.1 126.9 19.15 180.8 1.1 132.1 18.86 190.7 2.2 137.7 20.47 202.1 2.1 146.0 22.78 212.4 5.6 154.1 26.59 226.1 5.0 162.3 28.110 231.9 5.1 164.3 27.611 239.0 0.7 167.6 26.3#1）線性回歸
lm.sol<-lm(y~x1+x2+x3, data=economy)
summary(lm.sol)
@結(jié)果
> lm.sol<-lm(y~x1+x2+x3, data=economy)> summary(lm.sol)Call:lm(formula = y ~ x1 + x2 + x3, data = economy)Residuals: Min 1Q Median 3Q Max -0.52367 -0.38953 0.05424 0.22644 0.78313 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -10.12799 1.21216 -8.355 6.9e-05 ***x1 -0.05140 0.07028 -0.731 0.488344 x2 0.58695 0.09462 6.203 0.000444 ***x3 0.28685 0.10221 2.807 0.026277 * ---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 0.4889 on 7 degrees of freedomMultiple R-squared: 0.9919, Adjusted R-squared: 0.9884 F-statistic: 285.6 on 3 and 7 DF, p-value: 1.112e-07
###2）主成分回歸
# 主成分分析
economy.pr<-princomp(~x1+x2+x3, data=economy, cor=T)
summary(economy.pr, loadings=TRUE)
Importance of components: Comp.1 Comp.2 Comp.3Standard deviation 1.413915 0.9990767 0.0518737839Proportion of Variance 0.666385 0.3327181 0.0008969632Cumulative Proportion 0.666385 0.9991030 1.0000000000Loadings: Comp.1 Comp.2 Comp.3x1 -0.706 0.707x2 -0.999 x3 -0.707 -0.707
pre<-predict(economy.pr)
economy$z1<-pre[,1]; economy$z2<-pre[,2]
> economy x1 x2 x3 y z1 z21 149.3 4.2 108.1 15.9 2.2296493 -0.669830322 161.2 4.1 114.8 16.4 1.6979452 -0.582654453 171.5 3.1 123.2 19.0 1.1695976 0.076541754 175.5 3.1 126.9 19.1 0.9379462 0.086390365 180.8 1.1 132.1 18.8 0.6756511 1.370463036 190.7 2.2 137.7 20.4 0.1996423 0.691319687 202.1 2.1 146.0 22.7 -0.3771746 0.779972368 212.4 5.6 154.1 26.5 -1.0192344 -1.420148829 226.1 5.0 162.3 28.1 -1.6354243 -1.0110995310 231.9 5.1 164.3 27.6 -1.8532401 -1.0647686411 239.0 0.7 167.6 26.3 -2.0253583 1.74381457
lm.sol<-lm(y~z1+z2, data=economy)
summary(lm.sol)
Call:lm(formula = y ~ z1 + z2, data = economy)Residuals: Min 1Q Median 3Q Max -0.89838 -0.26050 0.08435 0.35677 0.66863 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 21.8909 0.1658 132.006 1.21e-14 ***z1 -2.9892 0.1173 -25.486 6.02e-09 ***z2 -0.8288 0.1660 -4.993 0.00106 ** ---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 0.55 on 8 degrees of freedomMultiple R-squared: 0.9883, Adjusted R-squared: 0.9853 F-statistic: 337.2 on 2 and 8 DF, p-value: 1.888e-08
