「リッジ回帰」の版間の差分

削除された内容追加された内容

インライン

2024年5月28日 (火) 17:05時点における最新版

リッジ回帰（リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法^[1]。計量経済学、化学、工学などの分野で使用されている^[2]。

この理論は、1970年に Hoerl とケナードが Technometrics の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した^[3]^[4]^[1]。これは、リッジ分析の分野における 10 年間の研究の結果だった^[5]。

リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に最小二乗推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い^[6]^[2]。

数学的詳細

${\textstyle n\times 1}$ の列ベクトル ${\textstyle y}$ は ${\textstyle n\times p}$ の計画行列 ${\textstyle X}$ （通常は ${\textstyle p\ll n}$ ）の列空間に射影され、その列は高度に相関しているものとする。正射影 ${\textstyle X\beta }$ を得るための係数 ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ の最小二乗推定量 ${\widehat {\beta }}$ は

{\widehat {\beta }}=(X'X)^{-1}X'y

それに対して、リッジ回帰推定量 ${\widehat {\beta }}_{\text{ridge}}$ は

{\widehat {\beta }}_{\text{ridge}}=(X^{\top }X+kI_{p})^{-1}X^{\top }y

ここで、 ${\textstyle I_{p}}$ は ${\textstyle p\times p}$ の単位行列であり、 ${\textstyle k>0}$ は小さい値である。

脚注

[脚注の使い方]

^ ^a ^b Hilt (1977年). “Ridge, a computer program for calculating ridge regression estimates”. 2021年6月25日閲覧。
^ ^a ^b Gruber, Marvin (26 February 1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators. ISBN 9780824701567
^ Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” Technometrics, vol. 12, no. 1, 1970, pp. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Accessed 13 March 2021.
^ Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Applications to Nonorthogonal Problems.” Technometrics, volume 12, number 1, 1970, pp. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Accessed 13 March 2021.
^ Beck, James Vere; Arnold, Kenneth J. (1977). Parameter Estimation in Engineering and Science. ISBN 9780471061182
^ Jolliffe, I. T. (9 May 2006). Principal Component Analysis. ISBN 9780387224404

この項目は、統計学に関連した書きかけの項目です。この項目を加筆・訂正などしてくださる協力者を求めています（プロジェクト:数学／Portal:数学）。

[Hilt-1] Hilt (1977年). “Ridge, a computer program for calculating ridge regression estimates”. 2021年6月25日閲覧。

[Gruber-2] Gruber, Marvin (26 February 1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators. ISBN 9780824701567

[3] Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” Technometrics, vol. 12, no. 1, 1970, pp. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Accessed 13 March 2021.

[4] Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Applications to Nonorthogonal Problems.” Technometrics, volume 12, number 1, 1970, pp. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Accessed 13 March 2021.

[Beck-5] Beck, James Vere; Arnold, Kenneth J. (1977). Parameter Estimation in Engineering and Science. ISBN 9780471061182

[Jolliffe-6] Jolliffe, I. T. (9 May 2006). Principal Component Analysis. ISBN 9780387224404

[1]

[2]

[3]

[4]

[5]

[6]

@@ 1行目: / 1行目: @@
+{{Expand English|Ridge regression|date=2024年5月}}
+'''リッジ回帰'''（リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、[[回帰分析|重回帰モデル]]の[[係数]]を推定する方法<ref name="Hilt">{{Cite web|url=https://books.google.com/books?id=R4HSmWSNWEkC&pg=PP4|title=Ridge, a computer program for calculating ridge regression estimates|author=Hilt|first=Donald E.|year=1977|accessdate=2021-06-25}}</ref>。計量経済学、化学、工学などの分野で使用されている<ref name="Gruber">{{Cite book|url=https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2|title=Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators|isbn=9780824701567|last=Gruber|first=Marvin|date=26 February 1998}}</ref>。
+この理論は、1970年に Hoerl と ケナード が ''Technometrics'' の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した<ref>Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” ''Technometrics'', vol. 12, no. 1, 1970, pp. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Accessed 13 March 2021. </ref><ref> Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Applications to Nonorthogonal Problems.” ''Technometrics'', volume 12, number 1, 1970, pp. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Accessed 13 March 2021. </ref><ref name="Hilt" />。これは、リッジ分析の分野における 10 年間の研究の結果だった<ref name="Beck">{{Cite book|url=https://books.google.com/books?id=_qAYgYN87UQC&pg=PA287|title=Parameter Estimation in Engineering and Science|isbn=9780471061182|last=Beck|first=James Vere|last2=Arnold|first2=Kenneth J.|year=1977}}</ref>。
-'''リッジ回帰（リッジかいき、Ridge regression）'''は、独立変数が強く相関している場合に、[[回帰分析|重回帰モデル]]の[[係数]]を推定する方法<ref name="Hilt">{{Cite web|url=https://books.google.com/books?id=R4HSmWSNWEkC&pg=PP4|title=Ridge, a computer program for calculating ridge regression estimates|author=Hilt|first=Donald E.|year=1977|accessdate=2021-06-25}}</ref>。計量経済学、化学、工学などの分野で使用されている<ref name="Gruber">{{Cite book|url=https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2|title=Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators|isbn=9780824701567|last=Gruber|first=Marvin|date=26 February 1998}}</ref>。
+リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に[[最小二乗法|最小二乗]]推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い<ref name="Jolliffe">{{Cite book|url=https://books.google.com/books?id=6ZUMBwAAQBAJ&pg=PA178|title=Principal Component Analysis|isbn=9780387224404|last=Jolliffe|first=I. T.|date=9 May 2006}}</ref><ref name="Gruber" />。
-この理論は、1970年に Hoerl と ケナード が ''Technometrics'' の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した<ref>Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” ''Technometrics'', vol. 12, no. 1, 1970, pp. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Accessed 13 March 2021. </ref> <ref> Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Applications to Nonorthogonal Problems.” ''Technometrics'', volume 12, number 1, 1970, pp. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Accessed 13 March 2021. </ref> <ref name="Hilt" />。これは、リッジ分析の分野における 10 年間の研究の結果だった<ref name="Beck">{{Cite book|url=https://books.google.com/books?id=_qAYgYN87UQC&pg=PA287|title=Parameter Estimation in Engineering and Science|isbn=9780471061182|last=Beck|first=James Vere|last2=Arnold|first2=Kenneth J.|year=1977}}</ref>。
-リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に[[最小二乗法|最小二乗]]推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い<ref name="Jolliffe">{{Cite book|url=https://books.google.com/books?id=6ZUMBwAAQBAJ&pg=PA178|title=Principal Component Analysis|isbn=9780387224404|last=Jolliffe|first=I. T.|date=9 May 2006}}</ref> <ref name="Gruber">{{Cite book|url=https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2|title=Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators|isbn=9780824701567|last=Gruber|first=Marvin|date=26 February 1998}}</ref>。
 == 数学的詳細 ==
@@ 17行目: / 17行目: @@
 ここで、<math display="inline">I_p</math> は <math display="inline">p\times p</math> の単位行列であり、<math display="inline">k>0</math> は小さい値である。
-== 参考文献 ==
+== 脚注 ==
+{{脚注ヘルプ}}
 <references />