ridge regression tutorial

import%20marimo%0A%0A__generated_with%20%3D%20%220.14.10%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Ridge%20Regression%0A%0A%20%20%20%20This%20notebook%20demonstrates%20Ridge%20regression%2C%20a%20regularized%20version%20of%20linear%20regression%20that%20helps%20prevent%20overfitting%20and%20improves%20model%20stability.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201D%20Ridge%20Regression%0A%0A%20%20%20%20We%20begin%20with%20a%20simple%201D%20case.%20The%20model%20is%20given%20by%20%24y%20%3D%20wx%20%2B%20b%20%2B%20%5Cepsilon%24%20where%20%24%5Cepsilon%24%20is%20Gaussian%20noise.%20The%20goal%20is%20to%20learn%20the%20parameters%20%24w%24%20and%20%24b%24%20from%20the%20data.%20%0A%0A%20%20%20%20Ridge%20regression%20solves%3A%20%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%20%20%20%20%5Cmin_%7Bw%2C%20b%7D%20%5Csum_%7Bi%3D1%7D%5EN%20(y_i%20-%20wx_i%20-%20b)%5E2%20%2B%20%5Calpha%20w%5E2%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20The%20regularization%20term%20%24%5Calpha%20w%5E2%24%20penalizes%20large%20weights%2C%20improving%20stability%20when%20data%20is%20noisy%20or%20features%20are%20correlated.%20Use%20the%20sliders%20to%20play%20with%20the%20sample%20size%2C%20noise%20level%2C%20and%20the%20Ridge%20regularization%20strength.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20slider_N%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D100%2C%20stop%3D1000%2C%20step%3D1%2C%20show_value%3DTrue%2C%20label%3D%22Sample%20size%20N%22%0A%20%20%20%20)%0A%20%20%20%20slider_noise%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D4.0%2C%20step%3D1e-4%2C%20show_value%3DTrue%2C%20label%3D%22Noise%20level%22%0A%20%20%20%20)%0A%20%20%20%20slider_alpha%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D1000%2C%20step%3D1.0%2C%20show_value%3DTrue%2C%20label%3D%22Ridge%20regularization%22%0A%20%20%20%20)%0A%0A%20%20%20%20hparams%20%3D%20mo.ui.dictionary(%0A%20%20%20%20%20%20%20%20%7B%22N%22%3A%20slider_N%2C%20%22epsilon%22%3A%20slider_noise%2C%20%22alpha%22%3A%20slider_alpha%7D%0A%20%20%20%20)%0A%20%20%20%20hparams.vstack()%0A%20%20%20%20return%20(hparams%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hparams%2C%20np%2C%20x%2C%20y)%3A%0A%20%20%20%20from%20numpy.typing%20import%20NDArray%0A%0A%20%20%20%20def%20ridge_regression_1d(%0A%20%20%20%20%20%20%20%20x%3A%20NDArray%5Bnp.float64%5D%2C%20y%3A%20NDArray%5Bnp.float64%5D%2C%20alpha%3A%20float%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Perform%201D%20Ridge%20regression.%22%22%22%0A%20%20%20%20%20%20%20%20X%20%3D%20np.vstack(%5Bx%2C%20np.ones_like(x)%5D).T%0A%0A%20%20%20%20%20%20%20%20%23%20Ridge%20solution%3A%20w%20%3D%20(X%5ET%20X%20%2B%20alpha%20*%20I)%5E(-1)%20X%5ET%20y%0A%20%20%20%20%20%20%20%20I%20%3D%20np.eye(X.shape%5B1%5D)%0A%20%20%20%20%20%20%20%20I%5B1%2C%201%5D%20%3D%200%0A%0A%20%20%20%20%20%20%20%20w_ridge%20%3D%20np.linalg.inv(X.T%20%40%20X%20%2B%20alpha%20*%20I)%20%40%20X.T%20%40%20y%0A%20%20%20%20%20%20%20%20w%2C%20b%20%3D%20w_ridge%5B0%5D%2C%20w_ridge%5B1%5D%0A%20%20%20%20%20%20%20%20return%20w%2C%20b%0A%0A%20%20%20%20w%2C%20b%20%3D%20ridge_regression_1d(x%2C%20y%2C%20alpha%3Dhparams%5B%22alpha%22%5D.value)%0A%20%20%20%20y_prediction%20%3D%20w%20*%20x%20%2B%20b%0A%20%20%20%20return%20NDArray%2C%20y_prediction%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hparams)%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20x%20%3D%206%20*%20np.random.rand(hparams%5B%22N%22%5D.value)%20-%203%0A%20%20%20%20y%20%3D%202.0%20*%20x%20%2B%201.0%20%2B%20hparams%5B%22epsilon%22%5D.value%20*%20np.random.randn(hparams%5B%22N%22%5D.value)%0A%20%20%20%20return%20np%2C%20x%2C%20y%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20x%2C%20y%2C%20y_prediction)%3A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%20y%3Dy%2C%20mode%3D%22markers%22%2C%20name%3D%22Training%20data%22%2C%20marker%3Ddict(color%3D%22blue%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_prediction%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Ridge%20prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22red%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20plot%20%3D%20mo.ui.plotly(fig)%0A%20%20%20%20plot%0A%20%20%20%20return%20(go%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%22%22%22In%20this%20case%2C%20Ridge%20regression%20might%20not%20bring%20significant%20benefits%20over%20OLS%2C%20as%20the%20data%20is%20relatively%20simple%20and%20linear.%20However%2C%20it%20sets%20the%20stage%20for%20understanding%20how%20Ridge%20can%20help%20in%20more%20complex%20scenarios.%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Ridge%20Regression%20in%20Multiple%20Dimensions%0A%0A%20%20%20%20In%20higher%20dimensions%2C%20we%20want%20to%20fit%20a%20linear%20model%20of%20the%20form%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20y%20%3D%20X%20%5Cmathbf%7Bw%7D%20%2B%20b%20%2B%20%5Cvarepsilon%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20where%3A%0A%0A%20%20%20%20-%20%24X%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn%20%5Ctimes%20d%7D%24%20is%20the%20input%20matrix%20(with%20%24n%24%20samples%20and%20%24d%24%20features)%2C%0A%20%20%20%20-%20%24%5Cmathbf%7Bw%7D%20%5Cin%20%5Cmathbb%7BR%7D%5Ed%24%20is%20the%20weight%20vector%2C%0A%20%20%20%20-%20%24y%20%5Cin%20%5Cmathbb%7BR%7D%5En%24%20is%20the%20target%20vector%2C%0A%20%20%20%20-%20%24%5Cvarepsilon%24%20is%20a%20noise%20term.%0A%0A%20%20%20%20**Ordinary%20Least%20Squares%20(OLS)**%20estimates%20%24%5Cmathbf%7Bw%7D%24%20by%20minimizing%20the%20residual%20sum%20of%20squares%3A%20%24%5Cmin_%7B%5Cmathbf%7Bw%7D%7D%20%5C%7C%20y%20-%20X%20%5Cmathbf%7Bw%7D%20%5C%7C%5E2%24.%20However%2C%20if%20the%20features%20are%20**colinear**%20or%20if%20%24d%20%3E%20n%24%2C%20the%20matrix%20%24X%5ET%20X%24%20becomes%20ill-conditioned%20or%20even%20singular.%20**Ridge%20regression**%20addresses%20this%20by%20adding%20a%20regularization%20term%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Cmin_%7B%5Cmathbf%7Bw%7D%7D%20%5C%7C%20y%20-%20X%20%5Cmathbf%7Bw%7D%20%5C%7C%5E2%20%2B%20%5Calpha%20%5C%7C%20%5Cmathbf%7Bw%7D%20%5C%7C%5E2%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20The%20solution%20becomes%3A%0A%0A%20%20%20%20%5C%5B%0A%20%20%20%20%5Cmathbf%7Bw%7D_%7B%5Ctext%7Bridge%7D%7D%20%3D%20(X%5ET%20X%20%2B%20%5Calpha%20I)%5E%7B-1%7D%20X%5ET%20y%0A%20%20%20%20%5C%5D%0A%0A%20%20%20%20This%20regularization%20has%20several%20benefits%20that%20we%20will%20explore.%20When%20%24%5Calpha%20%3D%200%24%2C%20Ridge%20reduces%20to%20OLS.%20When%20%24%5Calpha%24%20is%20large%2C%20coefficients%20are%20heavily%20penalized.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Ridge%20for%20colinear%20features%0A%0A%20%20%20%20Ridge%20regression%20is%20particularly%20useful%20when%20input%20features%20are%20colinear%2C%20i.e.%2C%20linearly%20dependent.%0A%0A%20%20%20%20In%20ordinary%20least%20squares%20(OLS)%2C%20colinearity%20leads%20to%20instability%20in%20the%20solution.%20Ridge%20adds%20a%20penalty%20on%20weight%20magnitude%2C%20which%20stabilizes%20the%20solution.%0A%0A%20%20%20%20We%20simulate%20two%20features%20%24x_1%24%20and%20%24x_2%24%20that%20are%20colinear%3A%0A%0A%20%20%20%20-%20%24x_2%20%3D%20(1%20-%20%5Crho)%20x_1%20%2B%20%5Crho%20%5Ccdot%20%5Ctext%7Bnoise%7D%24%0A%20%20%20%20-%20Adjusting%20%20%24%5Crho%20%5Cin%20%5B0%2C%201%5D%24%20controls%20colinearity%0A%20%20%20%20-%20%24%5Crho%20%5Capprox%200%24%3A%20high%20colinearity%20%20%0A%20%20%20%20-%20%24%5Crho%20%5Capprox%201%24%3A%20nearly%20independent%20features%0A%0A%20%20%20%20Use%20the%20slider%20to%20adjust%20the%20colinearity%20factor%20%24%5Crho%24.%20Then%20observe%20how%20the%20learned%20coefficients%20%24w_0%2C%20w_1%24%20change%20with%20%24%5Calpha%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(NDArray%2C%20np)%3A%0A%20%20%20%20def%20ridge_regression_nd(%0A%20%20%20%20%20%20%20%20X%3A%20NDArray%5Bnp.float64%5D%2C%20y%3A%20NDArray%5Bnp.float64%5D%2C%20alpha%3A%20float%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20X_mean%20%3D%20X.mean(axis%3D0)%0A%20%20%20%20%20%20%20%20y_mean%20%3D%20y.mean(axis%3D0)%0A%20%20%20%20%20%20%20%20X_centered%20%3D%20X%20-%20X_mean%0A%20%20%20%20%20%20%20%20y_centered%20%3D%20y%20-%20y_mean%0A%0A%20%20%20%20%20%20%20%20n_features%20%3D%20X.shape%5B1%5D%0A%20%20%20%20%20%20%20%20A%20%3D%20X_centered.T%20%40%20X_centered%20%2B%20alpha%20*%20np.eye(n_features)%0A%20%20%20%20%20%20%20%20w%20%3D%20np.linalg.solve(A%2C%20X_centered.T%20%40%20y_centered)%0A%0A%20%20%20%20%20%20%20%20%23%20Recover%20intercept%0A%20%20%20%20%20%20%20%20b%20%3D%20y_mean%20-%20X_mean%20%40%20w%0A%0A%20%20%20%20%20%20%20%20return%20w%2C%20b%0A%0A%20%20%20%20return%20(ridge_regression_nd%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20slider_colinearity%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1e-6%2C%20stop%3D1.0%2C%20step%3D1e-4%2C%20show_value%3DTrue%2C%20label%3D%22Colinearity%20factor%22%0A%20%20%20%20)%0A%20%20%20%20slider_colinearity%0A%20%20%20%20return%20(slider_colinearity%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np%2C%20slider_colinearity)%3A%0A%20%20%20%20np.random.seed(0)%0A%20%20%20%20n_samples%20%3D%201000%0A%20%20%20%20x1%20%3D%20np.random.rand(n_samples)%0A%20%20%20%20x2%20%3D%20(%0A%20%20%20%20%20%20%20%201%20-%20slider_colinearity.value%0A%20%20%20%20)%20*%20x1%20%2B%20slider_colinearity.value%20*%20np.random.rand(n_samples)%0A%0A%20%20%20%20X%20%3D%20np.vstack(%5Bx1%2C%20x2%5D).T%0A%20%20%20%20true_w%20%3D%20np.array(%5B3.0%2C%203.0%5D)%0A%20%20%20%20y_2d%20%3D%20X%20%40%20true_w%20%2B%20np.random.randn(n_samples)%0A%20%20%20%20return%20X%2C%20y_2d%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(X%2C%20go%2C%20mo%2C%20np%2C%20ridge_regression_nd%2C%20y_2d)%3A%0A%20%20%20%20lambdas%20%3D%20np.logspace(-15%2C%2020%2C%20100)%0A%20%20%20%20weights%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20lam%20in%20lambdas%3A%0A%20%20%20%20%20%20%20%20w_2d%2C%20_%20%3D%20ridge_regression_nd(X%2C%20y_2d%2C%20lam)%0A%20%20%20%20%20%20%20%20weights.append(w_2d)%0A%0A%20%20%20%20weights%20%3D%20np.array(weights)%0A%0A%20%20%20%20fig2d%20%3D%20go.Figure()%0A%20%20%20%20fig2d.add_trace(go.Scatter(x%3Dnp.log10(lambdas)%2C%20y%3Dweights%5B%3A%2C%200%5D%2C%20name%3D%22w%5B0%5D%22))%0A%20%20%20%20fig2d.add_trace(go.Scatter(x%3Dnp.log10(lambdas)%2C%20y%3Dweights%5B%3A%2C%201%5D%2C%20name%3D%22w%5B1%5D%22))%0A%20%20%20%20fig2d.update_layout(%0A%20%20%20%20%20%20%20%20title%3D%22Ridge%20coefficients%20vs%20log10(alpha)%22%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22log10(alpha)%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22weights%22%2C%0A%20%20%20%20%20%20%20%20width%3D800%2C%0A%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D0.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22rgba(255%2C255%2C255%2C0.9)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordercolor%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20borderwidth%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font_size%3D18%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20plot2d%20%3D%20mo.ui.plotly(fig2d)%0A%20%20%20%20plot2d%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Visualizing%20Ridge%20Regression%20in%202D%0A%0A%20%20%20%20Now%20we%20visualize%20the%20effect%20of%20Ridge%20regression%20in%20a%202D%20space.%20We%20will%20fit%20a%20surface%20to%20the%20data%20points%20and%20see%20how%20the%20regularization%20parameter%20%24%5Calpha%24%20affects%20the%20model.%20Use%20the%20slider%20to%20adjust%20%24%5Calpha%24%20and%20observe%20how%20the%20fitted%20surface%20changes.%0A%0A%20%20%20%20You%20can%20also%20change%20the%20colinearity%20factor%20to%20see%20how%20it%20affects%20the%20stability%20of%20the%20solution.%20The%20predicted%20surface%20is%20compared%20against%20the%20true%20response%20surface.%20Is%20it%20close%20to%20the%20true%20response%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20slider_alpha_2d%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1e-15%2C%20stop%3D10.0%2C%20step%3D1e-6%2C%20show_value%3DTrue%2C%20label%3D%22Ridge%20regularization%22%0A%20%20%20%20)%0A%20%20%20%20slider_alpha_2d%0A%20%20%20%20return%20(slider_alpha_2d%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(X%2C%20go%2C%20mo%2C%20np%2C%20ridge_regression_nd%2C%20slider_alpha_2d%2C%20y_2d)%3A%0A%20%20%20%20xx1%2C%20xx2%20%3D%20np.meshgrid(np.linspace(0%2C%201%2C%2050)%2C%20np.linspace(0%2C%201%2C%2050))%0A%20%20%20%20X_grid%20%3D%20np.vstack(%5Bxx1.ravel()%2C%20xx2.ravel()%5D).T%0A%0A%20%20%20%20w_ridge%2C%20b_ridge%20%3D%20ridge_regression_nd(X%2C%20y_2d%2C%20slider_alpha_2d.value)%0A%20%20%20%20y_pred_grid%20%3D%20(X_grid%20%40%20w_ridge%20%2B%20b_ridge).reshape(xx1.shape)%0A%20%20%20%20y_true_grid%20%3D%203.0%20*%20xx1%20%2B%203.0%20*%20xx2%0A%0A%20%20%20%20fig_surf%20%3D%20go.Figure()%0A%20%20%20%20fig_surf.add_trace(%0A%20%20%20%20%20%20%20%20go.Surface(%0A%20%20%20%20%20%20%20%20%20%20%20%20z%3Dy_pred_grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dxx1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dxx2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D%22Blues%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20fig_surf.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3DX%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3DX%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20z%3Dy_2d%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D4%2C%20color%3D%22black%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Training%20points%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20fig_surf.add_trace(%0A%20%20%20%20%20%20%20%20go.Surface(%0A%20%20%20%20%20%20%20%20%20%20%20%20z%3Dy_true_grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dxx1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dxx2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D%22Reds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22True%20response%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20fig_surf.update_layout(%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22x1%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22x2%22%2C%0A%20%20%20%20%20%20%20%20width%3D800%2C%0A%20%20%20%20%20%20%20%20height%3D600%2C%0A%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22x1%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22x2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zaxis_title%3D%22z%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20camera%3Ddict(eye%3Ddict(x%3D0%2C%20y%3D-1.5%2C%20z%3D0.8))%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.01%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D0.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22rgba(255%2C255%2C255%2C0.9)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordercolor%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20borderwidth%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font_size%3D18%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20plot_surf%20%3D%20mo.ui.plotly(fig_surf)%0A%20%20%20%20plot_surf%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20More%20features%20than%20samples%0A%0A%20%20%20%20Ridge%20regression%20is%20also%20effective%20when%20the%20number%20of%20features%20%24d%24%20exceeds%20the%20number%20of%20samples%20%24n%24.%20This%20is%20called%20the%20high-dimensional%20regime.%0A%0A%20%20%20%20In%20this%20case%20OLS%20fails%20because%20%24X%5ET%20X%24%20is%20not%20invertible.%20Ridge%20adds%20%24%5Calpha%20I%24%2C%20making%20the%20matrix%20invertible%20and%20the%20solution%20well-defined.%0A%0A%20%20%20%20Use%20the%20sliders%20to%20increase%20the%20number%20of%20input%20features%20and%20tune%20%24%5Calpha%24.%20When%20do%20you%20start%20to%20see%20the%20benefits%20of%20Ridge%20regression%3F%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hparams_nd%2C%20np)%3A%0A%20%20%20%20np.random.seed(0)%0A%20%20%20%20n_samples_nd%20%3D%2020%0A%20%20%20%20n_features%20%3D%20int(hparams_nd%5B%22num_features%22%5D.value)%20%20%23%20More%20features%20than%20samples%0A%0A%20%20%20%20X_nd%20%3D%20np.random.randn(n_samples_nd%2C%20n_features)%0A%20%20%20%20true_w_nd%20%3D%20np.random.randn(n_features)%0A%20%20%20%20y_nd%20%3D%20X_nd%20%40%20true_w_nd%20%2B%20np.random.randn(n_samples_nd)%20*%200.1%0A%20%20%20%20return%20X_nd%2C%20y_nd%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20slider_num_features%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%20stop%3D100%2C%20step%3D1.0%2C%20show_value%3DTrue%2C%20label%3D%22Num.%20features%22%0A%20%20%20%20)%0A%20%20%20%20slider_alpha_nd%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D2.0%2C%20step%3D1e-4%2C%20show_value%3DTrue%2C%20label%3D%22Ridge%20regularization%22%0A%20%20%20%20)%0A%0A%20%20%20%20hparams_nd%20%3D%20mo.ui.dictionary(%0A%20%20%20%20%20%20%20%20%7B%22num_features%22%3A%20slider_num_features%2C%20%22alpha%22%3A%20slider_alpha_nd%7D%0A%20%20%20%20)%0A%20%20%20%20hparams_nd.vstack()%0A%20%20%20%20return%20(hparams_nd%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(X_nd%2C%20hparams_nd%2C%20ridge_regression_nd%2C%20y_nd)%3A%0A%20%20%20%20w_ridge_nd%2C%20b_ridge_nd%20%3D%20ridge_regression_nd(X_nd%2C%20y_nd%2C%20hparams_nd%5B%22alpha%22%5D.value)%0A%20%20%20%20w_ols_nd%2C%20b_ols_nd%20%3D%20ridge_regression_nd(X_nd%2C%20y_nd%2C%200.0)%0A%20%20%20%20return%20w_ols_nd%2C%20w_ridge_nd%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(go%2C%20hparams_nd%2C%20np%2C%20w_ols_nd%2C%20w_ridge_nd)%3A%0A%20%20%20%20features%20%3D%20np.arange(hparams_nd%5B%22num_features%22%5D.value)%0A%0A%20%20%20%20fig_nd%20%3D%20go.Figure()%0A%20%20%20%20fig_nd.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter(x%3Dfeatures%2C%20y%3Dw_ols_nd%2C%20name%3D%22OLS%22%2C%20marker_color%3D%22red%22%2C%20opacity%3D0.7)%0A%20%20%20%20)%0A%0A%20%20%20%20fig_nd.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dfeatures%2C%20y%3Dw_ridge_nd%2C%20name%3D%22Ridge%22%2C%20marker_color%3D%22blue%22%2C%20opacity%3D0.7%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20fig_nd.update_layout(%0A%20%20%20%20%20%20%20%20title%3D%22OLS%20vs%20Ridge%20coefficients%22%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22Feature%20index%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22Coefficient%20value%22%2C%0A%20%20%20%20%20%20%20%20barmode%3D%22group%22%2C%20%20%23%20group%20bars%20side%20by%20side%0A%20%20%20%20%20%20%20%20width%3D1000%2C%0A%20%20%20%20%20%20%20%20height%3D500%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(x%3D10%2C%20y%3D0.99)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Preventing%20Overfitting%20with%20Ridge%0A%0A%20%20%20%20Overfitting%20occurs%20when%20a%20model%20is%20too%20flexible%20relative%20to%20the%20amount%20of%20data.%20To%20illustrate%20this%2C%20we%20will%20fit%20a%20polynomial%20regression%20model%20to%20a%201D%20dataset.%20High-degree%20polynomials%20can%20perfectly%20fit%20noisy%20data%2C%20leading%20to%20poor%20generalization.%0A%0A%20%20%20%20We%20compare%20OLS%20polynomial%20regression%20(%24%5Calpha%20%3D%200%24)%20and%20polynomial%20Ridge%20regression%20with%20(%24%5Calpha%20%3E%200%24).%0A%0A%20%20%20%20Use%20the%20sliders%20to%20change%20the%20polynomial%20degree%20and%20adjust%20%24%5Calpha%24.%20Observe%20when%20does%20OLS%20start%20overfitting%20and%20how%20does%20Ridge%20help%20control%20model%20complexity%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np)%3A%0A%20%20%20%20np.random.seed(42)%0A%0A%20%20%20%20n_samples_x_poly%20%3D%2040%0A%20%20%20%20x_poly%20%3D%20np.sort(np.random.rand(n_samples_x_poly))%0A%20%20%20%20y_poly%20%3D%20np.cos(2.0%20*%20np.pi%20*%20x_poly)%20%2B%200.5%20*%20np.random.randn(n_samples_x_poly)%0A%0A%20%20%20%20def%20design_matrix(x%2C%20degree)%3A%0A%20%20%20%20%20%20%20%20return%20np.vstack(%5Bx**d%20for%20d%20in%20range(degree%20%2B%201)%5D).T%0A%0A%20%20%20%20return%20design_matrix%2C%20x_poly%2C%20y_poly%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(design_matrix%2C%20hparams_poly%2C%20np%2C%20x_poly%2C%20y_poly)%3A%0A%20%20%20%20X_poly%20%3D%20design_matrix(x_poly%2C%20hparams_poly%5B%22degree%22%5D.value)%0A%20%20%20%20w_ols_poly%20%3D%20np.linalg.solve(X_poly.T%20%40%20X_poly%2C%20X_poly.T%20%40%20y_poly)%0A%0A%20%20%20%20I%20%3D%20np.eye(X_poly.shape%5B1%5D)%0A%20%20%20%20w_ridge_poly%20%3D%20np.linalg.solve(%0A%20%20%20%20%20%20%20%20X_poly.T%20%40%20X_poly%20%2B%20hparams_poly%5B%22alpha%22%5D.value%20*%20I%2C%20X_poly.T%20%40%20y_poly%0A%20%20%20%20)%0A%20%20%20%20return%20w_ols_poly%2C%20w_ridge_poly%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20slider_degree%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%0A%20%20%20%20%20%20%20%20stop%3D30%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Polynomial%20degree%22%2C%0A%20%20%20%20)%0A%20%20%20%20slider_alpha_poly%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1e-15%2C%0A%20%20%20%20%20%20%20%20stop%3D1.0%2C%0A%20%20%20%20%20%20%20%20step%3D1e-4%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Ridge%20regularization%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20hparams_poly%20%3D%20mo.ui.dictionary(%0A%20%20%20%20%20%20%20%20%7B%22degree%22%3A%20slider_degree%2C%20%22alpha%22%3A%20slider_alpha_poly%7D%0A%20%20%20%20)%0A%20%20%20%20hparams_poly.vstack()%0A%20%20%20%20return%20(hparams_poly%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20design_matrix%2C%0A%20%20%20%20go%2C%0A%20%20%20%20hparams_poly%2C%0A%20%20%20%20np%2C%0A%20%20%20%20w_ols_poly%2C%0A%20%20%20%20w_ridge_poly%2C%0A%20%20%20%20x_poly%2C%0A%20%20%20%20y_poly%2C%0A)%3A%0A%20%20%20%20x_plot%20%3D%20np.linspace(0.1%2C%200.9%2C%20300)%0A%20%20%20%20X_plot%20%3D%20design_matrix(x_plot%2C%20hparams_poly%5B%22degree%22%5D.value)%0A%20%20%20%20y_pred_ols%20%3D%20X_plot%20%40%20w_ols_poly%0A%20%20%20%20y_pred_ridge%20%3D%20X_plot%20%40%20w_ridge_poly%0A%0A%20%20%20%20fig_poly%20%3D%20go.Figure()%0A%20%20%20%20fig_poly.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_poly%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_poly%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Training%20data%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D%22black%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20fig_poly.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_plot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_pred_ols%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22OLS%20(overfit)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22red%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20fig_poly.add_trace(%0A%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_plot%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_pred_ridge%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3D%22Ridge%20(regularized)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22blue%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20fig_poly.update_layout(%0A%20%20%20%20%20%20%20%20title%3Df%22Polynomial%20degree%20%7Bhparams_poly%5B'degree'%5D.value%7D%22%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22x%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22y%22%2C%0A%20%20%20%20%20%20%20%20width%3D800%2C%0A%20%20%20%20%20%20%20%20height%3D500%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(x%3D10%2C%20y%3D0.99)%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A