非参数与半参数统计推断

2004-10年，我每年春季给密西根州立大学统计与概率系的博士生讲非参数与半参数统计推断（除了2005年，在新加坡国立大学休学术年假，也给新国大统计与应用概率系的研究生讲这门课），后来2011-16年每年春季给苏州大学统计系的硕士生讲过同样内容的课。我一直用下面这个例子说明非参数方法的必要性。

下图展示的数据来自一个骑摩托车的假人仿真撞击试验。横轴是以微秒为单位的时间 X，纵轴是假人头颅的加速度 Y，每个“+”代表一个观测值。需要回答的问题是，Y是如何随着X变化的？

学过统计的本科生都会线性回归，和更一般的多项式回归。上图中的红线，就是一个8阶多项式回归。从图上很显然，这个回归结果对数据拟合的效果是很差的，主要是前14微秒那一段儿。

图中的蓝色粗线是非参数回归，拟合效果非常好。两条蓝色虚线构成的二维区域，是置信水平为95%的非参数的同时置信带。注意到红线不能完全落在同时置信带当中，于是可以在显著水平为0.05前提下，拒绝8阶多项式回归模型。这个例子很好地揭示了，现实物理世界中的很多关系是非线性的，不能用b0+b1*X这样简单的线性公式来描述，甚至不能用8阶公式b0+b1*X+...+b8*X^8描述。换句话说，用9个参数 b0, b1,...,b8 甚至更多个参数，都无法精确刻画Y对X的复杂依赖关系，这样的复杂关系，就是“非参数的”（nonparametric）。与之相对，凡是可以用有限个参数，以多项式或者其它固定形式写出来的简单依赖关系，都是“参数的”（parametric）。

上图中的蓝色实线非参数回归就是著名的Nadaraya-Watson估计量，是基于美国约翰斯霍普金斯大学教授Geoffrey S. Watson于1964年发表在印度统计学报Sankhya A上的论文[2]，和前苏联数学家Elizbar Nadaraya于1964年发表在前苏联期刊 Theory of Probability and its Applications上的论文[1]。他们分别独立地提出了用局部平均估算每一个x值对应的回归函数值m(x)的算法。蓝色虚线同时置信带的构造则是依据德国统计学家Wolfgang K. Härdle教授于1989年发表在 Journal of Multivariate Analysis的一篇重要论文[3]提出的方法。说起来有些讽刺意味，Sankhya A现在连SCI期刊都不是，而Journal of Multivariate Analysis也不过是现在的SCI三区期刊。

Nadaraya-Watson的局部平均估计量在1992年之后，逐渐被当时的北卡罗来纳大学助理教授范剑青力推的局部多项式估计量取代。局部多项式就是用每一个x值附近的数据做以x为中心点的多项式回归，估算回归函数值m(x)的算法。范剑青教授创造性地论证了局部多项式比局部平均有更好的理论性质[6.7]，带动了非参数和半参数统计理论在很长一段时间的兴旺发展。这段时间，统计学家们孜孜不倦地研究现实世界中的非线性和其它复杂关系，涉及统计学所有的应用领域，如计量经济学，金融学，生物统计学，工业计量学，等等。

非参数回归有个致命弱点，称为“维数的祸根”（curse of dimensionality），指的是当自变量X为多元变量时，回归函数m(x)的估计准确度随着X的维数增长而变的很差。为解决这个问题，半参数模型（semiparametric model）被作为完全非参数模型与完全参数模型之间的一个妥协。这包括“部分线性模型”（partially linear model）a+bZ+m(X)[4]，“可加模型”（additive model）a+m1(X1)+...+md(Xd)[5]，等等。

1. Nadaraja, Èlizbar A. (1964) On a regression estimate. (Russian) Teor. Verojatnost. i Primenen. 9, 157–159

2. Watson, Geoffrey S. (1964) Smooth regression analysis. Sankhyā Ser. A. 26, 359–372

3. Härdle, Wolfgang (1989) Asymptotic maximal deviation of M-smoothers. J. Multivariate Anal. 29, 163–179

4. Härdle, Wolfgang, Liang, Hua and Gao, Jiti (2000) Partilly linear models. Physica-Verlag, Heidelberg.

5. Hastie, T. J. and Tibshirani, R. J. (1990) Generalized additive models. Chapman and Hall, Ltd., London.

6. Fan, Jianqing (1992) Design-adaptive nonparametric regression. J. Amer. Statist. Assoc. 87, 998–1004

7. Fan, Jianqing (1993) Local linear regression smoothers and their minimax efficiencies. Ann. Statist. 21, 196–216