statsmodels库中sm.OLS和smf.ols的区别

sm.OLS(y, X) 与 smf.ols(formula, data) 的详细比较

这两个都是statsmodels库中用于线性回归的函数，但在使用方式、功能和灵活性上有显著区别。以下是它们的核心差异：

一、基本区别概述

二、详细对比

1. 数据准备方式

sm.OLS(y, X) (数组接口):

# 手动创建哑变量

sex_dummy = pd.get_dummies(df['性别'], prefix='性别', drop_first=True)

breed_dummy = pd.get_dummies(df['品种名称'], prefix='品种', drop_first=True)

  

# 手动合并特征

X = pd.concat([df['月龄'], sex_dummy, breed_dummy], axis=1)

X = sm.add_constant(X)  # 手动添加截距

  

# 显式提供y

y = df['肉色']

  

# 创建模型

model = sm.OLS(y, X)

smf.ols(formula, data) (公式接口):

 

# 直接使用公式

formula = '肉色 ~ 月龄 + C(性别) + C(品种名称)'

  

# 直接传入整个数据框

model = smf.ols(formula, data=df)

  

2. 分类变量处理

sm.OLS 方式:

• 需手动创建哑变量

• 需处理虚拟变量陷阱（drop_first）

• 需确保所有分类变量已转换

• 代码冗长且易出错

smf.ols 方式:

• 自动识别分类变量（使用C()包装）

• 自动处理参考类别

• 自动避免虚拟变量陷阱

• 代码简洁直观

3. 模型复杂度支持

交互作用示例:

# sm.OLS方式 - 需手动创建交互项

df['月龄_性别交互'] = df['月龄'] * (df['性别'] == '公').astype(int)

X = ... # 包含交互项

  

# smf.ols方式 - 直接使用公式语法

formula = '肉色 ~ 月龄 * C(性别) + C(品种名称)'

# 等价于: 肉色 ~ 月龄 + C(性别) + 月龄:C(性别) + C(品种名称)

  

多项式回归示例:

# sm.OLS方式

df['月龄平方'] = df['月龄']**2

X = ... # 包含月龄平方

  

# smf.ols方式

formula = '肉色 ~ 月龄 + np.power(月龄, 2) + C(性别)'

  

4. 特殊字符处理

列名含空格或特殊字符:

  

# sm.OLS方式 - 无此问题

X = df[['weird column!']]

  

# smf.ols方式 - 需使用Q函数

formula = 'Q("weird column!") ~ Q("another column")'

  

5. 输出和诊断

两种方式在模型拟合后的结果对象相同：

  

result = model.fit()

print(result.summary())

  

结果对象包含相同的属性和方法：

• params: 系数估计

• rsquared: R²值

• resid: 残差

• predict(): 预测方法

三、在表型矫正中的推荐方案

推荐使用公式接口 smf.ols**:**

def correct_phenotype(df, phenotype_col):

    try:

        # 创建临时副本

        temp_df = df[['月龄', '性别', '品种名称', phenotype_col]].copy().dropna()

        if len(temp_df) < 5:

            return df[phenotype_col], None

        # 使用公式接口

        formula = f"Q('{phenotype_col}') ~ Q('月龄') + C(Q('性别')) + C(Q('品种名称'))"

        model = smf.ols(formula, data=temp_df)

        result = model.fit()

        # 提取残差

        residuals = result.resid

        # 创建结果列

        corrected_full = pd.Series(np.nan, index=df.index)

        corrected_full.loc[temp_df.index] = residuals

        return corrected_full, {

            'trait': phenotype_col,

            'n_samples': len(temp_df),

            'r_squared': result.rsquared

        }

    except Exception as e:

        print(f"Error correcting {phenotype_col}: {str(e)}")

        return df[phenotype_col], None

  

公式接口的优势：

1. 自动处理分类变量：无需手动创建哑变量

2. 代码更简洁：减少数据处理代码量

3. 更易维护：模型公式一目了然

4. 内置缺失值处理：自动排除含缺失值的样本

5. 支持复杂公式：轻松添加交互项、多项式项

四、何时使用数组接口

在以下情况考虑使用sm.OLS:

1. 需要完全控制设计矩阵

2. 处理非常规数据结构（如稀疏矩阵）

3. 实现自定义转换

4. 与NumPy/SciPy生态深度集成

5. 性能关键型应用（避免公式解析开销）

五、性能对比

在实际表型矫正中，公式接口的轻微性能损失完全可以接受，因其显著提高开发效率和代码可读性。

六、结论

对于您的表型矫正任务，强烈推荐使用smf.ols公式接口：

formula = '肉色 ~ 月龄 + C(性别) + C(品种名称)'

model = smf.ols(formula, data=df)

这种语法：

• 自动正确处理分类变量

• 减少代码量和潜在错误

• 模型公式清晰易读

• 结果与数组接口完全一致

这将使您的表型矫正代码更简洁、更健壮，同时确保品种效应被正确去除，为GWAS分析提供高质量的表型数据。