数据挖掘——逻辑回归
逻辑回归
研究人员对使用雌激素与子宫内膜癌发病间的关系进行了1:1配对的病例对照研究。病例与对照按年龄相近、婚姻状况相同、生活的社区相同进行了配对。收集了年龄、雌激素药使用、胆囊病史、高血压和非雌激素药使用的数据。变量定义及具体数据如下：
match：配比组
case：case=1病例；case=0对照（未发病）
est：est=1使用过雌激素；est=0未使用雌激素；
gall：gall=1有胆囊病史；gall=0无胆囊病史；
hyper：hyper=1有高血压；hyper=0无高血压；
nonest：nonest=1使用过非雌激素；nonest=0未使用过非雌激素；
Match |
Case |
Est |
Gall |
Hyper |
Nonest |
1 |
1 |
1 |
1 |
0 |
1 |
1 |
0 |
0 |
1 |
0 |
0 |
2 |
1 |
1 |
0 |
1 |
1 |
2 |
0 |
0 |
0 |
0 |
1 |
3 |
1 |
1 |
1 |
0 |
1 |
3 |
0 |
1 |
0 |
1 |
1 |
4 |
1 |
1 |
0 |
0 |
0 |
4 |
0 |
1 |
0 |
1 |
1 |
5 |
1 |
1 |
0 |
1 |
1 |
5 |
0 |
0 |
0 |
0 |
0 |
6 |
1 |
1 |
1 |
0 |
1 |
6 |
0 |
0 |
0 |
0 |
0 |
7 |
1 |
1 |
0 |
0 |
1 |
7 |
0 |
0 |
0 |
0 |
0 |
8 |
1 |
1 |
1 |
1 |
1 |
8 |
0 |
0 |
0 |
1 |
1 |
9 |
1 |
1 |
0 |
0 |
1 |
9 |
0 |
1 |
0 |
0 |
1 |
10 |
1 |
0 |
0 |
0 |
1 |
10 |
0 |
0 |
0 |
0 |
1 |
11 |
1 |
1 |
0 |
1 |
1 |
11 |
0 |
1 |
0 |
1 |
1 |
12 |
1 |
0 |
0 |
0 |
1 |
12 |
0 |
0 |
0 |
1 |
1 |
13 |
1 |
1 |
0 |
1 |
1 |
13 |
0 |
0 |
0 |
0 |
0 |
14 |
1 |
1 |
0 |
0 |
1 |
14 |
0 |
0 |
0 |
0 |
0 |
15 |
1 |
1 |
0 |
1 |
1 |
15 |
0 |
1 |
0 |
0 |
1 |
16 |
1 |
1 |
0 |
0 |
1 |
16 |
0 |
1 |
0 |
1 |
1 |
17 |
1 |
1 |
0 |
0 |
1 |
17 |
0 |
0 |
0 |
0 |
0 |
18 |
1 |
0 |
1 |
0 |
1 |
18 |
0 |
0 |
0 |
1 |
0 |
19 |
1 |
1 |
1 |
0 |
1 |
19 |
0 |
1 |
1 |
0 |
0 |
20 |
1 |
1 |
0 |
0 |
0 |
20 |
0 |
1 |
0 |
1 |
1 |
（1） 调用逻辑回归函数或实现求解L2逻辑回归分析的梯度下降算法，求出最优的逻辑回归模型；
（2） 尝试找出对影响子宫内膜癌发病的最直接的因素；
（3） 编程实现求解L2正则化逻辑回归分析的梯度下降算法，并求出正则化平衡系数为1时的最优正则化逻辑回归模型（加分题）。
答：
(1)
假设函数 (x) =
代价函数 J() = -
[
log
+(1-
)log(1-
)],
通过梯度下降的方法最小化 J(), 即
=
-
,
最终求得 = [-2.6653, 2.2190, 1.0641, -1.7730, 2.2363]。
(2)
影响子宫内膜癌发病的最直接的因素为是否使用过非雌激素即Nonest.
(3)
求出来的回归模型为,
其中求得的为[-0.1246, 0.1045, 0.0471, -0.0259, 0.0813]。
部分代码如图：其中，这里迭代次数选取20000，学习率取0.01.