由隐藏层节点数引起的网络准确率的不规则变化02
做一个分类mnist 0，2的二分类三层网络，隐藏层节点数由3-1000共实验了59组值。固定收敛标准δ=1e-6,每组值迭代1999次，统计平均分类准确率pave和迭代次数的分布。
统计得到的表格
|
隐藏层节点数 |
迭代次数的均值 |
平均分类准确率 |
δ |
耗时ms/次 |
峰值占比% |
不同峰值数量 |
1/n^2 |
|
3 |
178616.4877 |
0.986592451 |
1.00E-06 |
796.08804 |
6.8 |
683 |
0.111111 |
|
5 |
117136.8594 |
0.98855914 |
1.00E-06 |
621.7969 |
2.8 |
674 |
0.04 |
|
10 |
80329.23862 |
0.988490518 |
1.00E-06 |
583.22361 |
18.4 |
162 |
0.01 |
|
20 |
56105.15958 |
0.987261772 |
1.00E-06 |
732.94347 |
46.5 |
40 |
0.0025 |
|
30 |
34663.66183 |
0.985049185 |
1.00E-06 |
606.98649 |
36.7 |
23 |
0.001111 |
|
40 |
18375.36068 |
0.983432571 |
1.00E-06 |
453.7964 |
37.9 |
13 |
0.000625 |
|
50 |
12000.17909 |
0.982436049 |
1.00E-06 |
382.18659 |
34.1 |
13 |
0.0004 |
|
60 |
8716.448224 |
0.982761759 |
1.00E-06 |
335.53677 |
62.5 |
8 |
0.000278 |
|
70 |
7765.041521 |
0.981953203 |
1.00E-06 |
357.97199 |
82.3 |
6 |
0.000204 |
|
80 |
7575.328664 |
0.981890548 |
1.00E-06 |
389.42671 |
80.5 |
7 |
0.000156 |
|
90 |
6987.775888 |
0.982819939 |
1.00E-06 |
417.70035 |
47 |
7 |
0.000123 |
|
100 |
5530.548274 |
0.98257404 |
1.00E-06 |
423.09355 |
55.3 |
9 |
0.0001 |
|
110 |
4701.468734 |
0.981943755 |
1.00E-06 |
384.8024 |
54.5 |
9 |
8.26E-05 |
|
120 |
4529.92096 |
0.981862701 |
1.00E-06 |
392.42271 |
91.8 |
5 |
6.94E-05 |
|
130 |
4516.147074 |
0.981792089 |
1.00E-06 |
511.30415 |
99.8 |
2 |
5.92E-05 |
|
150 |
4476.825413 |
0.9805621 |
1.00E-06 |
574.1906 |
95.3 |
4 |
4.44E-05 |
|
170 |
3694.712356 |
0.954447154 |
1.00E-06 |
565.87844 |
97.3 |
3 |
3.46E-05 |
|
190 |
3592.71936 |
0.95640887 |
1.00E-06 |
603.2051 |
78.9 |
4 |
2.77E-05 |
|
210 |
3288.171586 |
0.976363927 |
1.00E-06 |
629.10155 |
98.7 |
4 |
2.27E-05 |
|
230 |
3272.45923 |
0.975947964 |
1.00E-06 |
631.7939 |
90.6 |
4 |
1.89E-05 |
|
250 |
3138.144072 |
0.978781637 |
1.00E-06 |
712.0065 |
56.8 |
5 |
0.000016 |
|
270 |
2888.591296 |
0.973652084 |
1.00E-06 |
773.10255 |
51.4 |
6 |
1.37E-05 |
|
290 |
2357.346673 |
0.935567436 |
1.00E-06 |
696.62481 |
97.7 |
4 |
1.19E-05 |
|
310 |
1856.995498 |
0.929918737 |
1.00E-06 |
612.47474 |
62.5 |
2 |
1.04E-05 |
|
330 |
1556.47924 |
0.92568501 |
1.00E-06 |
606.68534 |
99.4 |
2 |
9.18E-06 |
|
350 |
1552 |
0.921664858 |
1.00E-06 |
664.22911 |
100 |
1 |
8.16E-06 |
|
370 |
1552 |
0.918690707 |
1.00E-06 |
772.15358 |
100 |
1 |
7.3E-06 |
|
390 |
1552 |
0.916166582 |
1.00E-06 |
720.62431 |
100 |
1 |
6.57E-06 |
|
410 |
1552 |
0.914367472 |
1.00E-06 |
843.29965 |
100 |
1 |
5.95E-06 |
|
430 |
1551.701351 |
0.912146928 |
1.00E-06 |
793.67234 |
99.8 |
2 |
5.41E-06 |
|
450 |
1522.433717 |
0.880051358 |
1.00E-06 |
859.56378 |
85.1 |
2 |
4.94E-06 |
|
470 |
1402.874437 |
0.754977141 |
1.00E-06 |
764.50125 |
74.9 |
2 |
4.53E-06 |
|
490 |
1347.812906 |
0.722088927 |
1.00E-06 |
886.8004 |
89.8 |
5 |
4.16E-06 |
|
510 |
1146.158579 |
0.857728317 |
1.00E-06 |
892.62881 |
50.6 |
5 |
3.84E-06 |
|
530 |
977.2226113 |
0.826342346 |
1.00E-06 |
643.85993 |
97.8 |
3 |
3.56E-06 |
|
550 |
970 |
0.82386397 |
1.00E-06 |
680.67684 |
100 |
1 |
3.31E-06 |
|
570 |
970 |
0.822728213 |
1.00E-06 |
702.85343 |
100 |
1 |
3.08E-06 |
|
590 |
970 |
0.822263766 |
1.00E-06 |
722.5923 |
100 |
1 |
2.87E-06 |
|
610 |
970 |
0.822133731 |
1.00E-06 |
736.7959 |
100 |
1 |
2.69E-06 |
|
630 |
970 |
0.822198624 |
1.00E-06 |
735.29915 |
100 |
1 |
2.52E-06 |
|
650 |
970 |
0.822440544 |
1.00E-06 |
798.82191 |
100 |
1 |
2.37E-06 |
|
670 |
970 |
0.82361832 |
1.00E-06 |
850.35468 |
100 |
1 |
2.23E-06 |
|
690 |
970 |
0.824684708 |
1.00E-06 |
854.21961 |
100 |
1 |
2.1E-06 |
|
710 |
969.873937 |
0.826557165 |
1.00E-06 |
894.21061 |
99.8 |
2 |
1.98E-06 |
|
730 |
968.3561781 |
0.830087758 |
1.00E-06 |
912.29165 |
98.1 |
3 |
1.88E-06 |
|
750 |
946.4872436 |
0.851308358 |
1.00E-06 |
929.28664 |
82.9 |
4 |
1.78E-06 |
|
770 |
809.911956 |
0.929636538 |
1.00E-06 |
851.93297 |
51.7 |
7 |
1.69E-06 |
|
790 |
716.0025013 |
0.963690593 |
1.00E-06 |
853.78639 |
88.2 |
7 |
1.6E-06 |
|
810 |
690.8169085 |
0.965884533 |
1.00E-06 |
890.66033 |
82.7 |
5 |
1.52E-06 |
|
830 |
679.128064 |
0.95942877 |
1.00E-06 |
874.05003 |
75.3 |
5 |
1.45E-06 |
|
850 |
615.8854427 |
0.869436458 |
1.00E-06 |
898.92997 |
64.6 |
7 |
1.38E-06 |
|
870 |
525.803902 |
0.763393128 |
1.00E-06 |
798.73787 |
36.9 |
6 |
1.32E-06 |
|
890 |
331.6188094 |
0.556186393 |
1.00E-06 |
789.82491 |
80.1 |
8 |
1.26E-06 |
|
910 |
267.3936968 |
0.490041243 |
1.00E-06 |
709.89045 |
99 |
6 |
1.21E-06 |
|
930 |
264.8129065 |
0.494703117 |
1.00E-06 |
766.3942 |
98.3 |
2 |
1.16E-06 |
|
950 |
264.1690845 |
0.520551031 |
1.00E-06 |
743.35218 |
92.4 |
2 |
1.11E-06 |
|
970 |
263.4097049 |
0.550442219 |
1.00E-06 |
760.8024 |
85.5 |
2 |
1.06E-06 |
|
990 |
261.1205603 |
0.639628711 |
1.00E-06 |
820.14357 |
64.7 |
2 |
1.02E-06 |
|
1000 |
257.9674837 |
0.762096754 |
1.00E-06 |
814.48074 |
63.9 |
2 |
0.000001 |
Pave
这次实验n=5时pave取得最大pave=0.988559140405195，观察图片pave随n的增加至少有比较明显的两个谷和一个峰，表现了非常不规则的变化，也就是在固定δ的情况下说n越大网络性能越强或者说n越小网络分辨性能越强都是不准确的。
峰值占比
这条曲线一个比较有价值的分割点是n=60，当n>60以后最大峰值占比就几乎都是大于40%，
而峰值占比小于20%的只有3组数据分别是n=3，5，10而这三组数据的平均分辨准确率也是所有59组数据中排名位于3，1，2的前三组数据。这个现象也证实了峰值占比和分辨准确率之间的强烈的正相关关系。
不同峰值数量
这组数据变化幅度非常大暗示和1/n^2之一强烈的关系。不同峰值数量大于100的只有3，5，10这3组数据。
这个现象提供了无需测试集找到网络最优结构的迭代思路：
在固定收敛标准下，在相同的迭代次数内，如果A网络的不同峰值数量>B网络的不同峰值数量，则A网络性能优于B网络。