9  Логистикалық регрессия

Стандартты регрессияны еске түсірейік

• Сызықтық регрессия түсіндірме айнымалылардың белгілі мәндеріне негізделген жауап айнымалысының мәндерін болжауға мүмкіндік береді.

\[ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_p X_p + Шум \]

-Жауап айнымалысы тәуелді айнымалы деп те аталады.

• Түсіндірме айнымалылары предикторлар немесе регрессорлар деп те аталады.

• Ал олардың қосындысы коэффициенттермен бірге сызықтық предиктор деп аталады.

\[ \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_p X_p = \textrm{Сызықтық болжаушы} \]

• Әдеттегі сызықтық регрессия келесідей көрінеді

Warning: Removed 4 rows containing non-finite outside the scale range
(`stat_smooth()`).

Warning: Removed 4 rows containing missing values or values outside the scale range
(`geom_point()`).

• Біздің жауап айнымалымыз үздіксіз екенін ескеріңіз. Ол көптеген мүмкін мәндерді қабылдай алады.

• Бірақ айнымалы екілік болса ше? Яғни, мүмкін мәндер тек 0 және 1 болса ше?

• Графикке назар аударайық

Warning: Removed 11 rows containing missing values or values outside the scale range
(`geom_point()`).

• Мәселе неде?

• Сызықтық регрессия мүмкін мәндер диапазонынан тыс.

• Мысалы, 10 үшін болжамды мән теріс болады.

• Идеал жағдайда, мәндерді болжау үшін қолданатын функция а) нөлмен және бірге шектелген және ә) нөлмен және бірге тегіс өзгеруі керек.

• Функцияның ықтималдық туралы айтып беруін қалаймыз

• Мысалы, ол келесідей көрінуі мүмкін

• Бұл тегіс, әсем сигмоидты доғал, түзу сызықпен салыстырыңыз

Мысалдан бастайық

• Біз 2017 жылы Қазақстанда өткен ғылыми грант байқауының деректерімен жұмыс істейтін боламыз
• 4,448 өтінімдер берілді, оның ішінде 1096 (шамамен 25%) жалпы сомасы 9,5 миллиард теңгеден (шамамен 27 миллион доллар) астам қаржыландыру алды.
• Бұл көп ақша емес. Қазақстан ғылым мен білім беруге ЖІӨ-нің тек 3,5%-ын ғана жұмсайды. ЭЫДҰ орташа көрсеткіші шамамен 7% құрайды (Дүниежүзілік банк).

win	score	domain	project_name	win_2014	rints	scopus	hirsh	fake	sex	member	region	degree
1	35.67	science	Негармоничский анализ и его применение	1	0	1	9	0	1	no	алматы	3
0	35.00	science	Субэллиптические функциональные неравенства и приложения	0	0	1	13	0	1	no	алматы	3
0	34.33	science	Механизмы распада звездных кластеров в галактике Млечный Путь и в Большом Магеллановом Облаке	1	0	1	3	0	1	no	алматы	1

Логистикалық регрессия

• Сызықтық регрессиямен жұмыс істеген кезде жауап айнымалысы жай ғана сан болды.

\[\begin{align*} Y = \beta_0 + \beta_1X_1 + \dots + \beta_nX_n + \epsilon \\ \epsilon \sim N(0, \sigma^2), Y \in R \end{align*}\]

• Дегенмен, көптеген жағдайларда жауап айнымалысы екілік болып табылады, яғни ол тек екі мәнді қабылдайды: \(0\) немесе \(1\).

\[Y \in \{0, 1\}\]

• Мысалы, сізде көлік болса да (1) немесе болмаса да (0).

• Логистикалық регрессия - Бұл екілік жауап үшін сызықтық регрессияның кеңейтімі.

• Логистикалық регрессия оқиғаның ықтималдылығын модельдейді (мысалы, жауап айнымалыңыз \(1\) мәнін қабылдайды).

\[\begin{align*} P(Y = 1) = p \\ P(Y = 0) = (1-p) \end{align*}\]

• Нақтырақ айтқанда, логистикалық регрессия оқиғаның ықтималдығын сызықтық предиктордың (\(\sum\beta X\)) функциясы ретінде модельдейді.

\[ p = f(\beta_0 + \beta_1X_1 + \dots + \beta_nX_n) \]

• Шын мәнінде, сызықтық предиктор мен жауап ықтималдығын байланыстыратын функция келесідей көрінеді

\[ p = \frac{e^{\beta_0 + \beta_1X_1 + \dots + \beta_nX_n}}{1 + e^{\beta_0 + \beta_1X_1 + \dots + \beta_nX_n}} \\ \]

• Тиісінше, «сәтсіздікке» ұшырау ықтималдығы

\[ (1-p) = 1 - \frac{e^{\beta_0 + \beta_1X_1 + \dots + \beta_nX_n}}{1 + e^{\beta_0 + \beta_1X_1 + \dots + \beta_nX_n}} = \frac{1}{1 + e^{\beta_0 + \beta_1X_1 + \dots \beta_nX_n}} \]

• Мұның бәрі бізге не үшін керек? Идея мынада: егер біз табыс ықтималдығының (\(p\)) сәтсіздікке (\(1-p\)) қатынасын алсақ, бөлгіш «жоғалып», бәрі әдемі экспоненциалға айналады.

\[ \frac{p}{1-p} = e^{\beta_0 + \beta_1X_1 + \dots \beta_{n}X_n} \]

• Ал егер осы қатынастың логарифмін алсақ, бәрі мінсіз болады.

\[ log(\frac{p}{1-p}) = \beta_{0} + \beta_{1}X_1 + \dots + \beta_{n}X_n \]

«Мұнда не керемет?» Оң жақта бізде сызықтық предиктор бар. Параметрлерге көбейтілген айнымалылар жиынтығы. Бұл параметрлер бізге шын мәнінде қажет, себебі олар түсіндірме айнымалылар (EV) мен жауап айнымалысы (RV) арасындағы «қатынасты» көрсетеді.

«Мүмкін сіз осындай нәрсені сезінетін шығарсыз».

• Бірақ бізде не бар екенін жазайық.

\[\begin{align*} logit(p) &= log(\frac{p}{1-p}) = \beta_0 + \beta_1X_1 + \dots + \beta_nX_n \\ \textrm{where} \\ \frac{p}{1-p} &= e^{\beta_0 + \beta_1X_1 + \dots + \beta_nX_n} = Коэффициенттер \end{align*}\]

• Ал мына нәрсе туралы әңгімелесейік \(\frac{p}{1-p}\)

Коэффициенттер

• \(\frac{p}{1-p}\) қатынасы Коэффициенттер деп аталады
• Коэффициенттер оқиғаның болу ықтималдығы оқиғаның болмауы ықтималдығынан қаншалықты үлкен/аз екенін көрсетеді.

Ықтималдық

Ықтималдық = \(\frac{P(\textrm{оқиға болады})}{P(\textrm{оқиға болмайды})}\)

• Ықтималдықтарды біле отырып, оқиғаның ықтималдығын есептеу оңай және керісінше:

• Дәрісті уақытында аяқтау ықтималдығы 2-ден 1-ге дейін деп есептейік. Бұл ықтималдық шамамен \(66\%\) екенін білдіреді.

\[ Ықтималдық = \frac{p}{1-p} = 2 \],

\[ p = \frac{Iqmit}{1 + Ықтималдық} = \frac{2}{3} \approx 0.66 \]

• Немесе оқиғаның ықтималдығы 50% деп есептейік, ықтималдық 1-ден 1-ге дейін.

\[ Ықтималдық = \frac{p}{1-p} = \frac{0.5}{0.5} = 1 \]

• Спорттық бәс тігулерде коэффициенттер жиі қолданылады (мысалы, “2-ден 1-ге дейінгі ұтыс коэффициенттері”)
• Логистикалық регрессия сызықтық предиктор өзгерген кезде коэффициенттердің логарифмінің қалай өзгеретінін модельдейді.
• Яғни, егер сіздің түсіндірме айнымалыңыздың мәні өзгерсе, бұл коэффициенттердің логарифміне қалай әсер етеді?

Совет

Компьютерлердің логарифмі әдетте logit деп аталады (мүмкін, “****logarifm + unit”*** сөзінен шыққан), сондықтан logistic регрессия деп аталады.

glm() функциясын пайдаланып логистикалық регрессияны сәйкестендіру

• Логистикалық регрессияны сәйкестендіру үшін біз glm() функциясын қолданамыз. Синтаксис lm() функциясына өте ұқсас: сіз формула мен деректер аргументтерін көрсетуіңіз керек.
• Сіз сондай-ақ family = "binomial" қосымша аргументін көрсетуіңіз керек. Бұл R-ге сіз екілік жауапты модельдеп жатқаныңызды білдіреді.

• Нәтижеге назар аударайық.

	(1)
(Intercept)	-7.122
	(0.277)
score	0.243
	(0.010)
sexfemale	-0.319
	(0.077)
Num.Obs.	4488
AIC	4236.5
BIC	4255.8
Log.Lik.	-2115.263
RMSE	0.39

• Бұл lm() функциясының тұрақты нәтижесіне өте ұқсас. Регрессия коэффициенттерін беретін Estimate бағанына назар аударайық.
• \(\beta_0\) = -7.1215278
• \(\beta_1\) = 0.2430623
• \(\beta_2\) = NA
• Оларды қалай түсіндіруге болады? Формуланы еске түсірейік. Бізде 30$ ұпай жинаған жоба бар және оны әйел басқарады деп елестетіп көріңіз. Мұндай жобаның қаржыландыру алу мүмкіндігі қандай?

\[\begin{align*} P(Y = 1|X_1 = 30, X_2 = 0) = p_1 \\ P(Y = 1|X_1 = 30, X_2 = 1) = p_2 \\ Odds_1 = \frac{p_1}{1-p_1} = e^{\beta_0 + \beta_1*30 + \beta_2*0} \\ Odds_2 = \frac{p_2}{1-p_2} = e^{\beta_0 + \beta_1*30 + \beta_2*1} \\ \frac{Odds_2}{Odds_1} = \frac{e^{\beta_0 + \beta_1*30 + \beta_2}}{e^{\beta_0 + \beta_1*35}} = e^{\beta_2*sex} \\ e^{\beta_2} = \frac{Odds_2}{Odds_1} \\ \beta_2 = log(\frac{Odds_2}{Odds_1}) \end{align*}\]

Уведомление

Сызықтық регрессия коэффициенті тәуелді айнымалының (Y) түсіндірме айнымалының 1 бірлікке артуымен қаншалықты өзгеретінін көрсетеді.

Салыстырыңыз,

Уведомление

Логистикалық регрессия коэффициенті түсіндірме айнымалының 1 бірлікке артуымен оқиғаның ықтималдық логарифмінің қаншалықты өзгеретінін көрсетеді.

• Модельге сәйкес, ер адам басқаратын 30 ұпайлық жобаның (жынысы = 1) грант ұтып алу мүмкіндігі әйел басқаратын 30 ұпайлық жобаға қарағанда шамамен $1,38 есе жоғары екенін көреміз.
• Ескерту: ықтималдықтың $1,38 емес, мүмкіндіктің $1,38 есесі!!!

	(1)
(Intercept)	-7.122
	(0.277)
score	0.243
	(0.010)
sexfemale	-0.319
	(0.077)
Num.Obs.	4488
AIC	4236.5
BIC	4255.8
Log.Lik.	-2115.263
RMSE	0.39

• Жыныспен байланысты коэффициентті қарастырайық. Коэффициенттің өзі - ықтималдықтың логарифмі.

\[ \beta_{sex} = 0.31894 \]

• Оның көрсеткіші - ер адамдар үшін мүмкіндіктің артуы

\[ e^{0.31894} = 1.375669 \]

• R коэффициенттерді түсінікті сандарға тез «аударуға» арналған көптеген құралдарға ие.

term	estimate	std.error	statistic	p.value
(Intercept)	0.0008075	0.2769605	-25.713154	0.00e+00
score	1.2751480	0.0104002	23.370858	0.00e+00
sexfemale	0.7269159	0.0771784	-4.132563	3.59e-05

• Енді, бұл коэффициенттердің қайдан шыққанын көрсететін кішкене код.

[1] 1.185708

[1] 0.8619103

[1] 0.5424824

[1] 0.4629172

[1] 0.7269159

 (Intercept)        score    sexfemale 
0.0008075321 1.2751480317 0.7269158503 

• Енді score айнымалысы қаржыландыру алу мүмкіндігіне қалай әсер ететінін түсінуге тырысайық

[1] 0.2036047

[1] 0.4629172

[1] 3.371344

   score 
3.371344 

Модельді таңдау

• Қай модель ең жақсы екенін қалай шешесіз?

• Нәтижелерге назар аударайық

	модель1	модель2
(Intercept)	-7.440 (0.278)***	-7.634 (0.285)***
score	0.243 (0.010)***	0.249 (0.011)***
sex	0.319 (0.077)***	0.286 (0.078)***
memberyes		2.850 (0.313)***
Num.Obs.	4488	4488
AIC	4236.5	4131.8
BIC	4255.8	4157.4
Log.Lik.	-2115.263	-2061.887
F	283.092	202.336
RMSE	0.39	0.39

• Шығысты мұқият қараңыз, сонда сіз AIC көресіз. Бұл не?

• AIC - Akaike ақпараттық критерийінің ¹ қысқартылған нұсқасы. Бұл модельдің “ықтималдығын” көрсететін статистикалық өлшем.

• AIC модельдің «қарапайымдылығы» мен оның деректерге «сәйкестігі» арасындағы тепе-теңдікті табуға тырысады.

• Қарапайымдылық параметрлер саны (яғни, коэффициенттер) ретінде өлшенеді; параметрлер неғұрлым аз болса, модель соғұрлым қарапайым болады.

• «Сәйкестік» ықтималдық ретінде өлшенеді, яғни модель (яғни, параметр мәндері) дұрыс болған жағдайда біздікіне ұқсас деректерді байқау ықтималдығы.

• AIC келесідей есептеледі:

\[AIC = -2 * log(L) + 2 * k\]

• мұндағы \(L\) - модельдің ықтималдық функциясының максималды мәні, ал \(k\) - параметрлер саны.

• Түсіндірме: AIC неғұрлым төмен болса, модель соғұрлым жақсы болады. AIC бірнеше модельді салыстыру үшін пайдаланылуы мүмкін.

Уведомление

AIC неғұрлым төмен болса, модель соғұрлым жақсы болады!

• Ең қызығы, AIC белгілі таралуы (хи-квадрат) бар кездейсоқ айнымалы.

\[ AIC \sim \chi^2 \]

• Яғни, сіз екі модельдің AIC-ін салыстырып, күрделі модель AIC-тің «айтарлықтай» төмендеуін беретінін анықтай аласыз.

• Егер солай болса, онда күрделі модель соғұрлым жақсы.

Resid. Df	Resid. Dev	Df	Deviance	Pr(>Chi)
4485	4230.527	NA	NA	NA
4484	4123.774	1	106.7525	0

Максималды ықтималдық принципі

• Сызықтық регрессияда параметрлерді бағалау үшін OLS регрессиясын (OLS) қолдандық.

• Қалдықтардың квадраттарын алып, олардың қосындысын минималдайтын параметрлерді таптық.

• Логистикалық регрессия басқа әдісті қолданады: максималды ықтималдық принципі. Біз деректерімізді ең ықтимал ететін параметр мәндерін таңдаймыз (максималды ықтималдық).

\[ argmax_{\beta}(P(Data|Model)) \]

• Басқаша айтқанда, біз байқалған деректердің ықтималдығын барынша арттырамыз. Қарапайым мысал: сіз монетаны 10 рет лақтырасыз. 7 лақтыру бастарға келеді. Бастардың ықтималдығын максималды ықтималдықты пайдаланып бағалаңыз.

• Есіңізде болса, 7 бастың ықтималдығын биномдық үлестірімді пайдаланып есептеуге болады.

\[ \textrm{ 7 бастың ықтималдығы } = C_{10}^{7} p^7(1-p)^3 \]

• Идея модельдің ықтималдығын барынша арттыратын мәндерді таңдауда.

• Сонымен, \(p\) үшін көптеген мүмкін мәндер бар және сіз 7 бастың байқалу ықтималдығын барынша арттыратын мәнді таңдайсыз.

Одан да көп нәтижелер

• Байқауға жобалар ұсынылған жеті мүмкін «сала» болды.

• Біз оларды шартты түрде «Қауіпсіздік», «Ғылым», «Жер қойнауын пайдалану», «Мәдениет», «Өмір туралы ғылымдар», «Энергетика» және «Ауыл шаруашылығы» деп атадық.

• Төменде менеджерлердің жынысы бойынша жеңіске жеткен жобалардың пайызы (сол жақта) және сенімділік аралықтарымен болжамды жеңіс ықтималдығы (оң жақта) көрсетілген.

• Барлық жерде дерлік ер менеджерлердің жеңіске жету ықтималдығы әйелдерге қарағанда айтарлықтай жоғары болды.

• Жалғыз ерекшелік қауіпсіздік болды. Бірақ жалпы алғанда, онда жобалар аз болды.

Жалпы модельдер

Ұпайлардың әсері

Жыныс пен ұпайлардың әсері

Енді мәселелерге оралайық

Models for Score

	sex	demo	demo+domain	demo+domain+fake+qual	full
sexFemale	-0.699***	-0.679***	-0.452**	-0.267+	-0.052
	0.139 (<0.001)	0.138 (<0.001)	0.143 (0.002)	0.141 (0.059)	0.141 (0.714)
regionАстана		-0.249	-0.082	-0.175	0.009
		0.175 (0.154)	0.177 (0.646)	0.174 (0.315)	0.177 (0.962)
regionШымкент		-2.633***	-2.538***	-2.302***	-1.435***
		0.279 (<0.001)	0.279 (<0.001)	0.275 (<0.001)	0.309 (<0.001)
regionOther		-1.041***	-0.918***	-0.873***	-0.366+
		0.176 (<0.001)	0.178 (<0.001)	0.176 (<0.001)	0.209 (0.080)
domainAgriculture			0.443+	0.274	0.198
			0.232 (0.057)	0.229 (0.232)	0.228 (0.387)
domainScience			1.327***	0.301	0.080
			0.237 (<0.001)	0.249 (0.227)	0.247 (0.745)
domainLife			0.221	-0.284	-0.525*
			0.233 (0.344)	0.235 (0.227)	0.236 (0.026)
domainSecurity			0.135	0.115	0.323
			0.457 (0.767)	0.449 (0.798)	0.444 (0.468)
domainNatural Rm			1.056***	0.524**	0.655***
			0.195 (<0.001)	0.197 (0.008)	0.197 (<0.001)
domainEnergy			0.845**	0.089	0.111
			0.291 (0.004)	0.292 (0.761)	0.289 (0.701)
fakeYes				-0.897***	-0.811***
				0.178 (<0.001)	0.176 (<0.001)
rintsYes				0.792***	0.728***
				0.195 (<0.001)	0.193 (<0.001)
scopusYes				0.219	0.147
				0.173 (0.205)	0.171 (0.387)
Hirsh				0.316***	0.251***
				0.029 (<0.001)	0.029 (<0.001)
Win 2014yes					1.597***
					0.186 (<0.001)
degreeDoctor					0.472**
					0.148 (0.001)
degreePhD					0.942***
					0.222 (<0.001)
Inst capWorks with					0.777***
					0.170 (<0.001)
Inst capMember					-0.675
					0.525 (0.199)
Inst Cap(Missing)					-1.784**
					0.632 (0.005)
Org prestigeNational					-0.159
					0.241 (0.509)
Org prestigeInternational					1.014
					0.668 (0.129)
Org prestigeOther					0.831***
					0.196 (<0.001)
Num.Obs.	4496	4496	4496	4496	4496
R2	0.006	0.029	0.040	0.078	0.110
R2 Adj.	0.005	0.028	0.038	0.075	0.106
AIC	26595.2	26493.5	26456.2	26281.6	26139.1
BIC	26614.5	26531.9	26533.2	26384.1	26299.4
Log.Lik.	-13294.621	-13240.740	-13216.118	-13124.786	-13044.552
RMSE	4.66	4.60	4.57	4.48	4.40

##Кейбір суреттер

Үстелдерге оралу

	Science	Energy	Natural_rm	Culture	Life	Agriculture
hirsh	0.291***	0.191*	0.196***	0.280	0.229**	0.170
	0.048 (<0.001)	0.089 (0.032)	0.057 (<0.001)	0.185 (0.131)	0.073 (0.002)	0.136 (0.212)
win_2014Yes	1.963***	1.536*	0.982+	1.763***	1.703***	1.333**
	0.437 (<0.001)	0.642 (0.017)	0.524 (0.061)	0.366 (<0.001)	0.463 (<0.001)	0.471 (0.005)
rintsYes	1.265**	0.142	0.537	0.820*	-0.118	0.959+
	0.478 (0.008)	0.672 (0.833)	0.355 (0.131)	0.416 (0.049)	0.613 (0.847)	0.521 (0.066)
scopusYes	1.097+	1.829**	-0.441	0.387	-0.405	0.037
	0.572 (0.056)	0.684 (0.008)	0.320 (0.169)	0.360 (0.283)	0.451 (0.370)	0.440 (0.934)
fakeYes	-2.562***	-1.430*	0.323	-0.932**	-2.719***	-0.848*
	0.583 (<0.001)	0.645 (0.027)	0.343 (0.346)	0.340 (0.006)	0.662 (<0.001)	0.416 (0.042)
sexFemale	0.484	0.225	-0.175	0.109	-0.616	-0.023
	0.405 (0.233)	0.623 (0.718)	0.265 (0.510)	0.280 (0.696)	0.399 (0.124)	0.363 (0.949)
regionАстана	0.325	-1.389*	-0.556	-0.129	0.939+	0.504
	0.479 (0.497)	0.662 (0.037)	0.393 (0.158)	0.342 (0.707)	0.537 (0.081)	0.498 (0.312)
regionШымкент	-0.619	-3.499**	0.494	-3.094***	1.073	-0.419
	1.073 (0.564)	1.210 (0.004)	0.612 (0.420)	0.551 (<0.001)	1.289 (0.406)	0.856 (0.625)
regionOther	0.190	-1.111	-0.006	-0.434	0.692	-0.458
	0.746 (0.799)	0.815 (0.174)	0.409 (0.989)	0.434 (0.318)	0.658 (0.293)	0.470 (0.331)
degreeDoctor	0.358	0.051	0.683*	0.688*	-0.208	0.452
	0.432 (0.408)	0.570 (0.928)	0.286 (0.017)	0.285 (0.016)	0.423 (0.622)	0.386 (0.243)
degreePhD	1.459**	0.406	1.672***	0.570	0.070	-0.505
	0.519 (0.005)	0.701 (0.563)	0.435 (<0.001)	0.483 (0.238)	0.630 (0.911)	0.776 (0.515)
inst_capWorks with	-0.363	2.275***	1.354***	1.268**	1.172*	0.043
	0.523 (0.488)	0.645 (<0.001)	0.392 (<0.001)	0.437 (0.004)	0.540 (0.030)	0.419 (0.918)
inst_capMember	-2.647*	-1.277	0.112	0.756	-0.758	-1.029
	1.209 (0.029)	1.557 (0.412)	1.128 (0.921)	1.446 (0.601)	1.588 (0.633)	1.224 (0.401)
inst_cap(Missing)	0.055		-4.542***	-0.488	-2.435
	2.468 (0.982)		1.202 (<0.001)	0.895 (0.586)	1.876 (0.195)
org_prestigeNational	1.759*	-1.052	-0.419	-0.508	1.020	-0.894
	0.764 (0.022)	0.803 (0.191)	0.532 (0.431)	0.550 (0.356)	0.798 (0.202)	0.596 (0.134)
org_prestigeInternational	2.724+	6.351*	2.601	1.498	-2.187
	1.469 (0.064)	3.182 (0.047)	1.713 (0.129)	1.109 (0.177)	1.608 (0.174)
org_prestigeOther	1.763**	1.343+	1.153**	1.000*	1.696*	0.076
	0.658 (0.008)	0.741 (0.071)	0.407 (0.005)	0.412 (0.015)	0.657 (0.010)	0.458 (0.868)
Num.Obs.	565	326	1045	1304	561	583
R2	0.255	0.238	0.083	0.114	0.161	0.050
R2 Adj.	0.232	0.199	0.068	0.102	0.135	0.025
AIC	3240.1	1904.4	5929.9	7732.8	3303.3	3309.3
BIC	3322.5	1972.6	6024.0	7831.0	3385.6	3383.6
Log.Lik.	-1601.066	-934.197	-2945.941	-3847.376	-1632.674	-1637.667
RMSE	4.12	4.25	4.06	4.63	4.44	4.02

Енді лог регрессиясына оралайық

Models for Win

	merit	merit+memory	merit+memory+demo	full-inst_cap	full	full, scoreXsex	full, scoreXdomain	full, hirshXsex
Score	0.246***		0.232***	0.224***	0.232***	0.227***	0.327***	0.232***
	0.010 (<0.001)		0.011 (<0.001)	0.011 (<0.001)	0.012 (<0.001)	0.015 (<0.001)	0.026 (<0.001)	0.012 (<0.001)
Hirsh		0.143***	0.074***	0.041*	0.020	0.020	0.023	0.010
		0.016 (<0.001)	0.016 (<0.001)	0.016 (0.012)	0.017 (0.240)	0.017 (0.227)	0.017 (0.175)	0.018 (0.559)
rintsYes		0.284**	0.177+	0.168	0.131	0.131	0.129	0.135
		0.097 (0.003)	0.104 (0.089)	0.110 (0.127)	0.113 (0.244)	0.113 (0.245)	0.113 (0.253)	0.113 (0.231)
scopusYes		0.079	0.028	0.092	0.110	0.110	0.105	0.100
		0.090 (0.381)	0.097 (0.770)	0.103 (0.369)	0.105 (0.294)	0.105 (0.295)	0.106 (0.320)	0.106 (0.344)
fakeYes		-0.390***	-0.207*	-0.069	-0.058	-0.057	-0.021	-0.058
		0.092 (<0.001)	0.099 (0.036)	0.109 (0.526)	0.111 (0.599)	0.111 (0.604)	0.112 (0.848)	0.111 (0.600)
Win 2014yes				0.563***	0.520***	0.520***	0.509***	0.521***
				0.102 (<0.001)	0.104 (<0.001)	0.104 (<0.001)	0.104 (<0.001)	0.104 (<0.001)
degreeDoctor				0.425***	0.399***	0.399***	0.398***	0.395***
				0.087 (<0.001)	0.088 (<0.001)	0.088 (<0.001)	0.089 (<0.001)	0.088 (<0.001)
degreePhD				-0.021	-0.096	-0.097	-0.094	-0.094
				0.133 (0.877)	0.137 (0.480)	0.137 (0.480)	0.137 (0.492)	0.137 (0.491)
domainAgriculture				-0.447**	-0.545***	-0.544***	2.857*	-0.562***
				0.157 (0.004)	0.162 (<0.001)	0.162 (<0.001)	1.207 (0.018)	0.162 (<0.001)
domainScience				0.058	0.004	0.004	2.827**	-0.012
				0.149 (0.698)	0.152 (0.982)	0.152 (0.977)	1.037 (0.006)	0.153 (0.939)
domainLife				0.938***	1.040***	1.042***	4.142***	1.030***
				0.137 (<0.001)	0.141 (<0.001)	0.141 (<0.001)	0.943 (<0.001)	0.141 (<0.001)
domainSecurity				0.230	0.135	0.136	6.837***	0.112
				0.269 (0.392)	0.284 (0.634)	0.284 (0.633)	1.554 (<0.001)	0.285 (0.693)
domainNatural Rm				0.498***	0.518***	0.518***	3.883***	0.496***
				0.118 (<0.001)	0.120 (<0.001)	0.120 (<0.001)	0.896 (<0.001)	0.121 (<0.001)
domainEnergy				0.103	0.076	0.075	1.988	0.055
				0.175 (0.557)	0.179 (0.671)	0.179 (0.675)	1.320 (0.132)	0.179 (0.757)
sexFemale				-0.221**	-0.203*	-0.464	-0.211*	-0.268**
				0.085 (0.009)	0.086 (0.019)	0.584 (0.428)	0.087 (0.015)	0.097 (0.006)
regionАстана				-0.129	-0.238*	-0.238*	-0.247*	-0.235*
				0.104 (0.214)	0.108 (0.027)	0.108 (0.027)	0.108 (0.022)	0.108 (0.029)
regionШымкент				-0.397+	-0.365	-0.365	-0.335	-0.369+
				0.221 (0.072)	0.224 (0.102)	0.224 (0.103)	0.224 (0.135)	0.224 (0.099)
regionOther				-0.336**	-0.323*	-0.323*	-0.325*	-0.329*
				0.130 (0.010)	0.133 (0.015)	0.133 (0.015)	0.134 (0.015)	0.133 (0.014)
Org prestigeNational				0.062	-0.307*	-0.307*	-0.289+	-0.317*
				0.136 (0.649)	0.153 (0.045)	0.153 (0.045)	0.153 (0.059)	0.153 (0.038)
Org prestigeInternational				0.397	0.353	0.354	0.326	0.349
				0.381 (0.298)	0.389 (0.364)	0.389 (0.362)	0.395 (0.410)	0.389 (0.370)
Org prestigeOther				0.151	0.055	0.055	0.059	0.049
				0.122 (0.215)	0.127 (0.664)	0.127 (0.664)	0.127 (0.644)	0.127 (0.697)
Pr Ranksecond				-0.675***	-0.726***	-0.727***	-0.719***	-0.731***
				0.141 (<0.001)	0.145 (<0.001)	0.145 (<0.001)	0.145 (<0.001)	0.145 (<0.001)
Pr Rankbest				-0.083	-0.100	-0.098	-0.089	-0.105
				0.110 (0.451)	0.112 (0.372)	0.112 (0.380)	0.112 (0.428)	0.112 (0.351)
Pr Ranktie				0.379	0.415	0.417	0.346	0.416
				0.479 (0.429)	0.476 (0.384)	0.476 (0.381)	0.479 (0.469)	0.476 (0.382)
Inst capWorks with					0.588***	0.588***	0.575***	0.590***
					0.102 (<0.001)	0.102 (<0.001)	0.102 (<0.001)	0.102 (<0.001)
Inst capMember					3.093***	3.092***	3.084***	3.098***
					0.337 (<0.001)	0.337 (<0.001)	0.342 (<0.001)	0.336 (<0.001)
Inst Cap(Missing)					0.284	0.287	0.246	0.290
					0.406 (0.484)	0.406 (0.480)	0.413 (0.552)	0.407 (0.475)
score:sexFemale						0.010
						0.022 (0.652)
score:domainAgriculture							-0.129**
							0.046 (0.005)
score:domainScience							-0.106**
							0.038 (0.006)
score:domainLife							-0.118**
							0.036 (0.001)
score:domainSecurity							-0.259***
							0.061 (<0.001)
score:domainNatural Rm							-0.128***
							0.034 (<0.001)
score:domainEnergy							-0.073
							0.049 (0.137)
hirsh:sexFemale								0.055
								0.038 (0.146)
Num.Obs.	4488	4488	4488	4488	4488	4488	4488	4488
AIC	4250.2	4838.3	4217.7	4031.0	3913.5	3915.3	3898.0	3913.4
BIC	4263.0	4870.4	4256.1	4191.3	4093.0	4101.2	4115.9	4099.3
Log.Lik.	-2123.111	-2414.162	-2102.828	-1990.511	-1928.771	-1928.669	-1915.019	-1927.704
RMSE	0.39	0.42	0.39	0.38	0.37	0.37	0.37	0.37

Модельдердің сапасы туралы аздап

---

1. 1971 жылы «ақпараттық критерий» ретінде жасалған Хироцугу Акаике