Валидност на методиката, видове валидност. Корелационният анализ като един от методите за определяне на надеждността и валидността

Човек използва различни методи и инструменти, за да провери или измери някакъв вид качество. Степента, до която тази техника и инструмент могат да дадат качествени резултати, показва тяхната валидност. Какво означава това понятие в психологията? Какви са видовете валидност? В психологията това свойство обикновено е приложимо за тестове и методи, използвани от специалисти.

Какво е валидност?

Разглежданото понятие има много определения. Какво е валидност? Това е уместността и валидността на прилагането на някаква техника или резултат в конкретна ситуация. Приложното значение на тази дума е степента на съответствие на резултатите и методите с поставените задачи.

Валидността е друга мярка, която измерва специфични качества. По този начин техниката има за цел да измери специфично качество, като интелигентност, и нейната валидност трябва да показва колко добре техниката помага за получаване на резултати.

С други думи, валидността може да се нарече надеждност. Той измерва онези тестове и методи, които измерват определени психологически качества. Колкото по-добре измерват качествата, които измерват, толкова по-висока е тяхната валидност.

Валидността става важна в два случая:

Когато се развие определена техника.
Когато определена техника показва резултати и е необходимо да се установи колко добри са тези резултати.

По този начин валидността е характеристика, която показва пригодността на определена техника за измерване на някакво качество и полезността, качеството и ефективността на тази техника.

Обикновено се използват няколко вида валидност за валидиране на определен тест или техника. Той също така сравнява показателите, които се дават от различни инструменти. Има много начини за измерване на определено психологическо качество или характеристика. По-често психолозите ще използват метода, който дава по-надеждни резултати. Това ще покаже неговата висока валидност.

Заедно с валидността често се разглежда такова понятие като надеждност. Методите и тестовете трябва да бъдат надеждни, тоест те трябва да бъдат постоянни, надеждни. Експериментаторът трябва да е сигурен, че взема предвид точно качеството, което иска да вземе предвид. Ето защо надеждността може да не винаги е валидна, но валидността трябва винаги да е надеждна.

Валидност в психологията

Валидността се използва в много области на живота, където се измерват различни показатели. В психологията валидността също става необходима, особено в експерименталната психология. Валидността в психологията е:

увереността на експериментатора, че измерва качеството, от което се нуждае;
надеждност на показателите, които измерват това качество.

Ако читателят някога е преминал психологически тестове, тогава той знае за вътрешното желание да получи конкретен отговор на поставения въпрос. Валидността на теста показва на експериментатора конкретния резултат, който той постига чрез тестване. Ето конкретна задача, отговорът на която той трябва да получи, след като извърши всички необходими действия.

Методите и тестовете трябва да бъдат полезни и валидни, което се измерва с тяхната валидност.

Има три начина за проверка на валидността:

Оценката на валидността на съдържанието е съответствието на резултатите от оценката на субекта с реалните качества, които се появяват в действителност. Тук се използва такова понятие като лицева валидност - човек трябва да види реална връзка между съдържанието на самата методика и нейните резултати и реалността, в която се проявява измереното качество.
Оценяването на валидността на конструкцията е определянето, че техниката изчислява базирани на доказателства и предварително определени конструкции. Конвергентното валидиране позволява използването на няколко техники, които отчитат подобни характеристики и дават по-точни резултати за разглежданото качество. Дискриминантното валидиране изключва други техники, които отчитат качества, които не са свързани с желаното качество.
Оценката на валидността на критерия е съответствието на резултатите с очакваните показатели, които се разкриват по други начини. Тук се използва предсказваща валидност, която помага да се предвиди бъдещо поведение.

Видове валидност

Има няколко вида валидност, които ще обсъдим по-долу:

Външната валидност е обобщение на заключението на ситуация, популация, независими променливи. Разделя се на:

експлоатационна годност.
Конструктивна валидност - обяснение на поведението на човек по време на преминаване на теста.

Вътрешна валидност - промяна по време на експеримента под влияние на непроменливи фактори.
диференциална валидност.
инкрементална валидност.
Екологичната валидност е показател, че човек е способен да извършва различни действия, които в една ситуация могат да бъдат успешни, но не и в друга.

Тази класификация се използва от експерименталната психология. Организационната психология и психодиагностиката използват различна класификация:

конструктна валидност. Разделя се на:

конвергентна валидност.
различна валидност.

Критериална (емпирична) валидност - изчисляване на корелация чрез оценка на теста на външен параметър, който е избран като валиден индикатор. Разделя се на:

Текуща валидност - изследване на параметъра в настоящето време.
Ретроспективна валидност - състояние или събитие, случило се в миналото.
Прогностична валидност – предвиждане на поведение, качество.

Валидност на съдържанието - използва се в експерименти, където се разглежда някакво взаимодействие, активност. Има подвид:

очевидна валидност.

Други видове валидност са:

Априори.
Конгруентни.
Свързани.
Конструктивен.
Консенсус.
Факториал.
теоретични и др.

Какво е валидност на теста?

Много хора се тестват. Има специални психологически тестове, използвани от психолози, и други таблоидни тестове. Каква е валидността на теста, кой е неговият важен критерий? Това е индикатор за съответствието на характеристика, качество, свойство с теста, който ги измерва.

Тестовете са различни. Те се използват за измерване на психофизиологичните параметри на човек. Най-високата валидност остава 80%. Полезността от използването на тестове става, когато ви позволяват да получите точни данни за определени специфични характеристики. Има няколко подхода за изследване на валидността на даден тест:

Конструктивна валидност, която ви позволява да изучавате по-задълбочено качествата на човек в ситуация, дейност, система.
Валидност по критерий - изучаване на параметъра в настоящето и прогнозирането му в бъдещето.
Валидността на съдържанието е съответствието на психологическите конструкции, тяхното разнообразие.
Прогностична валидност – предвижда развитието на определено качество в бъдеще, което е трудно, тъй като може да се развие по различен начин при различните хора.

Докато не се установи надеждността и валидността на теста, той не се използва в психологическата практика. Много зависи от областите, в които се прилагат тестовете. Има образователни, професионални и други тестове, които се използват в отделните институции за прогнозиране и идентифициране на характеристиките на кандидатите.

На сайта за психологическа помощ можете също да вземете тестове, които вече имат висока валидност и показват надеждни резултати.

Какво е валидност на метода?

Какво е валидност на метода? Това е индикатор, който показва дали разглежданата техника изучава качеството, характеристиките, за които е предназначена. В същото време се набляга на факта, че субектът, който се тества, може да види и характеризира себе си по различен начин. Ето защо резултатите не винаги вземат предвид мнението на хората, които може да не забележат определени характеристики в себе си.

Валидирането е проверка на валидността на дадена методология. За определяне на ефективността, ефикасността, практичността на използваната методика се използва външен независим показател – качество, което се наблюдава в ежедневието. Има 4 вида външни индикатори:

Критерият за изпълнение е изразходваното време, обемът на работата, нивото на академичните постижения, растежът на професионалните умения и др.
Субективни критерии - мнение, възгледи, предпочитания, отношение на субекта към някого или нещо. Тук се използват въпросници, интервюта, въпросници.
Физиологични критерии - влиянието на външния свят върху психиката и човешкото тяло. Измерва пулс, дихателна честота, симптоми на умора и др.
Критерият за случайност - възможно ли е, например, да се изберат хора, които не са предразположени към злополуки? Проучване на въздействието на конкретен случай.

Теоретичният подход при измерване на валидността на методите ни позволява да разпознаем дали технологията наистина изучава качеството, за което е предназначена.

Валидността се определя и от появата на изследваното качество. Добре е, ако е често срещано, което прави техниката необходима и полезна. Етичните и културните промени в обществото също стават важни.

Резултат

В психологическата практика често се използват тестове и техники, които помагат при изучаването на личността на човека. Тук говорим по-специално за вътрешни параметри, които не са видими за окото. Качествата на характера, поведението, възможна прогноза за бъдещето, какъв ще бъде човек и какъв ще бъде животът му - всичко това се изследва чрез различни тестове и методи, които преследват един единствен резултат - изследване на човек.

Резултатът от успешното определяне на валидността на даден инструмент е успешното познаване на всеки човек, независимо как гледа на себе си. Хората често не забелязват определени качества в себе си, рядко гледат на себе си с трезвен поглед. Тестовете и техниките ви позволяват да разкриете индивидуални параметри.

Прогнозата на валидни тестове и методи е бързо и качествено познаване на друг човек с възможност да му помогне при решаването на всеки психологически проблем. Това не се постига скоро, но наличните инструменти вече са показали своята ефективност. Обикновено този въпрос е от интерес само за онези хора, които участват в определянето на качеството на тестовете и методите. За обикновените хора обаче ще бъде полезно да знаят на кои упражнения трябва да се вярва и на кои не.

Билет номер 9

Мотивационни въпросници и техните характеристики.

Мотивни въпросници - група от въпросници, предназначени да диагностицират мотивационно-потребната сфера на човек, което ви позволява да установите към какво е насочена дейността на индивида (мотивите като причини, които определят избора на посока на поведение). Освен това от голямо значение е въпросът как се регулира динамиката на поведението. В този случай често се прибягва до измерване на нагласите. Разработването на въпросници за мотиви в психодиагностиката до голяма степен е свързано с необходимостта от оценка на влиянието на фактора „социална желателност“, който има нагласен характер и намалява надеждността на данните, получени с помощта на личностни въпросници. Най-известните въпросници на мотивите включват „Списък на личните предпочитания“, разработен от А. Едуардс (1954), който е предназначен да измерва „силата“ на нуждите, заимствани от списъка, предложен от Г. Мъри за теста за тематична аперцепция. Тези потребности включват например нуждата от успех, уважение, лидерство и т.н. „Силата“ на всяка потребност се изразява не в абсолютни стойности, а спрямо „силата“ на други потребности, т.е. използват се персонални показатели. За да проучи ролята на фактора „социална желателност“, А. Едуардс (1957) предлага специален въпросник. Други въпросници за мотиви също се използват широко, например Формулярът за изследване на личността на Д. Джаксън (1967), въпросниците на А. Меграбян (1970) и др.

След надеждността друг ключов критерий за оценка на качеството на методите е валидността. Въпросът за валидността на методологията се решава само след установяване на достатъчната й надеждност, тъй като ненадеждна методика не може да бъде валидна. Но най-надеждната техника, без да се знае нейната валидност, е практически безполезна.

Трябва да се отбележи, че въпросът за валидността доскоро изглеждаше един от най-трудните. Най-вкорененото определение на тази концепция е даденото в книгата на А. Анастази: „Валидността на теста е концепция, която ни казва какво измерва тестът и колко добре го прави.“

Поради тази причина няма единен универсален подход за определяне на валидността. В зависимост от това коя страна на валидността иска да разгледа изследователят, се използват и различни методи за доказване. С други думи, понятието валидност включва различните му видове, които имат свое специално значение. Проверката на валидността на дадена техника се нарича валидиране.

Валидността в първия си смисъл е свързана със самата методология, тоест това е валидността на инструмента за измерване. Тази проверка се нарича теоретично валидиране. Валидността във втория смисъл вече се отнася не толкова до методологията, колкото до целта на нейното използване. Това е прагматично утвърждаване.

Обобщавайки, можем да кажем следното:

при теоретичното валидиране изследователят се интересува от самото свойство, измерено от техниката. Това по същество означава, че се извършва същинското психологическо валидиране;

с прагматично валидиране същността на обекта на измерване (психологическо свойство) е извън полезрението. Основният акцент е върху доказването, че нещо, измерено чрез методологията, има връзка с определени области на практика.

Провеждането на теоретична валидация, за разлика от прагматичната валидация, понякога е много по-трудно. Без да навлизаме в конкретни подробности засега, нека се спрем най-общо на това как се проверява прагматичната валидност: избира се някакъв външен критерий, независим от методологията, който определя успеха в определена дейност (образователна, професионална и т.н.), а с него и резултатите от диагностичната техника се сравняват. Ако връзката между тях се признае за задоволителна, тогава се прави заключение за практическото значение, ефективност и ефективност на диагностичния метод.

За да се определи теоретичната валидност, е много по-трудно да се намери някакъв независим критерий, който е извън методологията. Следователно, в ранните етапи от развитието на тестологията, когато концепцията за валидност едва се оформяше, имаше интуитивна идея, че тестът измерва:

1) техниката беше наречена валидна, тъй като това, което измерва, е просто очевидно;

2) доказателството за валидност се основава на увереността на изследователя, че неговият метод позволява да се разбере предметът;

3) методологията беше счетена за валидна (т.е. беше прието твърдението, че такъв и такъв тест измерва такова и такова качество) само защото теорията, на базата на която е изградена методологията, е много добра.

Приемането на вяра на твърденията за валидността на методологията не може да продължи дълго време. Първите прояви на истинска научна критика развенчаха този подход: започна търсенето на научно обосновани доказателства.

По този начин, провеждането на теоретично валидиране на методология означава да се докаже, че методологията измерва точно свойството, качеството, което тя, според намерението на изследователя, трябва да измерва.

Така например, ако е разработен тест за диагностициране на умственото развитие на децата, е необходимо да се анализира дали той наистина измерва това развитие, а не някои други характеристики (например личност, характер и т.н.). По този начин, за теоретичното валидиране, кардиналният проблем е връзката между психологическите феномени и техните индикатори, чрез които тези психологически феномени се опитват да бъдат познати. Това показва доколко замисълът на автора и резултатите от методологията съвпадат.

Не е толкова трудно да се потвърди теоретично нов метод, ако вече има метод с доказана валидност за измерване на дадено свойство. Наличието на корелация между новия и подобен, вече тестван метод показва, че разработеният метод измерва същото психологическо качество като референтния. И ако новият метод в същото време се окаже по-компактен и икономичен при провеждането и обработката на резултатите, тогава психодиагностиката получава възможността да използва новия инструмент вместо стария.

Но теоретичната валидност се доказва не само чрез сравнение със свързани показатели, но и с тези, при които въз основа на хипотезата не би трябвало да има значими връзки. По този начин, за да се тества теоретичната валидност, е важно, от една страна, да се установи степента на връзка със сродна техника (конвергентна валидност) и липсата на тази връзка с методи, които имат различна теоретична основа (дискриминантна валидност).

Много по-трудно е да се извърши теоретично валидиране на метода, когато такъв начин на проверка е невъзможен. Най-често това е ситуацията, пред която е изправен изследователят. При такива обстоятелства само постепенното натрупване на разнообразна информация за изследваното свойство, анализът на теоретичните предпоставки и експерименталните данни и значителният опит в работата с техниката позволяват да се разкрие нейното психологическо значение.

Важна роля за разбирането какво измерва методологията играе сравнението на нейните показатели с практическите форми на дейност. Но тук е особено важно методологията да бъде задълбочено теоретично разработена, тоест да има солидна, добре обоснована научна основа. Тогава при съпоставяне на методологията с външен критерий, взет от ежедневната практика, съответстващ на това, което измерва, може да се получи информация, която затвърждава теоретичните представи за нейната същност.

Важно е да запомните, че ако се докаже теоретичната валидност, тогава интерпретацията на получените показатели става по-ясна и недвусмислена, а името на методологията съответства на обхвата на нейното приложение. Що се отнася до прагматичното валидиране, то предполага тестване на методологията по отношение на нейната практическа ефективност, значимост, полезност, тъй като има смисъл да се използва диагностична техника само когато се докаже, че измерваното свойство се проявява в определени житейски ситуации, в определени видове на дейност. Отдава се голямо значение, особено когато възниква въпросът за подбора.

Ако се обърнем отново към историята на развитието на тестологията, тогава можем да различим период (20-30-те години на 20-ти век), когато научното съдържание на тестовете и техният теоретичен багаж са от по-малък интерес. Важно беше тестът да проработи и да помогне за бързия избор на най-подготвените хора. Емпиричният критерий за оценка на тестовите задачи се смяташе за единствената вярна насока при решаването на научни и приложни проблеми.

Използването на диагностични методи с чисто емпирична обосновка, без ясна теоретична основа, често водеше до псевдонаучни заключения и необосновани практически препоръки. Беше невъзможно точно да се назоват тези характеристики, качества, които тестовете разкриха. По същество те бяха слепи изпитания.

Този подход към проблема с валидността на теста е типичен до началото на 50-те години. 20-ти век не само в САЩ, но и в други страни. Теоретичната слабост на методите за емпирично валидиране не може да не предизвика критика от онези учени, които при разработването на тестове призоваха да се разчита не само на гол емпиризъм и практика, но и на теоретична концепция. Практиката без теория е сляпа, а теорията без практика е мъртва. Понастоящем теоретичната и практическа оценка на валидността на методите се възприема като най-продуктивна.

За да се извърши прагматично валидиране на методология, т.е. да се оцени нейната ефективност, ефикасност, практическа значимост, обикновено се използва независим външен критерий - показател за проявлението на изследваното свойство в ежедневието. Такъв критерий може да бъде академичното представяне (за тестове за способности за учене, тестове за постижения, тестове за интелигентност), и производствени постижения (за методи за професионално ориентиране), както и ефективността на реалната дейност - рисуване, моделиране и др. (за тестове за специални способности) , субективни оценки (за личностни тестове).

Американските изследователи Д. Тифин и Е. Маккормик, след анализ на външните критерии, използвани за доказване на валидността, разграничават четири вида от тях [според 31]:

1) критерии за изпълнение (те могат да включват като количество извършена работа, академични постижения, време, прекарано в обучение, скорост на растеж на квалификациите и т.н.);

2) субективни критерии (те включват различни видове отговори, които отразяват отношението на човек към нещо или някого, неговото мнение, възгледи, предпочитания; обикновено субективните критерии се получават чрез интервюта, въпросници, въпросници);

3) физиологични критерии (използват се при изследване на влиянието на околната среда и други ситуационни променливи върху човешкото тяло и психика; измерват се пулс, кръвно налягане, електрическо съпротивление на кожата, симптоми на умора и др.);

4) критерии за случайност (прилага се, когато целта на изследването засяга, например, проблема с подбора за работа на такива лица, които са по-малко предразположени към злополуки).

Външният критерий трябва да отговаря на три основни изисквания:

трябва да е подходящо;

без смущения;

надежден.

Релевантността се отнася до семантичното съответствие на диагностичен инструмент с независим жизненоважен критерий. С други думи, трябва да има увереност, че критериите включват именно тези особености на индивидуалната психика, които също се измерват от диагностичната техника. Външният критерий и диагностичната техника трябва да бъдат във вътрешно семантично съответствие помежду си, да бъдат качествено хомогенни по психологическа същност. Ако, например, един тест измерва индивидуалните особености на мисленето, способността за извършване на логически действия с определени обекти, понятия, то в критерия трябва да се търси проявата на точно тези умения. Това важи и за професионалните дейности. Той има не една, а няколко цели, задачи, всяка от които е специфична и налага своите условия за изпълнение. Това предполага наличието на няколко критерия за извършване на професионални дейности. Следователно не трябва да се сравнява успехът на диагностичните методи с ефективността на производството като цяло. Необходимо е да се намери критерий, който по характера на извършваните операции да е съпоставим с методиката.

Ако по отношение на външния критерий не е известно дали той има отношение към измерваното свойство или не, тогава сравняването на резултатите от психодиагностичната техника с него става практически безполезно. Това не позволява да се стигне до заключения, които биха могли да оценят валидността на методологията.

Изискванията за свобода от намеса са причинени от факта, че например образователният или промишленият успех зависи от две променливи: от самия човек, неговите индивидуални характеристики, измерени чрез методи, и от ситуацията, условията на обучение, работа, които могат да въведат смущения, да „замърсят“ приложения критерий. За да се избегне това до известна степен, трябва да се избират групи от хора, които са в горе-долу еднакви условия. Можете да използвате и друг метод. Състои се в коригиране на влиянието на смущенията. Тази корекция обикновено е статистическа. Така например производителността не трябва да се приема в абсолютно изражение, а във връзка със средната производителност на работниците, работещи при подобни условия.

Когато се каже, че един критерий трябва да има статистически значима надеждност, това означава, че той трябва да отразява постоянството и стабилността на изследваната функция.

Търсенето на адекватен и лесно разпознаваем критерий е една от най-важните и трудни задачи на валидирането. В западната тестология много методи са дисквалифицирани само защото не могат да намерят подходящ критерий за тестването им. Например, за повечето въпросници данните за тяхната валидност са съмнителни, тъй като е трудно да се намери адекватен външен критерий, който да отговаря на това, което измерват.

Оценката на валидността на методите може да бъде количествена и качествена.

За да се изчисли количествен показател - коефициентът на валидност - резултатите, получени с помощта на диагностичната техника, се сравняват с данните, получени чрез външен критерий на същите лица. Използват се различни видове линейна корелация (по Spearman, по Pearson).

Колко предмета са необходими за изчисляване на валидността?

Практиката показва, че те не трябва да са по-малко от 50, а най-добре е повече от 200. Често възниква въпросът каква трябва да е стойността на коефициента на валидност, за да се приеме, че е приемлив? Като цяло се отбелязва, че е достатъчно коефициентът на валидност да бъде статистически значим. Коефициент на валидност от около 0,20-0,30 се признава за нисък, 0,30-0,50 за среден и над 0,60 за висок.

Но, както подчертават A. Anastasi, K. M. Gurevich и други, не винаги е правилно да се използва линейна корелация за изчисляване на коефициента на валидност. Тази техника е оправдана само когато се докаже, че успехът в дадена дейност е правопропорционален на успеха в извършването на диагностичен тест. Позицията на чуждестранните тестолози, особено на тези, които се занимават с професионална пригодност и професионален подбор, най-често се свежда до безусловното признаване, че този, който е изпълнил най-много задачи в теста, е по-подходящ за професията. Но също така може да се окаже, че за да бъдете успешни в дадена дейност, е необходимо да имате свойство на ниво от 40% от тестовото решение. По-нататъшният успех на изпита вече няма значение за професията. Показателен пример от монографията на К. М. Гуревич: пощальонът трябва да може да чете, но дали чете с нормална скорост или с много висока скорост, вече няма професионално значение. При такава корелация между показателите на методологията и външния критерий най-адекватният начин за установяване на валидността може да бъде критерият на различията.

Възможен е и друг случай: по-високото ниво на собственост, отколкото се изисква от професията, пречи на професионалния успех. И така, в зората на 20 век. американският изследовател Ф. Тейлър установява, че най-развитите работници в производството имат ниска производителност на труда. Тоест високото ниво на тяхното умствено развитие им пречи да работят високопродуктивно. В този случай анализът на дисперсията или изчисляването на корелационните съотношения биха били по-подходящи за изчисляване на коефициента на валидност.

Както показва опитът на чуждестранните тестолози, нито една статистическа процедура не може да отрази напълно разнообразието от индивидуални оценки. Затова често се използва друг модел за доказване на валидността на методите – клиничните оценки. Това не е нищо повече от качествено описание на същността на изследваното свойство. В този случай говорим за използване на техники, които не се основават на статистическа обработка.

Видове валидност

Валидността по своята същност е комплексна характеристика, включваща, от една страна, информация дали техниката е подходяща за измерване на това, за което е създадена, а от друга страна, каква е нейната ефективност, ефикасност и практическа полезност.

Проверката на валидността на дадена техника се нарича валидиране.

4 вида външни критерии:

критерии за изпълнение (те могат да включват количество извършена работа, академично представяне, време, прекарано в обучение, скорост на растеж на квалификациите и т.н.);

субективни критерии (те включват различни видове отговори, които отразяват отношението на човек към нещо или някого, неговото мнение, възгледи, предпочитания; обикновено субективните критерии се получават чрез интервюта, въпросници, въпросници);

физиологични критерии (използват се при изследване на влиянието на околната среда и други ситуационни променливи върху човешкото тяло и психика; измерват се пулс, кръвно налягане, електрическо съпротивление на кожата, симптоми на умора и др.);

критерии за случайност (прилага се, когато целта на изследването засяга, например, проблема с подбора за работа на такива лица, които са по-малко склонни към злополуки).

емпирична валидност.

Ако в случай на валидност на съдържанието тестът се оценява от експерти (които установяват съответствието на тестовите елементи със съдържанието на обекта на измерване), тогава емпиричната валидност винаги се измерва с помощта на статистическа корелация: корелацията на две серии от стойности изчислява се - тестови резултати и показатели за външен параметър, избран като критерий за валидност.

конструктна валидност.

Конструктивната валидност е свързана със самата теоретична конструкция и включва търсене на фактори, които обясняват поведението при извършване на тест. Като специален тип конструктната валидност е канонизирана в статия на Кронбах и Мил (1955). Авторите оцениха с този тип валидност всички тестови проучвания, които не бяха пряко насочени към прогнозиране на някои значими критерии. Проучването съдържа информация за психологически конструкти.

Валидност "по съдържание".

Валидността на съдържанието изисква всеки елемент, проблем или въпрос, който принадлежи към определена област, да има равен шанс да бъде тестов елемент. Валидността на съдържанието оценява съответствието на съдържанието на теста (задачи, въпроси) с измерената област на поведение. Тестовете, съставени от два екипа за разработка, се провеждат върху извадка от теми. Надеждността на тестовете се изчислява чрез разделяне на елементите на две части, което води до индекс на валидност на съдържанието.

"Прогностична" валидност.

„Прогнозната“ валидност също се определя от доста надежден външен критерий, но информацията за него се събира известно време след теста. Външният критерий обикновено е способността на човек, изразена в някои оценки, към вида дейност, за която е избран въз основа на резултатите от диагностичните тестове. Въпреки че тази техника е най-подходяща за задачата на диагностичните техники - прогнозирането на бъдещия успех, прилагането й е много трудно. Точността на прогнозата е обратно пропорционална на времето, дадено за такава прогноза. Колкото повече време минава след измерването, толкова повече фактори трябва да се вземат предвид при оценката на прогностичната значимост на техниката. Въпреки това е почти невъзможно да се вземат предвид всички фактори, които влияят на прогнозата.

"Ретроспективна" валидност.

Определя се въз основа на критерий, който отразява събитията или състоянието на качеството в миналото. Може да се използва за бързо получаване на информация за предсказващите възможности на техниката. По този начин, за да се тества степента, в която добрите резултати на теста за способности съответстват на бързо учене, човек може да сравни минали оценки, минали експертни мнения и т.н. при лица с високи и ниски диагностични показатели в момента.

конвергентна и дискриминантна валидност.

Начинът, по който психологът дефинира диагностичния конструкт, определя стратегията за включване на определени елементи в теста. Ако Айзенк дефинира свойството "невротизъм" като независимо от екстраверсия-интроверсия, това означава, че в неговия въпросник трябва да има приблизително равен брой елементи, с които невротичните интроверти и невротичните екстроверти ще се съгласят. Ако на практика се окаже, че тестът ще бъде доминиран от айтеми от квадранта "Невротизъм-Интроверсия", то от гледна точка на теорията на Айзенк това означава, че факторът "невротизъм" се оказва натоварен с нерелевантно фактор - "интровертност". (Ако в извадката има отклонение - ако в нея има повече невротични интроверти, отколкото невротични екстраверти, се получава абсолютно същия ефект.)

За да не се сблъскват с подобни трудности, психолозите биха искали да работят с такива емпирични показатели (точки), които недвусмислено информират само за един фактор. Но това изискване никога не е реално изпълнено: всеки емпиричен показател се оказва, че се определя не само от необходимия ни фактор, но и от други - без значение за задачата на измерване.

По този начин, по отношение на фактори, които са концептуално дефинирани като ортогонални на измереното (срещащи се с него във всички комбинации), компилаторът на теста трябва да приложи стратегия за изкуствено балансиране, когато избира елементи.

Съответствието на елементите с измерения фактор гарантира конвергентната валидност на теста. Балансът на елементите по отношение на нерелевантни фактори осигурява дискриминантна валидност. Емпирично се изразява в липсата на значима корелация с тест, който измерва концептуално независимо свойство.

Видове валидност

Има няколко вида валидност поради особеностите на диагностичните методи, както и временния статус на външния критерий. ; В Черни, 1983; "Обща психодиагностика", 1987 и др.) Най-често се наричат следните:

1. Валидност "по съдържание". Тази техника се използва главно при тестове за постижения. Обикновено тестовете за постижения не включват целия материал, който учениците са преминали, а малка част от него (3-4 въпроса). Възможно ли е да сме сигурни, че правилните отговори на тези няколко въпроса свидетелстват за усвояването на целия материал. Това трябва да отговори проверката за валидност на съдържанието. За да направите това, се извършва сравнение на успеха на теста с експертни оценки на учителите (за този материал). Валидността „по съдържание“ важи и за тестове, базирани на критерии. Тази техника понякога се нарича логическа валидност.

2. Валидността на „едновременността“ или текущата валидност се определя от външен критерий, чрез който информацията се събира едновременно с експериментите с метода за изпитване. С други думи, събират се данни, свързани с текущото времево представяне в тестовия период, представяне през същия период и т.н. Резултатите от успеха на теста са свързани с това.

3. „Прогнозна“ валидност (друго име е „предсказуема“ валидност). Той също се определя от доста надежден външен критерий, но информацията за него се събира известно време след теста. Външният критерий обикновено е способността на човек, изразена в някои оценки, към вида дейност, за която е избран въз основа на резултатите от диагностичните тестове. Въпреки че тази техника е най-подходяща за задачата на диагностичните техники - прогнозирането на бъдещия успех, прилагането й е много трудно. Точността на прогнозата е обратно пропорционална на времето, дадено за такава прогноза. Колкото повече време минава след измерването, толкова повече фактори трябва да се вземат предвид при оценката на прогностичната значимост на техниката. Въпреки това е почти невъзможно да се вземат предвид всички фактори, които влияят на прогнозата.

4. "Ретроспективна" валидност. Определя се въз основа на критерий, който отразява събитията или състоянието на качеството в миналото. Може да се използва за бързо получаване на информация за предсказващите възможности на техниката. По този начин, за да се тества степента, в която добрите резултати на теста за способности съответстват на бързо учене, човек може да сравни минали оценки, минали експертни мнения и т.н. при лица с високи и ниски диагностични показатели в момента.

Корелация

Корелация (корелационна зависимост) - статистическа връзка на две или повече случайни променливи (или променливи, които могат да се считат за такива с някаква приемлива степен на точност). В същото време промените в стойностите на една или повече от тези величини водят до систематична промяна в стойностите на друга или други величини. Математическа мярка за корелацията на две случайни променливи е съотношението на корелация или коефициентът на корелация (или). Ако промяната в една случайна променлива не води до редовна промяна в друга случайна променлива, но води до промяна в друга статистическа характеристика на тази случайна променлива, тогава такава връзка не се счита за корелация, въпреки че е статистическа.

За първи път терминът "корелация" е въведен в научното обращение от френския палеонтолог Жорж Кювие през 18 век. Той разработи "закона за корелация" на частите и органите на живите същества, с помощта на който е възможно да се възстанови външният вид на изкопаемо животно, разполагайки само с част от неговите останки. В статистиката думата "корелация" е използвана за първи път от английския биолог и статистик Франсис Галтън в края на 19 век.

Някои видове корелационни коефициенти могат да бъдат положителни или отрицателни (също така е възможно да няма статистическа връзка - например за независими случайни променливи). Ако се приеме, че върху стойностите на променливите е посочено строго отношение на реда, тогава отрицателна корелация е корелация, при която увеличението на една променлива е свързано с намаляване на друга променлива, докато коефициентът на корелация може да бъде отрицателен ; положителна корелация при такива условия - корелация, при която увеличението на една променлива е свързано с увеличение на друга променлива, докато коефициентът на корелация може да бъде положителен.

Валидността (от английски valid - „валиден, подходящ, валиден“) е комплексна характеристика на методология (тест), включваща информация за областта на изследваните явления и представителността на диагностичната процедура по отношение на тях.

В своята най-проста и най-обща формулировка, валидността на теста е „концепция, която ни казва какво измерва тестът и колко добре го прави“. В стандартните изисквания за психологически и образователни тестове валидността се дефинира като набор от информация за това кои групи психологически свойства на дадено лице могат да бъдат заключени с помощта на методологията, както и степента на валидност на заключенията при използване на конкретни тестови резултати или други форми на оценяване. В психодиагностиката валидността е задължителна и най-важна част от информацията за методиката, включваща (наред с горното) данни за степента на съответствие на резултатите от теста с друга информация за изследваното лице, получена от различни източници (теоретични очаквания). , наблюдения, експертни оценки, резултати от други методи, чиято надеждност е установена и др.), преценка за валидността на прогнозата за развитието на изследваното качество, връзката на изследваната област на поведение или личностни черти с определени психологически конструкции. Валидността също описва специфичната ориентация на методологията (контингента на субектите по възраст, ниво на образование, социокултурна принадлежност и др.) И степента на валидност на заключенията в конкретните условия на използване на теста. Съвкупността от информация, характеризираща валидността на теста, съдържа информация за адекватността на приложения модел на дейност по отношение на отразяването на изследваните психологически характеристики в него, за степента на хомогенност на задачите (подтестовете), включени в теста, тяхната сравнимост в количествена оценка на резултатите от теста като цяло.

Най-важният компонент на валидността - определянето на областта на изследваните свойства - е от фундаментално теоретично и практическо значение при избора на изследователска методология и интерпретирането на нейните данни. Информацията, съдържаща се в името на теста, като правило е недостатъчна, за да се прецени обхватът на неговото приложение. Това е само обозначение, „име“ на определена изследователска процедура.

Видове валидност на теста. Методи за определяне на валидността

Според определението на американския текстолог А. Анастази „валидността на теста е понятие, което ни казва какво измерва тестът и колко добре го прави“. Валидността показва дали техниката е подходяща за измерване на определени качества, характеристики и колко ефективно прави това. Най-често срещаният начин за намиране на теоретичната валидност на тест (метод) е конвергентната валидност, тоест сравняване на дадена техника с авторитетни сродни методи и доказване на значителни връзки с тях.

Сравнението с методи, които имат различна теоретична основа, и постоянната липса на значими връзки с тях се нарича дискриминантна валидност. Друг вид валидност – прагматичната валидност – проверка на методиката от гледна точка на нейната практическа значимост, ефективност, полезност. За провеждане на такъв тест по правило се използват така наречените независими външни критерии, т.е. използва се външен източник на информация, независим от теста, за проявлението в реалния живот и дейността на хората на измерено умствено свойство. Сред такива външни критерии могат да бъдат академично представяне, професионални постижения, успех в различни дейности, субективни оценки (или самооценки). Ако, например, методологията измерва характеристиките на развитието на професионално важни качества, тогава за критерия е необходимо да се намери такава дейност или отделни операции, където тези качества се реализират.

За да проверите валидността на теста, можете да използвате метода на известните групи, когато са поканени хора, за които е известно към коя група според критерия принадлежат (например група от "високо успешни, дисциплинирани студенти" - висок критерий и група от „лоши, недисциплинирани ученици“ - нисък критерий, а учениците със средни стойности не участват в тестването), провеждат тестване и намират връзка между резултатите от теста и критерия.

Тук a е броят на субектите, попаднали във високата група според теста и според критерия, c е броят на субектите, които са попаднали във високата група според критерия и имат ниски резултати от теста. Ако тестът е напълно валиден, елементите b и c трябва да са равни на нула. Мярката за съвпадение, корелацията между екстремните групи според теста и критерия се оценява с помощта на коефициента на Guilford phi. Има много различни начини за доказване на валидността на даден тест. Казва се, че тестът е валиден, ако измерва това, което е предназначен да измери. Външна валидност - по отношение на психодиагностичните методи означава съответствието на резултатите от психодиагностиката, извършена с този метод, на външни признаци, независими от метода, които се дължат на обекта на изследването. Означава приблизително същото като емпирична валидност, с тази разлика, че тук говорим за връзката между показателите на методиката и най-важните, ключови външни характеристики, свързани с поведението на субекта. Една психодиагностична техника се счита за външно валидна, ако например оценява чертите на характера на индивида и неговото външно наблюдавано поведение съответства на резултатите от теста.

Валидността е вътрешна - по отношение на психодиагностичните методи означава съответствието на съдържащите се в него задачи, субтестове; съответствие на резултатите от психодиагностиката, извършена с тази техника, с дефиницията на оцененото психологическо свойство, използвано в самата техника. Една методология се счита за вътрешно валидна или недостатъчно валидна, когато всички или част от въпросите, задачите и подтестовете, включени в нея, не измерват това, което се изисква от тази методология. Привидна валидност - описва възприемането на теста, което се е развило в субекта. Тестът трябва да се възприема от субекта като сериозен инструмент за разбиране на неговата личност. Очевидната валидност е от особено значение в съвременните условия, когато идеята за тестове в общественото съзнание се формира от многобройни публикации в популярни вестници и списания на това, което може да се нарече квазитестове, с помощта на които читателят е поканен да определя всичко: от интелигентност до съвместимост с бъдещ съпруг.

Конкурентната валидност се оценява чрез съотношението на разработения тест с други, чиято валидност по отношение на измервания параметър е установена. П. Клайн отбелязва, че данните за конкурентната валидност са полезни, когато има незадоволителни тестове за измерване на някои променливи и се създават нови, за да се подобри качеството на измерването. Но възниква въпросът: ако вече съществува ефективен тест, защо се нуждаем от същия нов? Прогнозната валидност се установява чрез корелацията между резултатите от теста и някакъв критерий, който характеризира свойството, което се измерва, но в по-късен момент. Например, предсказуемата валидност на тест за интелигентност може да бъде показана чрез съпоставяне на неговите резултати, получени от субект на 10-годишна възраст, с академичното представяне по време на периода на завършване на гимназията. Л. Кронбах смята предсказуемата валидност за най-убедителното доказателство, че тестът измерва точно това, за което е предназначен. Основният проблем, пред който е изправен изследователят, опитващ се да установи предсказващата валидност на своя тест, е изборът на външен критерий. По-специално, това най-често се отнася до измерването на личностни променливи, където изборът на външен критерий е изключително трудна задача, чието решение изисква значителна изобретателност. Ситуацията е малко по-проста при определяне на външен критерий за когнитивни тестове, но дори и в този случай изследователят трябва да „затвори очи“ за много проблеми. По този начин академичните постижения традиционно се използват като външен критерий за валидиране на тестовете за интелигентност, но в същото време е добре известно, че академичните постижения далеч не са единственото доказателство за висока интелигентност. Инкременталната валидност е с ограничена стойност и се отнася до случая, когато един тест от набор от тестове може да има ниска корелация с критерий, но да не се припокрива с други тестове от набора. В този случай тестът има инкрементална валидност. Това може да бъде полезно при извършване на професионален подбор чрез психологически тестове. Диференциалната валидност може да бъде илюстрирана с помощта на тестове, представляващи интерес. Тестовете за интереси обикновено корелират с академичното представяне, но по различни начини за различните дисциплини. Стойността на диференциалната валидност, както и на инкременталната валидност, е ограничена.

Валидността на съдържанието се определя като потвърждение, че тестовите елементи отразяват всички аспекти на изследваната област на поведение. Обикновено се определя в тестове за постижения (значението на измервания параметър е напълно ясно), които, както вече беше споменато, всъщност не са психологически тестове. На практика, за да се определи валидността на съдържанието, се избират експерти, които посочват коя област на поведение е най-важна, например за музикални способности, и след това въз основа на това се генерират тестови елементи, които отново се оценяват от експерти. Конструктивната валидност на теста се демонстрира възможно най-пълно чрез описание на променливата, която тестът е предназначен да измерва. Всъщност конструктната валидност включва всички подходи за определяне на валидността, които са изброени по-горе. Cronbach и Meehl, които въведоха концепцията за конструктна валидност в психодиагностиката, се опитаха да решат проблема с избора на критерии за валидиране на теста. Те подчертаха, че в много случаи нито един критерий не може да служи за валидиране на един тест. Можем да приемем, че решението на въпроса за конструктивната валидност на теста е търсене на отговор на два въпроса: 1) съществува ли наистина определено свойство; 2) дали този тест измерва надеждно индивидуалните различия в това свойство. Съвсем ясно е, че проблемът за обективността при интерпретацията на резултатите от изследването на конструктната валидност е свързан с конструктната валидност, но този проблем е общопсихологически и надхвърля валидността.

За да бъде един психолого-педагогически експеримент достатъчно надеждно средство за изследване и да позволи получаването на напълно надеждни резултати, на които да се вярва и въз основа на които да се правят правилни практически изводи, е необходимо използваните в него психодиагностични методи да бъдат научно обосновани. Те се считат за методи, които отговарят на следните изисквания: валидност, надеждност, недвусмисленост и точност.

Срок "валидност" буквално означава: "пълен", "подходящ", "съответстващ". Валидността е присъща това е комплексна характеристика, включваща, от една страна, информация дали техниката е подходяща за измерване на това, за което е създадена, а от друга страна, каква е нейната ефективност, ефикасност. Тестване на валидността на дадена техника се нарича валидиране.

Има няколко разновидности на валидност, всяка от които трябва да се разглежда и оценява отделно, когато става въпрос за определяне на валидността на дадена психодиагностична техника. Валидността може да бъде теоретични и практически (емпирични), вътрешни и външни.

Теоретична валидностсе определя от съответствието на показателите за изследваното качество, получени с помощта на този метод, на показателите, получени с други методи - тези, с показателите на които трябва да има теоретично обоснована зависимост. Теоретичната валидност се проверява чрез корелации на показатели за едно и също свойство, получени с помощта на различни методи, базирани или изхождащи от една и съща теория.

Емпирична валидностсе проверява чрез съответствието на диагностичните показатели с реалното поведение, наблюдаваните действия и реакции на субекта. Ако, например, с помощта на някаква методика, ние оценяваме чертите на характера на даден субект, тогава прилаганата методика ще се счита за практически или емпирично валидна, когато установим, че този човек се държи в живота точно както методологията предвижда, т. според неговата личностна черта. Според критерия за емпирична валидност методологията се проверява чрез сравняване на нейните показатели с поведението в реалния живот или резултатите от практическата дейност на хората.

Валидността е вътрешнаозначава съответствието на задачите, подтестовете, преценките и т.н., съдържащи се в методиката. общата цел и дизайн на методологията като цяло. Счита се за вътрешно невалиден или недостатъчно вътрешно валиден, когато всички или част от въпросите, задачите или подтестовете, включени в него, не измерват това, което се изисква от тази методология.

Външна валидност - това е приблизително същото като емпиричната валидност, с единствената разлика, че в този случай говорим за връзката между показателите на методологията и най-важните, ключови външни характеристики, свързани с поведението на субекта.

При създаването на методология е трудно веднага да се оцени нейната валидност. Обикновено валидността на дадена методика се проверява и усъвършенства в хода на доста дългото й използване, още повече, че говорим за проверка от поне четирите страни, описани по-горе.

Няма единен универсален подход към дефиницията на валидността. В зависимост от това коя страна на валидността иска да разгледа изследователят, се използват и различни методи за доказване. С други думи, понятието валидност включва различните му видове, които имат свое специално значение.

Има четири вида външни критерии използвани за доказване на валидност:

1) критерии за ефективност (те могат да включват количество извършена работа, академични постижения, време, прекарано в обучение, темп на нарастване на квалификациите;

2) субективни критерии (те включват различни видове отговори, които
отразяват отношението на човек към нещо или някого, неговото мнение, възгледи,
предпочитания; обикновено субективни критерии се получават с помощта на интервюта, въпросници, въпросници);

3) физиологични критерии (използват се при изследване на влиянието на околната среда и други ситуационни променливи върху човешкото тяло и психика; измерват се пулс, кръвно налягане, електрическо съпротивление на кожата, симптоми на умора и др.);

4) критерии за случайност (използва се, когато целта на изследването се отнася например до проблема с подбора за работа на хора, които са по-малко склонни към злополуки).

Търсенето на адекватен и лесно разпознаваем критерий е една от най-важните и трудни задачи на валидирането.

Има няколко видове валидност, поради особеностите на диагностичните методи, както и временния статус на външен критерий:

1) Валидност "по съдържание". Тази техника се използва главно при тестове за постижения. Обикновено тестовете за постижения не включват целия материал, който учениците са преминали, а малка част от него (3-4 въпроса). Възможно ли е да сме сигурни, че правилните отговори на тези няколко въпроса свидетелстват за усвояването на целия материал. Това трябва да отговори проверката за валидност на съдържанието. За да направите това, се извършва сравнение на успеха на теста с експертни оценки на учителите (за този материал). Валидността „по съдържание“ важи и за тестове, базирани на критерии. Понякога тази техника се нарича логическа валидност.

2) Валидност "по едновременност", или текуща валидност, се определя от външен критерий, според който информацията се събира едновременно с
експерименти по тествания метод. С други думи, събират се данни, които се отнасят до настоящето (напредък по време на пробния период, представяне през същия период и т.н.). Те корелират с резултатите от успеха на теста.

3) "предсказуема валидност . Той също се определя от доста надежден външен критерий, но информацията за него се събира известно време след теста. Външният критерий обикновено е способността на човек, изразена в някои оценки, към вида дейност, за която е избран въз основа на резултатите от диагностичните тестове. Въпреки че тази техника е най-подходяща за задачата на диагностичните техники - прогнозирането на бъдещия успех, прилагането й е много трудно. Точността на прогнозата е обратно пропорционална на времето, дадено за такава прогноза. Колкото повече време минава след измерването, толкова повече фактори трябва да се вземат предвид при оценката на прогностичната значимост на техниката. Въпреки това е почти невъзможно да се вземат предвид всички фактори, които влияят на прогнозата.

4) "Ретроспективна" валидност. Определя се въз основа на критериите
отразяващи събитие или състояние на качеството в миналото. Може да се използва за бързо получаване на информация за предсказващите възможности на техниката. По този начин, за да се тества степента, в която добрите резултати на теста за способности съответстват на бързо учене, човек може да сравни минали оценки, минали експертни мнения и т.н. при лица с високи и ниски диагностични показатели в момента.

При представяне на данни за валидността на разработената методика е важно да се уточни точно за какъв тип валидност се има предвид (по съдържание, по едновременност и др.). Желателно е също така да се докладва информация за броя и характеристиките на лицата, на които е извършено валидиране. Такава информация позволява на изследователя, използващ техниката, да реши доколко тази техника е валидна за групата, към която
който възнамерява да го използва. Както при надеждността, трябва да се помни, че една техника може да има висока валидност в една проба и ниска валидност в друга. Следователно, ако изследователят планира да използва методологията върху извадка от субекти, която е значително различна от тази, върху която е извършен тестът за валидност, той трябва да извърши повторно такъв тест.

В допълнение към видовете валидност е важно да се знае критерии за валидност . Това са основните признаци, по които практически може да се прецени дали тази техника е валидна или не. Тези критерии могат да бъдат следните:

1. Поведенчески индикатори - реакции, действия и постъпки на субекта в различни житейски ситуации.

2. Постижения на субекта в различни дейности: учебни, трудови, творчески и др.

3. Данни, показващи изпълнението на различни контролни проби и задачи.

4. Данни, получени с помощта на други методи, чиято валидност или връзка с изпитвания метод се считат за надеждно установени.

12. Концепцията за валидност, надеждност, надеждност в психодиагностиката.

Надеждност- един от критериите за методите за изпитване. A. Anastasi, Kronbach, Thorndike допринесоха за развитието на този критерий.

Надеждността е относителната постоянство, стабилност, последователност на резултатите от теста по време на първоначалните и повторните измервания на едни и същи субекти. Необходимо е да се повтори измерването на същата проба. Възможни са разлики, но те трябва да са незначителни. По този начин надеждността говори за точността и стабилността на резултатите спрямо действието на случайни фактори.

Общото разпространение може да бъде резултат от две групи причини:

Изменчивостта, присъща на самата черта.

Фактори на околната среда, които могат да повлияят

Процедури за изчисляване на надеждността:

Провеждане на същата форма на тест. (надеждност при повторен тест), изчисляване на коефициента на корелация. Интервалът между тестовете е от един до няколко месеца.

Провеждане на паралелни форми на тестове. При провеждане на изследване с еквивалентна форма на теста специалистът е убеден в правилността на избраната характеристика. За да се считат тестовите форми за еквивалентни, трябва да е еднакъв брой задачи в двата теста, задачите да са унифицирани, задачите да са подредени в еднаква степен на сложност, да има еднакъв среден и стандартен отклонение. Използват се два подхода за изчисляване на надеждността с помощта на паралелни форми на тестове:

Едни и същи предмети се изследват с помощта на един и същ тест. И след това още един, и ако коефициентът на корелация е по-голям от 0,7, тогава надеждността е висока.

Изследваните се разделят на две групи, едната група преминава тест А, другата тест Б, седмица по-късно - обратното.

Разделяне на теста и изчисляване на коефициента на корелация. Субектите изпълняват две части от теста, които са еквивалентни. Всички четни задачи попадат в едната част, а нечетните в другата. Тази процедура показва последователността на теста в себе си, мярката за адекватност на подбора на въпроси. Изчислява се коефициентът на корелация.

Коефициентът на надеждност съответства на коефициента на корелация на Spearman или Pisron.

Коефициент на надеждност-дисперсия - метод за определяне на надеждността, основан на анализа на дисперсията на резултатите от теста. Надеждността на теста съответства на съотношението на истинската дисперсия (т.е. дисперсията на изследвания фактор) към действително получената емпирична дисперсия. Последната е сумата от истинската дисперсия и дисперсията на грешката на измерване. Факторно-аналитичният подход към дефинирането на надеждността допълнително разчленява дисперсията на истинския показател (J. Gilford, 1956).

Дисперсията на истинския индикатор от своя страна може да се състои от дисперсията на общия фактор за групи от подобни тестове, специфични фактори, които осигуряват тестове със специфичен фокус, и дисперсията на факторите, присъщи на конкретен метод за тестване. Следователно общата дисперсия на теста е равна на сумата от дисперсиите за общите, специфичните и единичните фактори плюс дисперсията на грешката

Факторно-вариационният метод за определяне на надеждността е подходящ за оценка на вече факторизиран тест, но не и за тестове, които измерват широк диапазон от различни параметри, тъй като някои от тях може да не са включени в установената област на валидност на методологията.

Надеждност и допустима грешка при измерване:

Надеждността се определя от критерия за грешка на измерването. Грешката е статистика, която характеризира степента на точност на отделните измервания. Предполага се, че за всяка черта всеки индивид има истински резултат. Всеки показател, получен в теста, се различава от истинската си стойност с някаква случайна грешка. И ако тествате човек няколко пъти, получавате разпространение на индикатора около истинската стойност. Тази стойност варира в определени граници. Флуктуацията на тази стойност може да зависи от систематични и случайни грешки. Причините за системни грешки могат да бъдат неправилно тестване, неспазване на процедурата, неточност в обработката, ниска валидност на метода. Вероятни са и случайни грешки, свързани с човешкия фактор. Ако такива грешки не са включени в методологията, тогава тя не може да се счита за точна. При голям брой наблюдения индивидуалните оценки формират определен тип разпределение на статистиката, което ще разкрие грешки в измерването. Грешката на измерване се определя чрез статистически методи - стойността на квадратното отклонение, свързана с дисперсията на разпределението на отделните измервания. Грешката не трябва да надвишава 5%.

Валидност:

Валидността е способността на теста да измерва това, което е предназначен да измерва. Това понятие вече не се отнася до теста, а до неговата цел. Един тест може да е надежден, но невалиден. Но ако тестът е валиден, значи е надежден.

Източници на идеи за валидност:

Първите идеи се появиха още преди създаването на тестове. Често изследователите свързват резултатите от изследванията с бъдещи успехи. Например Питагор свързва мисленето и речта с помощта на интуицията.

Идеята за необходимостта от практическа проверка на пригодността на теста. Извън практиката проблемът с валидността не може да съществува.

Философски идеи: истината е съответствието на мисълта с реалността. Критерият за истината е полезността.

Измерванията, които правим, не са очевидни, те изискват теоретична основа. Теоретична = емпирична валидност.

Развитие на статистическата наука – корелационен и факторен анализ.

Пет източника породиха пет вида валидност.

В началото на 20 век интуицията играе водеща роля. Ако създателят на теста е известна личност, тогава вярата в валидността е взета на думата им.

През 20-те и 30-те години на миналия век изискванията на практиката нарастват, започват да се създават тестове въз основа на емпирични източници. Разработени са три емпирични подхода:

Всички кандидати за работа се тестват. С течение на времето се измерва тяхната производителност и ефективност. След това дойде корелацията на показателите. Така че тестовете бяха използвани за полезност.

Първо се тестват тези, които вече работят успешно, а след това резултатите от това тестване се съпоставят с резултатите на кандидатите. Ако има връзка, тогава тестът е валиден.

Произведения на Бине и Симон. За да сте сигурни, че тестът измерва интелигентността. Всички тестови задачи бяха проведени на две групи, които бяха избрани не от психолози, а от учители. В група 1 имаше деца с високи умствени способности, в група 2 - с неизявени способности.Този метод беше наречен "експертен". Проведени са допълнителни тестове. И ако и в двете групи мнозинството отговори в съответствие с очакванията на авторите, тогава тестът беше признат за валиден.

Така емпиричните методи за обосноваване на валидността съществуват до 50-те години на миналия век. Те започнаха да вярват, че е възможно да се докаже валидността не само с помощта на практиката. Анализ и съответствие между теория и практика. Валидност на съдържанието, сравнение с учебната програма и съдържанието на теста. Сравнението се улеснява, когато програмата подчертава проблема, целта и ключовите концепции. Концептуална валидност, тъй като психолозите се интересуват от свързването на научни концепции с емпирично наблюдавани факти.

В емпиричните методи за доказване на валидността специална роля играят външни критерии, които служат като доказателство за валидност. Американските психолози Тифани и Маккормик анализираха използването на външни критерии и идентифицираха 4 вида от тях:

Критерий за изпълнение - количеството извършена работа, скоростта на растеж на умението

Субективен критерий - включването на различни видове отговори, които отразяват отношението към нещо.

Физиологичен критерий – използва се при изследване на околната среда.

Критерият за случайност е отчитането на много фактори.

Външните критерии трябва да отговарят на изискванията за релевантност, свобода от намеса, надеждност. Релевантността е семантично съответствие между тест и жизненоважен критерий, независим от него. Свободата от намеса (замърсяване) се счита за важна, тъй като дейността се влияе от самия човек и неговите условия на труд. Надеждност - постоянство на резултатите

Диагностичен (състезателен) Б. отразява способността на теста да диференцира субектите според изследваната черта. Анализът на диагностичния В. е свързан с установяване на съответствието между тестовите показатели и реалното състояние на психологическите характеристики на субекта към момента на изследването. Пример за дефиницията на този тип V. може да бъде изследване, използващо метода на контрастните групи. Провеждането на тест за интелигентност при нормално развиващи се деца и техните връстници с интелектуални затруднения може да разкрие дълбоки количествени и качествени разлики в изпълнението на задачите от сравняваните групи. Степента на надеждност на диференциацията на децата от първа и втора група според данните от теста ще бъде характеристика на диагностичната V. оценка на умственото развитие, получена с помощта на тази техника.

Валидност на съдържанието(вътрешен, логически) - набор от информация за представителността на тестовите елементи по отношение на измерените свойства и характеристики. Едно от основните изисквания за валидиране на методиката в тази насока е отразяването в съдържанието на теста на ключовите аспекти на изследвания психологически феномен. Ако областта на поведение или характеристика е много сложна, тогава смисленият V. изисква представянето в задачите на теста на всички най-важни съставни елементи на изследваното явление.

диференциал AT. - валидност, която разглежда вътрешните връзки между психологическите фактори, диагностицирани с помощта на психодиагностична техника. Съдържание D.V. може да се илюстрира с примера на интересни тестове, които в по-голямата си част обикновено са умерено свързани с показателите за цялостно академично представяне, но са свързани в различна степен с представянето в отделните дисциплини. V. d. е особено важен като показател за диагностичната стойност на техниките, използвани в професионалния подбор.

илюзорен V.(невярно) - илюзията за съответствие на заключението въз основа на резултатите от теста с личните характеристики на субекта. Възниква в резултат на използването на изключително общи и следователно приложими към почти всички изследвани формулировки, като например „разумен при избора на цел“, „стреми се към по-добър живот“ и др. Такива твърдения се приемат от почти всички хора като точно описание на техните личности, което създава основата за дейността на различни видове гадатели и гадатели.

инкрементален AT. - (англ. incremental - увеличение, печалба) - един от компонентите на валидността на критерия, предсказуемата валидност на теста, отразяваща практическата стойност на методологията при подбора. В и. може да се определи количествено по отношение на валидността на коефициента.

Консенсус Б. (консенсуална валидност) - вид валидност, основана на установяване на връзка (корелация) на данни от теста с данни, получени от външни експерти, които са добре запознати с тези лица, които са били тествани. Концепцията и процедурата на V. to. са въведени от R. McCrae през 1982 г., за да се гарантира валидирането на личностните въпросници, което често е трудно (и понякога невъзможно) поради липсата на критерии, необходими за установяване на валидността.

Конструктивната V. е един от основните видове валидност, отразяващ степента на представяне на изследвания психологически конструкт в резултатите от теста. Като конструкция може да действа практическа или вербална интелигентност, емоционална нестабилност, интровертност, разбиране на речта, превключване на вниманието и т. н. С други думи, V. до. определя областта на теоретичната структура на психологическите феномени, измерени от теста .

Все пак трябва да се отбележи, че за разлика от валидирането на критериите, анализът на V. to. не изисква висока степен на връзка между резултатите от два теста. Ако се окаже, че новият и референтният тест са почти идентични по съдържание и резултати, а разработената методика няма предимствата на краткост или лекота на приложение, това означава само дублиране на теста, оправдано само от гледна точка. създаване на паралелна тестова форма. Смисълът на процедурата на V. до. е да се установи както сходството, така и разликата на психологическите феномени, измерени с новия тест, в сравнение с известния.

Важен аспект на V. to. е вътрешната последователност, отразяваща как определени елементи (задачи, въпроси), които съставляват тестовия материал, са подчинени на основната посока на теста като цяло, фокусирана върху изучаването на същите конструкции. Анализът на вътрешната съгласуваност се извършва чрез съпоставяне на отговорите на всяка задача с общия резултат от теста. При определяне на V. до. Важно място принадлежи на изследването на динамиката на измерения конструкт. В същото време можем да разчитаме на хипотези за възрастовото му развитие, влиянието на обучението, обучението, овладяването на професия и др.

Критерии V. - набор от характеристики, включително валидността на настоящите и прогностични методи и отразяващи съответствието на диагнозата и прогнозата с определен диапазон от критерии за измерваното явление. Валидирането на критерия е независимо от резултатите от теста и преките измервания на изследваното качество, като нивото на постижение във всяка дейност, степента на развитие на способността, тежестта на определена личностна черта и др. При валидиране на постиженията тестове, резултатът от измерването се сравнява с мнението на учителите за проверяваните знания в определена област, с академични оценки, контролни тестове и др. В случай на валидиране на тестове и методи за кариерно ориентиране, тестовите оценки се сравняват както с връстници, така и експертни оценки на мениджърите и с обективни показатели за постижения в професионалната област.

Очевидно V. - представа за теста, неговия обхват, ефективност и предсказуема стойност, която възниква в субекта или друго лице, което няма специална информация за естеството на употребата и целите на методологията. V. o. не е компонент на обективно установена валидност. В същото време високо V. около. в повечето случаи е много желателно. Той действа като фактор, който насърчава субектите да изследват, допринася за по-сериозно и отговорно отношение към работата по изпълнение на задачите на теста и към заключенията, формулирани от психолога.

Достатъчно ниво на V. около. особено значими за методите за изследване на възрастни. Представления на субекти и потребители на психодиагностична информация за V. o. до голяма степен се определя от името на техниката, тъй като тази част от информацията за теста е най-достъпна за неспециалисти. V. o. значително подобрява използването на разбираеми формулировки и термини, както и задачи, които са най-естествени по съдържание, като се вземат предвид възрастта, пола и професионалните особености на субектите. Неадекватно надценен V. около. допринася за по-изразена проява на ефекта от замърсяване на критерия.

V. o. понякога се нарича външна (валидност на лицето) или "увереност" (валидност на вярата), валидност.

V. по възрастова диференциация е един от компонентите на валидността на конструкта, свързан с възрастовата динамика на промените в изследваното качество. Характеризирането на валидността на конструкта тук се състои в определяне на съответствието на резултатите от теста с теоретично очакваните и практически наблюдаваните свързани с възрастта промени в даден конструкт или свойство.

Прогностичен V. - информация за степента на точност и валидност на техниката (теста) ви позволява да прецените диагностицираното психологическо качество след определено време след измерването. V. p. отразява интервала от време, до който се простира обосновката на такова решение. Информацията за V. p. е най-пряко свързана с разкриването на предсказващата сила на техниката, изясняването на степента на валидност на формулираната въз основа на нея непосредствена и по-далечна прогноза, анализ на значимостта на показателите, получени в теста с т.нар. екстраполиране на резултатите за бъдещето.

Като критерий за валидиране могат да действат не само показатели за действително поведение, но и очакваните резултати от дейността, лечението, обучението и т.н. резултатът от лечението и т.н. В същото време разликата между двата вида критерий за валидност е свързани не само с времевите граници на критериалните сравнения.Текуща валидност и V. стр. развитие на качеството или успех в дейността – от друга.

Значението на показателите на V. p. при анализа на тестовите процедури, насочени към подбор, се подчертава чрез въвеждането на специална концепция за инкрементална валидност. Този показател V. p. предоставя информация за това колко е подобрена процедурата за подбор с помощта на този тест в сравнение с традиционния (въз основа само на формална информация за предишни дейности, анализ на лични файлове, разговори).

Информационен комплекс на В. с. традиционно има най-голяма стойност за тестове, които изследват дейности, близки или съвпадащи с реалните (най-често образователни или професионални). Изследваната дейност по правило има синтетичен характер, тя се състои от много, понякога разнородни фактори (прояви на лични характеристики, набор от необходими знания и умения, специфични способности и др.). Ето защо една от най-важните задачи при създаването на адекватен модел на тестваната дейност е изборът на задачи, които ще обхванат основните аспекти на изследваното явление в правилното съотношение към реалната дейност като цяло.

Текущ V. (диагностичен, състезателен) - характеристика на теста, отразяваща способността му да разграничава субектите въз основа на диагностичен признак, който е обект на изследване в тази техника. Като такива признаци могат да действат нива на общи способности, претенции, вербална интелигентност, тревожност и пр. В по-тесен смисъл V.t. е установяване на съответствието на резултатите от валидиран тест с независим критерий, който отразява състоянието на качеството които се изследват от теста по време на изследването.

Един вид индикатор за V. t. е набор от информация за това колко удобен, икономичен е тестът в сравнение с получаването на информация за качеството, което се изследва от други източници (наблюдение, анализ на обективни данни, партньорска проверка и др.).

Екологичен V. - валидността на теста по отношение на измереното свойство в контекста на конкретна ситуация. V. e. е свойство на теста, проявяващо се във факта, че използването му при решаване на различни практически проблеми води до качествено различна интерпретация на резултатите от теста (V. N. Druzhinin, 1990).

Емпиричен Б.-набор от характеристики на валидността на теста, получени чрез сравнително статистически метод за оценка. Тя е свързана главно с областта на валидността на критериите и нейните два вида: текуща валидност и прогнозна валидност. Ако при определяне на валидността на смислен тест оценката на теста се извършва с помощта на различни качествени процедури за получаване на информация чрез описателни методи, като се използват експертни оценки и други източници на информация (за да се направи преценка за съответствието на тестовите задачи с съдържание на обекта на измерване), тогава V. e. винаги се измерва чрез статистическа корелация. Извършва се корелационен анализ на връзката между две серии от стойности - тестови резултати и показатели за външния параметър на изследваното свойство (или резултатите от друг тест, чиято валидност е известна).