Психодіагностика - Галян І. М. - Послідовність експертного оцінювання
Високу якість отриманих результатів забезпечує дотримання певного алгоритму дій при експертному оцінюванні. Моніторингова група, яка складається з експертів для організації експертизи, спочатку формулює дослідницьке завдання, підбирає компетентних фахівців, інструктує їх, розробляє оцінні параметри, забезпечує роботу експертів (технічне, математично-статистичне оброблення даних, логіко-семантичне оформлення суджень).
Оцінки експертів не завжди бувають точними, що нерідко зумовлюється їхніми особистісними якостями (некомпетентністю, упередженістю, несумлінністю, незацікавленістю в успіху справи, невпевненістю у собі) або прорахунками моніторингової групи (нечіткістю мети і завдань роботи, здійснення експертного опитування без спеціально розробленої програми, невиразністю інструкцій з оцінювання, недостатнім обліком впливу факторів, перекручуванням результатів експертизи, поверховістю в обробленні суджень експертів). Тому необхідно на цьому етапі подбати про максимальне наближення оцінок експертів до істини. Суб'єктивність експертного оцінювання не означає його неефективності, воно надає недостовірну інформацію лише через підбір некваліфікованих фахівців і неякісно організовану їх роботу.
Оцінювальна діяльність експертів передбачає:
1) підготовку до експертизи (вивчення порядку і правил оцінювання, ознайомлення зі способами реєстрації суджень, актуалізація знань у конкретній галузі);
2) дослідження об'єкта експертизи;
3) виникнення імпліцитної оцінки, за якої суб'єктивне враження слабо диференційоване і нестійке, не виражене засобами внутрішнього мовлення чи словами;
4) експлікацію (формулювання), а потім вербальне або символічне вираження оцінки;
5) перевірку правильності результату оцінювання;
6) аргументування оцінки;
7) участь в інформаційному обміні між експертами.
Робота експертів має бути стандартизованою. їх судження залежно від особливостей дослідження оформлюються у формі вільного чи стандартизованого інтерв'ю, анкетування з напівзакритими або відкритими питаннями.
Статистичне оброблення матеріалу традиційно здійснюють із застосуванням вимірювальних шкал: шкали найменувань, порядку (рангової), інтервалів, відношень (пропорцій). Моніторингова група, визначивши адекватний дослідженню тип вимірювальної шкали, розробляє для експертів конкретні параметри, які слід оцінити в індивідуальних судженнях.
Після оцінювання експертів дослідник перевіряє індивідуальні судження і обгрунтовує їх, виявляючи несуперечність складових; аналізує думки експертів, з'ясовуючи узгодженість їх між собою; виокремлює групу експертів з подібними та різними оцінками, визначаючи причини відмінності між індивідуальними думками; виявляє вплив компетентності експертів на зміст і обгрунтування їх оцінок.
На вірогідності результатів у процесі експертного оцінювання позначається оцінний суб'єктивізм, спричинений поліфункціональністю оцінки; необраховуваністю оцінних процедур; різним рівнем професійної підготовленості; індивідуально-особистісними особливостями експертів; сформованими до моменту оцінювання уявленнями про можливості досліджуваних; відмінностями в умінні абстрагуватися від наявних міжособистісних відносин з досліджуваними; характерологічними особливостями (відповідальність, сумлінність, зібраність, зацікавленість тощо); ситуаційними умовами оцінювання (втома); облаштуванням робочого місця (освітленість, температура приміщення); чергуванням різних за якістю відповідей або робіт; впливом на оцінку загального рівня досліджуваних. На вірогідність результатів експертного оцінювання також впливають:
- ефект ореолу (вплив на оцінку сформованих уявлень про можливості досліджуваних);
- ефект фасаду (залежність оцінки від враження, яке справив досліджуваний на момент оцінювання: зовнішній вигляд, стать, манери поведінки, логічність відповіді, впевненість);
- ефект контрасту (залежність оцінки від оцінок попередніх досліджуваних);
- ефект фону (вплив на оцінку загального рівня підготовленості досліджуваних).
Причиною перекручування результатів експертного оцінювання може бути специфіка оцінюваної сфери. За участю групи фахівців, які оцінюють об'єкт і дискутують про його характеристики, вплив багатьох причин спотворювань послаблюється, однак це не гарантує точності результатів.
При очному груповому оцінюванні недостовірність результатів може бути наслідком дії таких чинників:
1) прагнення до ідентифікації повідомлення з його джерелом, через що слухач приймає або спростовує думку залежно від ставлення до людини, яка її висловила, а не від реального змісту;
2) доцентровий тиск (усереднення експертних оцінок у процесі їх обговорення);
3) тенденція захищати власну позицію навіть після того, як експерт переконався в її неправильності;
4) прагнення домінувати, що виникає в осіб, які не є визнаними лідерами, але претендують на це;
5) вплив феномену "огрупнення мислення", що проявляється в підтриманні групового рішення;
6) нестійкість імпліцитної оцінки, що легко змінюється під впливом висловлених іншими експертами думок.
Ці фактори впливають і на підсумки групового оцінювання, що здійснюється в заочній формі, позбавленого безпосередньої взаємодії експертів між собою. Однак заочна форма експертизи передбачає кілька турів, що збільшує тривалість і трудомісткість процедури.
Отже, при збиранні інформації методом експертного оцінювання можлива організація й колективної роботи експертів. Наприклад, "мозкова атака" за заздалегідь підготовленим сценарієм, за якої експерти спільно розв'язують поставлені завдання, або метод комісії (виокремлення проблеми й обговорення різних пропозицій щодо її подолання). Одним із поширених технічних прийомів організації колективної роботи експертів є метод Дельфі, коли експерти розв'язують поставлені завдання, зберігаючи анонімність суджень. Опитування здійснюють методом ітерації у кілька турів. Починаючи з другого туру, експерти ознайомлюються з попередніми результатами в опрацьованому вигляді. Кожному експерту вказують на відхилення його оцінок, суджень від середніх значень. Якщо оцінка експерта сильно відрізняється від середньої, він повинен або аргументувати це відхилення, або внести уточнення у свої судження.
Помилки при проведенні експертизи пов'язані передусім з нечіткістю визначення цілей, неправильним добором експертів або невідповідністю цілей експертного опитування можливостям експертів, а також обранням неадекватної техніки її організації.
Схожі статті
-
Психодіагностика - Галян І. М. - Сутність експертного оцінювання
Метод експертного оцінювання є одним з різновидів опитування. Відрізняє його від масового опитування те, що респондентами є найкомпетентніші у...
-
Психодіагностика - Галян І. М. - 6.3. Експертне оцінювання у психологічному дослідженні
Метод експертного оцінювання є одним з різновидів опитування. Відрізняє його від масового опитування те, що респондентами є найкомпетентніші у...
-
Психодіагностика - Галян І. М. - Надійність тестів, її обчислення
Психологічний тест можна вважати ефективним за його відповідності таким основним умовам: застосування шкали інтервалів, надійність, валідність,...
-
Психодіагностика - Галян І. М. - Послідовність проведення інтерв'ю
Ефективність методу інтерв'ю залежить від дотримання послідовності процедур методу, зміст яких передбачає підготовчий, комунікативний та аналітичний...
-
Опитувальні методи (інтерв'ю, анкетування) широко застосовують для отримання психологічної інформації, оскільки за короткий проміжок часу можна зібрати...
-
Психодіагностика - Галян І. М. - 6.2. Опитувальні методи у психодіагностиці
Опитувальні методи (інтерв'ю, анкетування) широко застосовують для отримання психологічної інформації, оскільки за короткий проміжок часу можна зібрати...
-
Сучасні методи психодіагностики охоплюють дослідження усіх психічних процесів, властивостей і станів людини. Створення, опис і наукове визнання наукових...
-
Психодіагностика - Галян І. М. - Валідність тестів, особливості її визначення і перевірки
Представники різних напрямів у психології приписують поняттю "валідність" різне смислове навантаження: показник якості, тобто здатність методу...
-
Психодіагностика - Галян І. М. - Завдання загальної психодіагностики
Психодіагностична практика потребує спеціальної підготовки. Усі знання, уміння і навички, якими повинен володіти психолог-діагност, дуже складні, тому...
-
Психодіагностика - Галян І. М. - Типи емпіричних даних "L"-,"Q"-, "Т" - дані
У сучасній психології висновки психологів-практиків, не обгрунтовані на основі математично-статистичних методів, сприймаються як поверхові, суб'єктивні,...
-
У сучасній психології висновки психологів-практиків, не обгрунтовані на основі математично-статистичних методів, сприймаються як поверхові, суб'єктивні,...
-
Психодіагностика - Галян І. М. - Стандартизація і норми тестових показників
Якісна психодіагностична методика обов'язково повинна бути стандартизованою, а умови тестування, інструкції, вимоги до його проведення та оброблення...
-
Психодіагностика - Галян І. М. - Послідовність перевірки валідності
Вона відображає ступінь співвіднесення результатів тесту з базовими для нього теоретичними поняттями (конструктами). Тобто показує, наскільки результати,...
-
Психодіагностика - Галян І. М. - Змістова валідність
Представники різних напрямів у психології приписують поняттю "валідність" різне смислове навантаження: показник якості, тобто здатність методу...
-
Психодіагностика - Галян І. М. - Послідовність здійснення наукового спостереження
Для отримання повної і достовірної інформації на основі спостереження його слід проводити у відповідній послідовності: 1) визначення мети спостереження...
-
Психодіагностика - Галян І. М. - Проективні методики діагностування особистості
Перевагами проективної діагностики є можливість виявлення за її допомогою неусвідомлюваних або мало-усвідомлюваних психічних феноменів, прихованих від...
-
Психодіагностика - Галян І. М. - Оцінювання розподілу емпіричних даних
Для визначення способів математично-статистичного оброблення необхідно оцінити характер розподілу даних за всіма параметрами (ознаками). Для параметрів,...
-
Психодіагностика - Галян І. М. - Психологічне оцінювання у психодіагностиці
Першими про психологічне оцінювання почали вести мову американські психологи і психіатри, описуючи процедуру відбору осіб для розвідувальної та...
-
Психодіагностика - Галян І. М. - Психодіагностичний процес
Основним змістом діяльності психодіагноста є реалізація психодіагностичного процесу. Перед його початком слід ознайомитися із об'єктивними і...
-
Психодіагностика - Галян І. М. - Технологія конструювання тесту
Пріоритетним у психодіагностиці є дослідницький діагностичний метод, де ключову роль відіграють тести: психологічного оцінювання здібностей...
-
Психодіагностика - Галян І. М. - 2.2. Психометрія у структурі й психодіагностичних методів
Пріоритетним у психодіагностиці є дослідницький діагностичний метод, де ключову роль відіграють тести: психологічного оцінювання здібностей...
-
Психодіагностика - Галян І. М. - Телефонне опитування
Ефективність методу інтерв'ю залежить від дотримання послідовності процедур методу, зміст яких передбачає підготовчий, комунікативний та аналітичний...
-
Психодіагностика - Галян І. М. - Тест ММРІ як діагностичний інструмент вивчення особистості
Тест ММРІ, багатофакторний опитувальник особистості, розроблений американськими психологами С. Хатуей та Дж. Мак-Кінлі у 1940 р. в межах теорії рис...
-
Психодіагностика - Галян І. М. - Тести для діагностування соціального інтелекту
Соціальний інтелект, на відміну від абстрактного (розуміння думок, ідей і управління ними), механічного (розуміння конкретних об'єктів), виявляється в...
-
Психодіагностика - Галян І. М. - Оцінювання достовірності значень за t - критерієм Стьюдента
Найчастіше в психологічному дослідженні спостерігається завдання на виявлення відмінностей між двома або більше групами ознак. З'ясування таких...
-
Психодіагностика - Галян І. М. - Збирання даних
Основним змістом діяльності психодіагноста є реалізація психодіагностичного процесу. Перед його початком слід ознайомитися із об'єктивними і...
-
Психодіагностика - Галян І. М. - Сутність і види спостереження
Здобувати інформацію під час психологічного дослі дження можна не лише за допомогою стандартизованих методик (тестів), а й завдяки нетестовим оцінним...
-
Психодіагностика - Галян І. М. - 6.1. Спостереження як метод психологічного дослідження
Здобувати інформацію під час психологічного дослі дження можна не лише за допомогою стандартизованих методик (тестів), а й завдяки нетестовим оцінним...
-
Психодіагностика - Галян І. М. - 6. Нетестові методи у психодіагностиці
Здобувати інформацію під час психологічного дослі дження можна не лише за допомогою стандартизованих методик (тестів), а й завдяки нетестовим оцінним...
-
Психодіагностика - Галян І. М. - Комп'ютеризовані і комп'ютерні психодіагностичні тести
Комп'ютерна психодіагностика у розвинутих країнах почала формуватися у 60-ті роки XX ст. Спочатку було автоматизовано всі трудомісткі процедури...
Психодіагностика - Галян І. М. - Послідовність експертного оцінювання