А. С. Кусаинова, Б. С. Имашева, К. К. Досмамбетова, Л. Ж. Карсакбаева, Г. А.Дербисалина, А. У. Байдусенова, А. А. Кауышева, А. К. Ешманова
АНАЛИЗ РЕЗУЛЬТАТОВ ПРОБНОГО ТЕСТИРОВАНИЯ ВРАЧЕЙ-ИНТЕРНОВ
Карагандинский государственный медицинский университет, Республиканский центр инновационных технологий медицинского образования и науки
В целях реализации государственной программы «Саламатты Казахстан» Республиканский центр инновационных технологий медицинского образования и науки (РЦИТМОиН) совместно с Департаментом человеческих ресурсов и науки Министерства здравоохранения Республики Казахстан на протяжении двух последних лет проводил пробное независимое тестирование врачей -интернов медицинских вузов РК.
Экзаменацию выпускников ранее проводили только сами вузы, поэтому зачастую отмечался субъективный подход к оценке качества подготовки интернов. Основной причиной необъективно высоких показателей являлось отсутствие действенных механизмов внешнего контроля качества образования. Как свидетельствует международный опыт, в странах с эффективными системами образования, даже при нарастающей децентрализации, контроль качества остается строго централизованным.
Существенное влияние на повышение качества образования может оказать единый внешний независимый контроль и мониторинг качества образовательных услуг в организациях медицинского образования.
В 2011 г. Министерство образования Республики Казахстан внесло изменения и дополнения в Закон РК «Об образовании», в статью №55 с дополнениями п. 4, 5, 6 следующего содержания:
«Внешняя оценка учебных достижений является одним из видов независимого от организаций мониторинга за качеством обучения. Внешняя оценка учебных достижений осуществляется в целях оценки качества образовательных услуг и определения уровня освоения обучающимися образовательных учебных программ, предусмотренных ГОСО высшего образования».
В соответствии с Государственной программой развития образования Республики Казахстан на 2011-2020 гг. будет внедрена система внешней оценки учебных достижений учащихся (ВОУД). Процедуру планируется проводить методом компьютерного тестирования с применением новых информационных технологий. Данная система вводится в целях оценки качества образовательных услуг и определения уровня освоения обучающимися образовательных программ.
РЦИТМОиН в течение двух лет проводил компьютерное тестирование по всем специальностям интернатуры: терапии, хирургии, акушерству-гинекологии, педиатрии, детской хирургии, общей врачебной практике, стоматологии. Основной целью такой независимой экзаменации является повышение качества медицинского образования.
Сравнительный анализ результатов проведенного тестирования на протяжении двух лет показал улучшение показателей теоретических знаний выпускников. Это было связано с качеством базы тестовых заданий и с повышением ответственности как интернов, так и преподавателей. Если сравнить показатели среднего балла по вузам, то можно отметить стабильность показателей Карагандинского государственного медицинского университета (средний балл в 2010 г составил 74,0, что явилось лучшим результатом среди медицинских вузов, а в 2011 году - 80,3).
В 2011 г. резко уменьшилось по всем вузам количество неудовлетворительных оценок (с 40% в 2010 г. до 7,5% в 2011 г.). В 2011 г. в государственном медицинском университете г. Семей был отмечен минимальный процент неудо-
Рис. 1. Итоги тестирования (средний балл по вузам)
Рис. 2. Итоги тестирования (% неудовлетворительных оценок)
Рис. 3. Итоги тестирования (средний балл по специальностям)
Рис. 4. Итоги тестирования (% неудовлетворительных оценок по специальностям)
влетворительных оценок (0,5%).
Анализ итогов тестирования по специальностям показал, что наихудшие показатели теоретических знаний отмечены у интернов, обучавшихся по специальностям «общая врачебная практика» и «стоматология».
По итогам единого компьютерного тести-
рования в 2009-2010 учебном году процент неудовлетворительных оценок по всем специальностям интернатуры составил 34,8%, средний балл - 63,0. В 2010-2011 учебном году процент неудовлетворительных оценок по всем специальностям снизился до 7,1%, а средний балл поднялся до 80,0.
Медицина и экология, 2012, 2
В 2011 г. апелляционная комиссия была централизованной и работала на базе РЦИТМО-иН, что сказалось на качестве работы. Если в 2010 г. апелляционная комиссия создавалась на базе каждого вуза и формировалась из профессорско-преподавательского состава этого же учебного заведения и почти все поданые заявления были удовлетворены, то в 2011 г. членами единой централизованной апелляционной комиссии стали представители всех медицинских вузов. При такий организации работы апелляционной комиссии процент удовлетворенных апелляций составил лишь 16,9%.
При проведении компьютерного тестирования были выявлены некоторые проблемы. Так, сказалось недостаточное количество обученных тестологов и экспертов, проявилась опасность «перекоса» в сторону натаскивания интернов на решение тестовых задач в ущерб клинической подготовке, использование интернами на тестировании средств связи, отсутствие легитимной нормативной базы.
По мнению авторов, пути решения обозначенных проблем нужно искать в проведении обучающих семинаров для тестологов и экспертов, утверждении списка обученных экспертов, проведении независимой аттестации практических навыков (экзаменация не должна ограничиваться только тестированием), приобретении и использовании во время проведения тестирования средств, заглушающих сотовую связь.
Анализ результатов компьютерного тестирования за 2 года показал, что проведение экзаменации интернов может стать действенным инструментом независимой оценки знаний выпускника вуза. Исходя из этого, проведенную аттестацию знаний можно взять за основу для дальнейшего развития системы внешней оценки учебных достижений выпускника в медицинском образовании. Большое значение при этом имеет повышение ответственности профессорско-преподавательского состава за качественную подготовку специалистов.
Поступила 07.05.2012 г.
A. S. Kusainova, B. S. Imasheva, K. K. Dosmambetova, L. Zh. Karsakbayeva, G. A. Derbisalina, A. U. Baydusenova, A. A. Kauysheva, A. K. Yeshmanova ANALYSIS OF RESULTS OF TRIAL TESTING OF MEDICAL INTERNS
Analysis of the results of computer testing of 2 years has shown that the conduct of Examination interns can become an effective tool for independent assessment of the knowledge of the graduate school. Accordingly, the attestation of knowledge can be taken as a basis for further development of the external evaluation of educational achievements of graduates in medical education. Great importance is the increased responsibility of the faculty for the quality of training.
А. С. Кусайынова, Б. С. Имашева, К. К. Досмамбетова, Л. Ж. Карсацбаева, Г. А. Дербкалина, А. У. Байдуйсенова, А. А. Кауышева, А. К. Ешманова Д6Р1ГЕР-ИНТЕРНДЕРД1 СЫНАМА ТЕСТ1ЛЕУДЩ Н6ТИЖЕЛЕР1Н ТАЛДАУ
EKi жылры компьютерлк тестшеу нэтижелершщ талдауы интерндерге емтихандар етюзудщ жорары оку орны тYлектерiнiч 6miMiH тэуелаз баралау куралы бола алатынын керсеткен. Соран байланысты, етюзтген 6miM аттестаттауын медициналык 6miM берудеп оку жепспктермщ сырткы баралау жYЙесiн одан эрi дамытура негiз ретiнде кабылдаура болады. Бул ретте профессор-окытушылар курамыныч мамандарды сапалы даярлаудары жауапкершiлiгiн арттырудыч мачызы зор.
Анализ результатов пробного тестирования за 28.10.09 ГУ «СШ № 6»11 класс.
1 .В тестировании приняли участие 30 учащихся из 30, что составляет 100% учащихся выпускников.
2. Средний балл 77,8, что выше результата прошлого тестирования на 0,1балла, качество знаний -20% , что ниже результатов прошлого тестирования на 10%. успеваемость 100%.
А) Положительная динамика среднего балла и качества знаний по предметам:
Русский язык
средний балл-19, что выше результата прошлого тестирования на 1балл, качество -90%, успеваемость -100%, учитель - Дмитриева Т.М;
Западающие темы:
Радел морфологии и орфография;
Синтаксис и пунктуация:
Стили речи;
Причины:
не пройден этап вводного повторения курса русского языка основной школы
- География
средний балл-11,9%, что выше результата прошлого тестирования на 1,9%, качество -42,9, что выше результата прошлого тестирования на 42,9%, успеваемость -100%,учитель - Жежер Л.С;
Западающие темы:
Природные зоны мира и РК;
«Строение земной коры»
Причины:
Многие учащиеся не до конца определились с выбором пятого предмета;
Не пройден этап вводного повторения материала.
Б) Отрицательная динамика среднего балла и качества знаний по предметам :
. Казахский язык средний балл-18, что ниже предыдущего на 0,2, качество 90% , что выше предыдущего на 3,3%, успеваемость-100%,учитель - Мамельбаева Г.С, Куйшинова Ж.Т
Западающие темы:
- понимание лингвистических терминов;
- фразеологические обороты;
- синтаксис;
- Причины:
Ограниченный словарный запас
. Математика
средний балл-11,5, что ниже результата прошлого тестирования на 0,5, качество -50, что ниже результата прошлого тестирования на 3,3%, успеваемость -100%учитель - Матайс Т.В;
Западающие темы:
Текстовые задачи на составление уравнений и систем уравнений;
Прогрессии;
Иррациональные уравнения и неравенства;
Логарифмы, логарифмические выражения, уравнения и неравенства;
- Причины:
Не пройден материал;
Не пройден этап вводного повторения;
Отсутствии мотивационной установки на заучивание математических формул.
. История К. средний балл-14, качество -53,3%, что ниже результата прошлого тестирования на 10%, успеваемость -100%, учитель - Гусева Е.Е; Западающие темы:
Советский период в истории Казахстана:
Административно-территориальные реформы XIX века;
Племена и племенные союзы на территории древнего Казахстана.
Причины:
Недостаточный уровень самоподготовки учащихся;
Низкий уровень мотивации учащихся;
Неоправданно широкий диапазон изменений содержания вопросов в тестовых сборниках
разных лет;
Большое количество излишне детализированных вопросов ответы на которые разные в
разных источниках, при этом на первый план выводятся второстепенные детали.
. Физика
средний балл-10,1, что ниже результата прошлого тестирования на 0,6, качество -20,что ниже результата прошлого тестирования на 5%, успеваемость -100%,учитель - Галотон Т.И;
Западающие темы:
Первый закон термодинамики;
Перемещение по графикам;
- Закон Кулона;
Работа с графиками;
Основное уравнение МКТ.
Причины:
Отсутствие системы самоподготовки;
Повышенный уровень тревожности;
. Биология средний балл-17, качество -87,5 , что ниже результата прошлого тестирования на 3,4%, успеваемость -100%, учитель - Бойко Г.С;
Западающие темы:
- «Развитие жизни на Земле»;
- «Корень, стебель, лист»;
-«Лишайники»:
- «Высшая нервная деятельность»;
Причины:
Не пройден учебный материал;
Ошибки в тестах;
5. Процентное соотношение в выборе 5-го предмета:
Физика - 33,3%, биология - 26,6%, география - 23,5%, иностранный язык - 16,6%-профессиональные планы выпускников.
6. Распределение учащихся по количеству набранных баллов:
0-49 - 1; 50-59- 3; 60-70-8; 71-89- 11; 90-100- 2; 101 и выше -4.
8. Количество учащихся, успевающих на «4» и «5» по итогам прошлого года - 15, а
по итогам пробного тестирования - 6. Имеют оценку «3» Белозор И- по истории; Бушуев Д - по математике, истории К, физике; Колесниченко К - по математике.; Плешакова Е - по физике, истории К; Соловьева Е - по физике; Шумякова Н - по физике, истории К; Яценко В - по физике; Кулинич К- по математике; Вакалов А- по - по физике, истории К.
Пути решения проблем:
1.В связи с усложнением тестовых заданий продолжить проведение анализа системы повторения пройденного материалов и работ учащихся по новому сборнику Тестов 2009.Структурировать ошибки, допущенные учащимися и организовать тематическое повторение. Откорректировать планы подготовки к ЕНТ.
2. Ознакомить с рациональными приемами заучивание формул. Учителям математики и физики провести ряд тематических консультаций по развитию приемов и навыков самоконтроля выполненных работ. Продолжить практикум по решению задач, требующих неоднократных последовательных операций, обратить внимание учащихся на изменения в содержании заданий, ориентировать их на определение рационального алгоритма, выполнения тестового задания, повторить рациональные способы вычислительных операций.
3. Повысить качество проводимых консультаций для учащихся
Разработать рациональный алгоритм использования справочных материалов по курсу.
- По истории Казахстана и географии учителям - предметникам проанализировать
возможности библиотеки в периодических материалах. Предложить учащимся данные
источники информации, добиться изучения и конспектирования новых статистических
данных по разделам программ. - Вести систематическую и целенаправленную работу с категорией учащихся,
имеющих по результатам тестирований одну «тройку».
5. Администрации школы усилить контроль за организацией и качеством проведения
учителями - предметниками коррекционной работы с учащимися, за эффективностью
системного повторения учебного материала.
5. Продолжить системную подготовку к тестированию в новом формате, учесть негативные моменты пробного тестирования, откорректировать планы подготовки с учетом особенностей тестов нового формата.
Подготовила Мирошник Н.В
При выполнении заданий теста «Кубики Коса» ход мышления испытуемого как бы проецируется вовне. Поэтому экспериментатор имеет довольно редкую возможность не только количественно оценить измеряемые интеллектуальные способности, но и исследовать качественные особенности аналитических и синтетических процессов, стимулируемых тестом. Используя эту возможность, охарактеризуем сначала тот психический процесс, который имеет место при решении «Кубиков Коса». Это необходимо для более глубокого понимания и интерпретации полученных результатов.
«Узор, изображенный на карточке, воспринимается испытуемым в качестве целостного единства и должен быть мысленно поделен на несколько равных по величине частей. При этом испытуемый должен сообразить, что количество этих частей равно числу имеющихся кубиков. В этом состоит аналитическая задача испытуемого»
Разделение узора на отдельные части, соответствующие одному кубику, может происходить по-разному. Однако если такого анализа испытуемый не произвел, то складывание узора будет идти целиком методом проб и ошибок, либо путем нахождения сходства между отдельными частями узора и единичными кубиками.
Допустим, что правильный анализ узора произведен (у некоторых испытуемых это очень характерно проявляется в поведении. Они долго молча рассматривают узор, затем говорят: «Так»). После этого наступает этап синтеза, который психологически у разных испытуемых происходит по-разному. Одни испытуемые мысленно планируют почти весь процесс складывания и затем работают систематически, последовательно подкладывая кубики один за другим или слева направо рядами, или сверху вниз столбиками, или из центра к периферии, или выкладывая одну за другой одинаковые или симметричные части узора. При этом в подавляющем большинстве случаев испытуемые данной группы никогда не «примеряют» кубики, а поворачивают их в руке нужной гранью и сразу укладывают на место. По этому внешнему поведению можно предположить, что анализ и синтез узора здесь уже закончен к началу складывания, синтезирование обгоняет складывание.
В другой группе испытуемых можно наблюдать иную внешнюю картину. Испытуемые также быстро и безошибочно складывают кубики, но не целый узор, а какую-то его часть, более или менее законченную. После этого в течение некоторого времени они раздумывают и начинают складывать другую часть узора. В этой группе кубики также не примериваются, а сразу кладутся нужной гранью. Таким образом, мы имеем дело с мыслительным процессом той же внутренней структуры, что и в первой группе. Разница состоит только в том, что в данном случае испытуемые анализируют узор кусками, а не полностью.
В третьей группе испытуемых складывание происходит принципиально другим путем. Испытуемые берут в руки кубик и, поворачивая его, стараются найти сходство той или иной его грани с какой-либо частью узора. Уложив, таким образом, первый кубик, испытуемые точно также примеривают второй и так далее. При этом довольно часто встречается такое явление: повертев в руках один кубик и, очевидно, не догадавшись, какой гранью его положить, испытуемый откладывает этот кубик в сторону и берет другой, хотя знает, что все кубики одинаковые. При таком способе складывания испытуемые, по-видимому, не проделывают предварительного аналитического расчленения узора, синтетические процессы также отсутствуют, а их заменяет процесс различительного сравнения. Причем отправной точкой такого сравнения часто служит не какая-то часть узора, а сам кубик.
В более худших случаях испытуемые вертят кубик в руках, кладут его совершенно неправильно, а на вопрос экспериментатора, так ли нужно положить, отвечают утвердительно.
Понятно, что в процессе тестирования способы сложения кубиков могут меняться, однако преобладание «планирующего» мышления, основанного на развитых операциях анализа и синтеза, отчетливо видны опытному экспериментатору».
Количественные показатели характеризуют уровень развития невербального (практического, наглядно-действенного) интеллекта и аналитико-синтетических способностей, лежащих в основе интеллектуальной одаренности. Полученные результаты интерпретируются в зависимости от сферы применения и значения показателя.
Сфера применения
| Значение показателя | Низкое | Высокое |
| Медицина: выявление симптомов некоторых нейропсихологических расстройств. | Возможны органические расстройства центральной нервной системы, нарушения зрительно-моторной координации,апраксия | |
| Образование: оценка потенциальных возможностей обучения и интеллектуального развития. | Затруднения в обучении и развитии других интеллектуальных функций | Хорошие возможности развития интеллекта не-зависимо от имеющегося образования, высокий уровень общей обучаемости |
| Профориентация и профотбор: оценка профессиональных возможностей и психологической пригодности специалистов некоторых технических и художественных профессий. | Затруднения при выполнении конструктивной деятельности, психологические противопоказания для инженеров, конструкторов, слесарей, станочников, строителей, дизайнеров, модельеров, закройщиков, портных и т. п. | Возможность успешного осуществления конструктивной деятельности, хорошие предпосылки технических способностей. |
Особенности поведения испытуемых, которые многократно повторяются в ходе тестирования, т. е. проявляются на уровне тенденции, являются дополнительными качественными показателями теста. Качественные показатели не только дополнительно характеризуют уровень развития аналитико-синтетических способностей и невербального (наглядно-действенного) интеллекта, но также отражают индивидуальные особенности познавательной деятельности, личностные особенности и способы эмоционального реагирования, отдельные психопатологические симптомы.
| Наблюдаемые признаки поведения испытуемого | Интерпретация |
| Особенности познавательной деятельности | |
| Не справляется с решением даже первых наиболее простых задач | Нарушения практического, наглядно-действенного мышления |
| Не в состоянии решить задачу даже после показа правильного способа решения или при повторном выполнении заданий | Нарушения зрительной и моторной памяти, крайне низкая обучаемость |
| Слишком часто обращается к образцу, рассматривает кубики | Нарушения зрительной памяти, сниженный уровень развития наглядно-образного мышления |
| Решает задачи, прикладывая значительные мышечные усилия; напряжение, тремор, движения неловкие | Нарушения моторики, органические расстройства центральной нервной системы |
| Проговаривает свои действия вслух, комментирует решение | Привлечение вербальных функций, затруднения при выполнении практических действий |
| Испытывает затруднения в понимании инструкций, не использует подсказки | Нарушения вербального интеллекта, недостаточное овладение языком |
| Не замечает или не исправляет ошибки | Нарушения восприятия, внимания, произвольного контроля |
| Работает очень неровно: одни задания выполняет быстро и правильно, другие -медленно или с ошибками | Нарушения работоспособности, утомляемость |
| Особенности личности и эмоционального состояния | |
| Складывает узоры небрежно, легко отказывается от решения | Отсутствие интереса |
| Легко реагирует на незначительные раздражители, отвлекается | Эмоциональная лабильность, непостоянство, неустойчивость деятельности, нарушения внимания |
| Упорно стремится найти правильное решение, сосредоточен на задаче | Планомерность, целеустремленность, стабильность деятельности |
| Быстро принимается за складывание изображения, торопится, действует методом проб и ошибок, которые тут же исправляет | Импульсивность |
| Думает перед тем, как приступить к складыванию узора, первоначально составляет план решения, предварительно раскладывает кубики в определенном порядке | Склонность к рефлексии, осмотрительность, организованность, педантичность |
| Легко меняет способы решения задачи, пробует разные варианты | Пластичность, гибкость |
| Упорно пытается решить задачу одним и тем же способом, испытывает затруднения при отказе от неэффективного способа решения | Интеллектуальная ригидность |
| Громко разговаривает, находится в постоянном движении, размахивает руками | Состояние чрезмерного возбуждения |
| Решает задачи молча, малоподвижен | Заторможенность |
| Критикует задачи, разрушает узор при неудаче | Агрессивное реагирование при столкновении с трудностями |
| Колеблется при выборе решения, оправдывается | Тревога, опасения, стремление избежать неудач, неуверенность в себе |
| Радуется, смеется, при неудачах не унывает | Повышенное настроение |
| Критикует себя, не выражает радости при успехах | Склонность к депрессивному реагированию |
| Много разговаривает с экспериментатором, задает вопросы, делится переживаниями | Стремление к контактам |
| Молчит, не отвечает на вопросы | Дистанцирование, уход от общения |
| Указывает, требует | Доминирование |
| Просит помощи, ищет подсказки, советуется | Зависимость |
Литература
1. Kohs S. С. Intelligence measurement. A psychological and statistical study based upon the block design test. -- New York: Mc-Milan, 1927.
2. Агафонова И. H., Колеченко А. К., Погорелова Г. А., Шеховце-ва Л. Ф. Методики изучения интеллекта: Методические рекомендации. --Часть 1. - СПб: СПб ГИУУ, 1991.
3. Анастази А. Психологическое тестирование: Пер. с англ. / Под ред. Гуревича К. М., Лубовского В. И. - Кн. 1. - М.: Педагогика, 1982.
4. Арбузов В. Н. Тесты Коса. //Советская психотехника. -Т. VII. - 1934, №1. -С. 48-60.
5. Вине А, Симон Т. Методы измерения умственной одаренности: Сб. статей. -- Харьков: Гос. изд. Украины, 1923.
6. Блейхер В. М., Бурлачук Л. Ф. Психологическая диагностика интеллекта и личности. - Киев: Высшая школа, 1978.
7. Бурлачук Л. Ф. Психодиагностика личности. - Киев: Здоровье, 1989.
8. БурлачукЛ. Ф., Морозов С. М. Словарь-справочник по психологической диагностике. - Киев: Наукова думка, 1989.
9. ГайдаВ. К., Захаров В. П. Психологическое тестирование: Учебное пособие. - Л.: ЛГУ, 1982.
10. ГильяшеваИ. Н, Практическое использование адаптированного теста интеллекта в клинике нервно-психических заболеваний: Методические рекомендации. - Л.: Б. И., 1987.
11. Гласе Дж., Стэнли Дж. Статистические методы в педагогике и психологии: Пер. с англ. / Под общ, ред. Адлера Ю. П. - М.: Прогресс, 1976.
12. Елисеев О. П. Конструктивная типология и психодиагностика личности. - Псков: ПОИУУ, 1994.
13. Использование методики «Кубики Коса» в целях профессиональной диагностики: Методические рекомендации для специалистов служб занятости и профориентации. / Сост.: Смирнова А. В., Хахунова М. Н. - Ярославль: Ярославский городской центр
профессиональной ориентации и психологической поддержки населения,1995.
14. Кашин А. П. Диагностическое шкалирование психофизиологических функций. //Теоретические и прикладные исследования по психофизиологии индивидуальных различий. - Казань: КГУ, 1973.- С. 4-16.
15. Кулагин Б, В. Основы профессиональной психодиагностики. -Л.: Медицина, 1984. 16. Панасюк А. Ю. Адаптированный вариант методики Д. Вексле™ ра. - М.: НИИ психиатрии МЗ РСФСР, 1973.
17. Панасюк А, /О. Структурно-уровневый анализ динамики интеллектуального развития умственно отсталых и здоровых детей: Автореф. дисс. насоиск. уч. ст. канд. психол. наук. - Л., 1976.
18. Психодиагностические методы (в комплексном лонгитюдном исследовании студентов). - Л.: ЛГУ, 1976.
19. Психологический словарь / Под ред. Давыдова В. В., Запорожца А. В., Ломова Б. Ф. и др. - М.: Педагогика, 1983.
20. Серебрякова Р. О. Применение стандартизированного набора методик исследования интеллектуальной деятельности для решения диагностических задач при некоторых нервно-психических заболеваниях: Автореф. дисс, насоиск. уч. ст. канд. психол. Наук.
ПРИЛОЖЕНИЕ 2.
Пример интерпретации результатов
БЛАНК ФИКСАЦИИ РЕЗУЛЬТАТОВ
Ф.И.О. И. Сергей Николаевич
дата 23.04.2000
Возраст (лет) 49
Образование высшее
Профессия инженер-механик
Дополнительные сведения черепно-мозговая травма
Суммарное количество баллов 24 Стандартная оценка (стэн) 5
Уровень развития невербального интеллекта: Средний
Проведение в процессе тестирования: Часто обращается к образцу, проговаривает свои действия вслух, не замечает своих ошибок, легко отвлекается
ЗАКЛЮЧЕНИЕ
Несмотря на средний уровень продуктивности наглядно-действенного мышления, обследуемый испытывает затруднения в решении практических задач вследствие растройств внимания и недостатка произвольного контроля. При достаточной сохраннности функций пространственного анализа и синтеза, зрительного восприятия и двигательной координации может не справляться со сложной конструктивной деятельностью, требующей длительной концентрации внимания, проверки и сравнения результатов. Возможны проблемы при выполнении деятельности технического профиля, а также в процессе обучения и решения сложных интеллектуальных задач.
Важным условием проведения пробного тестирования является получение статистически достоверных результатов , что обеспечивается соблюдением ряда условий:
Пробное тестирование должно проводиться в нескольких параллельных* группах. При этом рекомендуется в каждой группе провести его дважды, но при условии, что испытуемые получат варианты теста с заданиями, на которые раньше не отвечали. Желательно, чтобы повторное пробное тестирование в одной и той же группе проводилось в разные дни;
Количество испытуемых в группах должно быть достаточно большим (не менее 20 человек);
Все параллельные группы должны находиться в одинаковых условиях (время, отводимое на тестирование, место и время проведения*);
Все испытуемые в пределах одной группы также должны находиться в идентичных условиях, без каких-либо «скидок» и «поблажек» для отдельных испытуемых. Все испытуемые должны получить примерно одинаковые по сложности (параллельные) задания;
Время, отводимое на пробное тестирование должно быть таким, чтобы наиболее подготовленные успели ответить на все вопросы теста*;
Для получения достоверных результатов следует свести к минимуму возможность подсказок среди испытуемых.
К пробному тестированию с использованием специализированной программы и ПЭВМ предъявляются примерно те же требования, что и при тестировании «на бумаге».
Анализ результатов пробного тестирования и отбор тестовых
Заданий
Матрица тестовых результатов
После проведения пробного тестирования производятся проверка ответов испытуемых и обработка результатов тестирования. Обработку результатов следует начинать с составления матриц тестовых результатов (при компьютерном варианте тестирования такие матрицы должны создаваться программой автоматически). Очень важно, чтобы по номеру варианта теста и номеру задания в нем можно было бы однозначно определить – какие именно задания выполнял испытуемый. Это необходимо для того, чтобы, как уже отмечалось выше, исключить из общего массива именно те задания, которые не могут называться тестовыми.
Подготовку матриц тестовых результатов рекомендуется выполнять с использованием ПЭВМ, например, табличного процессора Excel, что позволит существенно облегчить обработку данных и проверку статистических свойств каждого задания. Пример такой матрицы приведен в табл. 3.4.
Таблица 3.4 – Матрица* тестовых результатов в группе из 10 человек
(для всех заданий общее правило оценивания: правильный ответ – 1, неправильный – 0)
| № пп | Фамилия | №№ варианта теста | Номер задания (задания пронумерованы и расположены в порядке возрастания их трудности: №1 /самое легкое/ ® №10 /самое трудное/) | Суммарный балл по тесту | |||||||||
| Абрамов | |||||||||||||
| Дмитриев | |||||||||||||
| Васильев | |||||||||||||
| Борисов | |||||||||||||
| Щетинин | |||||||||||||
| Зыков | |||||||||||||
| Григорьев | |||||||||||||
| Кириллов | |||||||||||||
| Иванов | |||||||||||||
| Жуков | |||||||||||||
| S | - |
В матрице тестовых результатов (табл. 3.4) строки с результатами испытуемых следует располагать в порядке убывания суммы баллов, набранных при тестировании, т.е. в первой строке – самый сильный студент, в последней – самый слабый. В столбцах таблицы, содержащих баллы испытуемых по каждому из заданий теста, задания следует расположить в порядке возрастания их трудности, т.е. от самого легкого до самого трудного.
Нижняя строка табл. 3.4 содержит сумму баллов, набранных всеми испытуемыми по каждому из 10 заданий теста. Именно эта сумма (точнее - обратная ей величина) в общем случае служит мерой трудности задания и критерием, по которому то или иное задание получает свое место (порядковый номер) в системе заданий теста. Первоначально, как указывалось выше, преподаватель определяет трудность заданий, исходя из собственного опыта. Нижняя строка матрицы тестовых результатов содержит более объективную оценку трудности заданий, которая в некоторых случаях может не совпадать с первоначальным мнением преподавателя. В такой ситуации задание, трудность которого отличается от предполагавшейся первоначально, следует расположить в другом месте, присвоив ему новый номер, соответствующий его трудности. При этом должны учитываться ответы на то же задание, полученные в других (параллельных) группах испытуемых.
Статистический анализ тестовых результатов и отбор заданий
Для включения в тесты
В табл. 3.5 приведены некоторые показатели, рассчитанные по результатам пробного тестирования.
Таблица 3.5 - Анализ результатов тестирования*
| ПОКАЗАТЕЛИ | Номер задания | |||||||||
| Кол-во правильных ответов | ||||||||||
| Кол-во неправильных ответов | ||||||||||
| Доля правильных ответов, p j | 0,8 | 0,7 | 0,6 | 0,5 | 0,5 | 0,4 | 0,3 | 0,2 | ||
| Доля неправильных ответов, q j | 0,2 | 0,3 | 0,4 | 0,5 | 0,5 | 0,6 | 0,7 | 0,8 | ||
| Потенциал трудности, q j /p j | 0,00 | 0,25 | 0,43 | 0,67 | 1,00 | 1,00 | 1,50 | 2,33 | 4,00 | - |
| Дисперсия баллов, p j ×q j | 0,16 | 0,21 | 0,24 | 0,25 | 0,25 | 0,24 | 0,21 | 0,16 | ||
| Коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту | - | 0,41 | 0,62 | 0,75 | 0,82 | 0,82 | 0,75 | 0,62 | 0,41 | - |
Наиболее важными из приведенных в табл. 3.5 показателями являются:
1) потенциал трудности;
2) дисперсия баллов;
3) коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту.
Именно эти показатели являются критериями, по которым можно судить о том, может ли задание в тестовой форме использоваться в тестах, т.е. называться тестовым заданием .
Первый показатель соответствует требованию (см. раздел 1.2) известной трудности задания. Как видно из табл. 3.5, этому требованию не соответствуют задания №1 и №10, что подразумевает необходимость их «ревизии» разработчиком с целью выявления причин (задание слишком легкое или слишком трудное, неверно сформулировано, содержит «подсказку» в вариантах ответов, неверно воспринимается испытуемыми и т.п.). После «ревизии» задание либо перерабатывается, либо исключается и в тестах не используется.
Не менее важна и дисперсия баллов, которая может служить показателем дифференцирующей способности задания, т.е. его способности разделить группу испытуемых на сильных и слабых. Чем больше дисперсия баллов, тем лучше дифференцирующая способность задания. Однако, задания с невысоким значением дисперсии (например, задания №2 и №9) также могут использоваться в тестах (с учетом значения коэффициента корреляции с суммарными баллами по всему тесту). Такие задания позволяют более четко отделить совсем неподготовленных от тех, кто знает на «3» и, соответственно тех, кто знает на «5», от тех, кто «не дотягивает» до максимальной оценки.
Третий показатель – коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту , является наиболее важным. Если его значение невелико, то без соответствующего задания в тесте, видимо, можно обойтись. Напротив, задания с большим значением указанного коэффициента (выше 0,7) могут считаться «ведущими» или «тестообразующими» заданиями, «ключевыми» для данной дисциплины или ее раздела. Рекомендуют включать задание в тест при том условии, что коэффициент корреляции составляет величину не ниже 0,25-0,3.
Для вычисления коэффициента корреляции в нашем случае наиболее удобной представляется формула
где - балл за задание; - суммарный балл по тесту; - количество испытуемых в группе.
Рассчитаем для примера коэффициент корреляции балов по заданию №5 с суммарными тестовыми баллами применительно к приведенной в табл.3.4 матрице тестовых результатов (см. табл. 3.6).
Таблица 3.6 – Расчет коэффициента корреляции S
При использовании для анализа тестовых результатов компьютерной техники целесообразно воспользоваться для расчета коэффициентов корреляции соответствующей функцией табличного процессора Excel.
Не менее важно и сопоставление результатов тестирования, полученных в параллельных (различных) группах. Такое сопоставление производится путем сравнения потенциалов трудности, дисперсий и коэффициентов корреляции баллов по заданиям с суммарными баллами по тесту, которые в идеале должны отличаться незначительно. Существенные отличия указанных показателей могут свидетельствовать либо о невысокой воспроизводимости тестовых результатов (т.е. на одинаковых по уровню группах один и тот же тест дает различные результаты), либо о существенно различающемся уровне подготовленности испытуемых в разных группах (т.е. группы не являются параллельными).
Проверку параллельности групп можно произвести путем оценки однородности дисперсий суммарных тестовых результатов, используя соответствующие статистические критерии - Фишера, Кочрена, Бартлета . По этим критериям можно при достаточно высоком уровне значимости (рекомендуется 0,05) проверить, насколько параллельные группы отличаются по среднему уровню подготовленности.
Еще одним приемом, который можно использовать при обработке результатов тестирования, является объединение результатов тестирования параллельных групп. Этот прием рекомендуется использовать при небольшом числе испытуемых в отдельных группах, но перед «объединением» результатов желательно произвести проверку однородности дисперсий по критериям, упомянутым выше.
тестовых результатов
Результаты тестирования нуждаются в такой интерпретации, которая соответствует цели тестирования (см. табл. 4.1).
Таблица 4.1 - Сферы применения тестов, цель тестирования и интерпретация его результатов
|
Сфера применения тестов |
Цель тестирования |
Интерпретация результатов тестирования |
|
Профессиональный отбор |
Отбор наиболее соответствующих требованиям, со знаниями и умениями, критически важными для данной профессии |
Ранжирование испытуемых по уровню профессиональной пригодности, компетентности, комплексный анализ результатов |
|
Вступительное тестирование |
Отбор наиболее подготовленных (определение проходного балла), выявление пробелов в структуре знаний |
Ранжирование испытуемых по уровню подготовленности, статистическая обработка результатов |
|
Определение «места» в группе для каждого испытуемого в соответствии с выбранными критериями |
Ранжирование испытуемых по измеряемому параметру, статистическая обработка результатов |
|
|
Текущий контроль* 14 , мониторинг |
Отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления |
Анализ структуры и профиля знаний, статистическая обработка результатов |
|
Дистанционное обучение |
Стимулирование познавательной деятельности обучаемых, повышение мотивации к обучению, отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления |
Ранжирование испытуемых по уровню подготовленности, анализ преподавателем (тьютором) структуры и профиля знаний, статистическая обработка результатов |
|
Самостоятельное обучение (мультимедийные учебники, обучающие программы и т.п.) |
Стимулирование познавательной деятельности обучаемых |
Результаты тестирования испытуемые интерпретируют самостоятельно или с «подсказками» программы |
Как следует из табл. 4.1, тест надо рассматривать как единство: 1) метода; 2) результатов, полученных определённым методом; и 3) интерпретированных результатов, полученных определённым методом.
Интерпретация результатов тестирования ведется преимущественно с опорой на среднее арифметическое, показатели вариации тестовых баллов и на так называемые процентные нормы, показывающие, сколько процентов испытуемых имеют тестовый результат худший, чем у интересующего испытуемого.
При вступительном тестировании, профессиональном отборе или определении рейтинга в группе основная задача при интерпретации результатов заключается в ранжировании испытуемых по уровню подготовленности. При мониторинге или текущем контроле более важной задачей является анализ структуры и профиля знаний. При самостоятельной работе (дистанционное обучение, обучение с помощью мультимедийных учебников и т.п.) основное назначение тестов - стимулировать познавательную деятельность обучаемых, дать им возможность оценить собственные успехи, выявить пробелы в полученных знаниях.
Независимо от сферы применения теста, результаты тестирования должны подвергаться статистической обработке с целью определения основных характеристик заданий теста, проверки надежности измерений и валидности тестовых результатов.
Вступительное тестирование. Первичная обработка результатов, полученных при вступительном тестировании, сводится к составлению таблицы (матрицы) тестовых результатов по правилам, описанным ранее (см. табл. 3.4). Это позволяет не только наглядно оценить уровень и структуру подготовленности испытуемых, но и выделить наиболее «сильных» в группе, проходившей тестирование.
Как отмечалось в главе 3, распределение результатов тестирования по хорошо составленным тестам в идеале должно быть близким к нормальному закону (в достаточно больших группах – не менее 20 чел.). На рис. 4.1 в качестве примера показано распределение баллов, набранных при вступительном тестировании в группе из 80 человек. Задача состояла в отборе из этой группы 50, наиболее подготовленных человек. Тест содержал 24 задания, за каждый правильный ответ выставлялся 1 балл. По сумме набранных баллов приемной комиссией были выделены первые 50 человек, набравшие наибольшее количество баллов и определен проходной балл (в данном примере - 11 баллов).
Рис. 4.1 - Определение проходного балла при вступительном тестировании (пример).
Максимально возможное количество баллов в данном примере – 24.
Пример, показанный на рис. 4.1, является в некотором смысле «идеальным». Так, если бы в этом же примере нужно было отобрать не 50, а 52 человека (или например 47 человек), с установлением проходного балла возникли бы определенные трудности – при меньшем его значении (10 баллов) прошедших тестирование было бы больше, чем необходимо и наоборот. В этой ситуации может быть предложен такой выход: приемная комиссия устанавливает более высокий проходной балл, при котором число прошедших тест меньше необходимого. Недостающее количество людей комиссия добирает из числа тех, которые немного «не дотянули» до проходного балла. При этом предпочтение отдается тем, которые в наибольшей степени соответствуют требованиям (например, имеют стаж работы по выбранной специальности, льготы при поступлении, более высокий средний балл по документам о базовом образовании и т.п.). Этим же людям за дополнительную плату может быть предложено пройти подготовительные курсы и т.п.
При вступительном тестировании, помимо определения проходного балла, достаточно важен анализ структуры и профиля знаний (будет рассмотрен далее).
Текущий контроль (мониторинг). Тесты для текущего контроля и мониторинга создаются по тем же принципам, что и тесты иного назначения. Но основной целью тестирования в данном случае является отслеживание хода образовательного процесса, выявление пробелов в структуре знаний, искажений профиля знаний у каждого из испытуемых и выяснение возможных причин их появления.
Под структурой знаний в общем случае следует понимать такую степень полноты знаний и умений учащегося, которая равномерно охватывает все разделы дисциплины (или нескольких дисциплин) и позволяет испытуемым успешно выполнять задания теста вне зависимости от того, к какому разделу дисциплины они относятся.
Если испытуемый выполняет задания (в том числе, достаточно трудные), относящиеся к одному разделу дисциплины и не может выполнить задания по другому разделу (в т.ч. невысокой трудности), то это говорит о нарушении (пробелах) в структуре знаний. Вполне очевидно, что такие нарушения могут быть как индивидуальными, так и наблюдаться у достаточно большого числа испытуемых. В последнем случае необходимо проанализировать причины появления пробелов (неудачное изложение раздела или отдельной дисциплины, нехватка или отсутствие методического обеспечения и т.п.) и принять меры к их устранению.
Необходимым условием, обеспечивающим получение достоверной информации о структуре знаний, является репрезентативность заданий теста по отношению к объему знаний, который проверяется с его помощью. Другими словами – задания, включаемые в состав теста, должны достаточно полно и равномерно охватывать все разделы дисциплины, курса и т.п. При этом желательно, чтобы каждый раздел дисциплины был представлен несколькими заданиями различного уровня сложности.
Для удобства анализа структуры знаний тестовые результаты в матрице желательно располагать так, как показано в примере (табл. 4.2). В этом примере каждый раздел дисциплины представлен в тесте пятью заданиями различного уровня сложности. Результаты испытуемого №2, выполнявшего задания теста по варианту №7, показали практически полное отсутствие знаний раздела 2 дисциплины, в то время как с заданиями по разделу 1 он более-менее справился. В таких случаях говорят о пробелах в структуре знаний.
Термин профиль знаний , которым тестологи называют совокупность баллов в каждой строке таблицы тестовых результатов, можно проиллюстрировать на примере, приведенном в табл. 4.3 (фрагмент матрицы из табл. 3.4).
Таблица 4.2 – Анализ структуры знаний по матрице тестовых результатов
|
№№ вариантов теста |
Оценки за тестовые задания по разделам дисциплины (в пределах каждого раздела задания расположены в порядке возрастания их трудности) | ||||||||||||
|
Раздел 1 |
Раздел 2 | ||||||||||||
Таблица 4.3 – Искаженный (строка №6) и неискаженные (строки №5 и №7) профили знаний
|
№№ вариантов теста |
Оценки за тестовые задания (задания расположены в порядке возрастания их трудности: №1 /самое легкое/ №10 /самое трудное/) |
Суммарный балл по тесту |
||||||||||
Как видно из примера, испытуемые, результаты которых находятся в строках 5 и 6, набрали одинаковое количество баллов по тесту, однако, испытуемый №5 справился с первыми 5-ю, наиболее легкими заданиями, не справившись с остальными. Результаты же испытуемого №6 несколько нелогичны – не справившись с относительно легкими заданиями в начале теста, он сумел выполнить более трудные задания. В таких случаях говорят об искаженном (инвертированном) профиле знаний.
Причины искажений профиля знаний могут быть самыми разными –некачественно составленный тест, индивидуальные психологические особенности тестируемого, низкое качество преподавания, отсутствие методического обеспечения и литературы и др. По мнению проф. В.С. Аванесова и других специалистов-тестологов, задача хорошего образования – порождать правильные (неискаженные) профили знаний .
Анализ структуры и профиля знаний при вступительном тестировании и текущем контроле (мониторинге) позволяет педагогам получить общее представление об уровне подготовленности испытуемых, своевременно выявить пробелы в знаниях, ошибки в методике преподавания и принять соответствующие меры. В учебных заведениях, внедряющих системы менеджмента качества, постоянный мониторинг процесса обучения с использованием тестовых технологий должен быть одним из основных инструментов постоянной корректировки (улучшения) образовательного процесса.
Дистанционное обучение. В существующих системах дистанционного обучения (СДО «Прометей», «Web-класс ХПИ», Lotus Learning Space и др.), как правило, предусмотрен текущий и итоговый контроль усвоения учебного материала. Контроль может осуществляться с помощью отдельной программы для тестирования или же модули (программы) для тестирования встраиваются непосредственно в дистанционные курсы .* 15 В последнем случае дистанционный курс может использоваться для самостоятельной работы, без участия преподавателя.
Системы дистанционного обучения или же собственно дистанционные курсы, должны снабжаться такими программами, которые «умеют» не только сохранять тестовые результаты каждого испытуемого, но и дают возможность преподавателю (тьютору) или разработчику курса с минимальными затратами времени производить их статистическую обработку с целью определения надежности педагогического измерения и валидности тестовых результатов. К сожалению, далеко не все из используемых систем дистанционного обучения предоставляют такую возможность.
К тестам, разрабатываемым для использования в дистанционном обучении, предъявляются те же требования, что и к тестам для текущего контроля (мониторинга).
Самостоятельная работа . Как отмечают специалисты, качественно разработанные тесты имеют высокий обучающий потенциал, позволяющий существенно повысить мотивацию к обучению и соответственно повысить его эффективность. В последнее время в учебном процессе все чаще используются такие средства обучения как обучающие курсы, мультимедийные учебники, электронные тренажеры и т.п., которые можно назвать обучающими электронными изданиями (ОЭИ). Основным их достоинством является возможность самостоятельного обучения с минимальным вмешательством преподавателя. ОЭИ обязательно должны снабжаться тестами для текущего и итогового контроля, и желательно такими, которые позволили бы обучаемому не только увидеть, что именно он не знает, но и «объясняли», почему тот или иной ответ является неправильным и «рекомендовали» вернуться к соответствующему разделу для повторного изучения.
Тесты для ОЭИ, также как и тесты другого назначения, должны быть репрезентативны по отношению к совокупности проверяемых знаний и навыков. Не менее важна и предварительная апробация заданий, включаемых в эти тесты, с целью определения их трудности и других характеристик. Имея информацию о трудности каждого задания, разработчик ОЭИ может сделать так, чтобы при тестировании программа «выдавала» их испытуемому по принципу «от наиболее легкого - к наиболее трудному». При этом желательно иметь достаточно большое количество параллельных заданий, чтобы при повторном тестировании испытуемому выдавались новые задания, которых он не выполнял ранее.
В мультимедийных учебниках и других ОЭИ, как правило, нет необходимости сохранять результаты тестирования и, тем более, производить их статистическую обработку. Основная задача тестов, используемых в ОЭИ - стимулирование познавательной деятельности обучаемого и корректировка его индивидуальной «траектории обучения».
