Менеджеры работ по мониторингу и оценке должны быть знакомы с основными методами сбора данных. Эта часть модуля начинается с занятия, посвященного теме выборки, которая актуальна для всех методов. Затем отдельно рассматривают все основные методы: камеральный обзор, наблюдение, интервью и фокус-группы, опросы, информационные системы, переписи населения, процесс быстрой оценки (ПБО), блиц-посещения, которые применяют при чрезвычайных ситуациях, когда в какое-либо место можно попасть всего на несколько часов, мониторинговые посещения и кейсы. На занятиях рассматривают возможность применения каждого метода в различных условиях, соответствующие ограничения и основные моменты, которые нужно учесть, чтобы обеспечить качество сбора данных. Рассмотрены особенности применения всех методов в условиях кризиса и нестабильности.
Грамотное проведение выборки имеет большое значение при использовании количественных и качественных методов сбора данных. На этом занятии рассматривают основные концепции и их практическое применение, при этом особое внимание уделено нестатистическим выборкам.
Это занятие должно помочь участникам тренинга понять, почему так важно изучать и использовать имеющиеся данные, и почему это нужно делать на ранних этапах разработки любого плана сбора данных при проведении работ по мониторингу и оценке. Участникам предлагается определить, какие источники информации нужно учитывать при проведении кабинетного исследования, и какие основные вопросы помогут подготовить такое исследование. В ходе занятия нужно опираться на опыт и здравый смысл участников.
СВЯЗИ С ДРУГИМИ МОДУЛЯМИ Модуль 3.2.1 Участие заинтересованных сторон Модуль 3.1.3 – Техническое задание (ТЗ)
Это занятие посвящено важнейшему методу сбора данных, который обязательно применяют при проведении любых работ по оценке, и который должен использоваться в большинстве систем мониторинга. Это занятие помогает участникам лучше понять роль наблюдения как наиболее надежного и достоверного метода сбора данных.
Цель этого занятия – представить и обсудить наиболее распространенные методы проведения интервью. Рассмотрено несколько видов интервью за исключением интервью-анкетирования домохозяйств, которые проводят в рамках структурированных опросов. На этом занятии подчеркивается особое значение интервью как средства получения информации о причинах поведения, различных точках зрения и контекстуальных и процессуальных моментах. Проводится сравнение структурированных и неструктурированных интервью, а также индивидуальных интервью, интервью с ключевыми источниками информации, интервью с сообществами и фокус-группы. Рассматривают практические аспекты организации и проведения этих интервью. В ходе ролевой игры участники могут попробовать различные технологии интервьюирования. Есть материалы для тренера и материалы для чтения, посвященные различным видам интервью (с ключевыми источниками информации, с членами сообщества, фокус-группам).
При проведении работ по ассесменту, мониторингу и оценке ЮНИСЕФ широко использует опросы. Основным руководством по их проведению в ЮНИСЕФ служит Руководство по проведению опросов для определения множества индикаторов для целей, которые должны быть достигнуты к концу десятилетия (мультииндикаторный кластерный опрос – МИКО), изданное в феврале 2000 года (см. http://www.childinfo.org). Однако настоящее занятие рассматривает более общие вопросы, а именно, ключевые концепции и соображения, чтобы участники могли понять основные моменты применения опросов и управления ими. Занятие включает несколько упражнений, которые можно использовать независимо друг от друга. В первой части участников знакомят с основными этапами управления опросами. Здесь же обсуждают виды вопросов, на которые можно ответить с помощью опроса, и каким образом можно использовать опросы в рамках работ по мониторингу и оценке. Подробно рассмотрено несколько методик проведения опросов, популярных в ЮНИСЕФ и среди его партнеров: одномерный опрос по методике, которая используется в рамках Расширенной программы иммунизации ВОЗ (РПИ), мультииндикаторный кластерный опрос (МИКО), опрос по вопросам демографии и состоянии здоровья АМР США (ОДЗ) и слежение за контрольными сообществами (СКС). Во второй части занятия в ходе практической работы рассматривают вопросы подготовки и использования анкет. Завершает занятие обсуждение достоинств и недостатков использования анкет в условиях кризиса и нестабильности.
Это занятие посвящено созданию и поддержанию информационных систем. Информационные системы можно использовать для самых разных мониторинговых задач. Если должным образом поддерживать информационные системы, они позволяют отслеживать эволюцию ситуации и определять тенденции развития. Системы эффективны, но дают информацию только по ограниченной выборке, то есть о пользователях и прямых благополучателях. Отдельно нужно выделить информационные системы, основанные на наблюдениях в контрольных точках. В этом случае выбирают ограниченное число репрезентативных точек и проводят в них комплексные исследования, используя, в том числе, опросы домохозяйств и качественные методы.
Сколько человек? На ранних этапах кризиса необходимо получить хотя бы грубую оценку числа пострадавших. Это занятие посвящено методам быстрого пересчета населения в условиях кризиса и нестабильности и их ограничениям. Рассматривают пересчет населения, разбивку по полу и возрасту, перемещения населения и сложные ситуации.
Процесс быстрой оценки (ПБО) представляет собой сочетание неформальных методов, например, частично структурированных и неструктурированных наблюдений, интервью с ключевыми источниками информации, фокус-групп и неформальных опросов. Основное достоинство ПБО состоит в том, что его можно провести быстро и адаптировать практически к любой ситуации. Основной недостаток – в том, что методы, которые предполагают интерпретацию качественной информации и достаточно целенаправленную выборку, могут вести к появлению систематической ошибки. В первой части занятия участников знакомят с ПБО, их основными принципами, достоинствами и недостатками. Во второй части рассматривают и применяют на практике различные методы, используемые в рамках ПБО. В третьей части обсуждают, каким образом нужно выбирать и комбинировать методы ассесмента, чтобы обеспечить достоверность результатов, повысить их точность и избежать систематических ошибок.
Краткие посещения – это особый вид ассесмента, цель которого – быстро собрать базовую информацию в труднодоступных или небезопасных районах. Их также можно использовать для мониторинга. В этой части рассмотрена последовательность действий при проведении посещений и приведен контрольный перечень для сбора информации.
Этот материал нужно рассмотреть на занятии 6???? (структуры анализа данных)
Выборка Nichols P 1991 Social Survey Methods: a field guide for development workers, Oxfam Development Guideline no. 6 50-72
Кабинетное исследование Наблюдение USAID Centre for Development Information and Evaluation, 1996. Performance Monitoring and Evaluation TIPS. Number 4. Using Direct Observation Techniques. Подготовка и проведение интервью Patton, M. Q., (1982). Practical Evaluations. Sage Publications. Thousand Oaks, CA. pp.160-179. (14 pg.) Это краткое изложение более подробного издания «Методов качественной оценки» 1980 года. Текст написан применительно к оценке, но его полезно будет прочитать всем, кто управляет и проводит интервью. В нем кратко изложено назначение такого вида интервью, рассмотрены достоинства и недостатки трех методов: неформального интервью-беседы, использования протокола интервью и стандартизованное интервью с открытыми вопросами. Затем обсуждаются практические затруднения при формулировке вопросов: как сделать вопрос открытым, ясность, нейтральность, деликатность, провокационность. Кроме того, рассказано, как поддерживать беседу и сохранять контроль над ходом интервью. Roche, C. (1999) Impact Assessment for Development Agencies: Learning to Value Change, Oxford: Oxfam/Novib. Pg. 112-115 (4 pages) Texts. USAID Centre for Development Information and Evaluation, 1996. Performance Monitoring and Evaluation TIPS. No. 2. Conducting Key Informant Interviews USAID Centre for Development Information and Evaluation, 1996. Performance Monitoring and Evaluation TIPS. No. 10. Conducting Focus Group Interviews Опросы UNICEF (2000) Monitoring Progress Towards the Goals of the World Summit for Children: End-Decade Multi-indicator Cluster Survey Manual. UNICEF: New York. Полная версия Руководства по МИКО есть на www.childinfo.org. В ней хорошо и подробно объясняется, как проводить МИКО. Andersson (1996). Evidence based planning – The philosophy and methods of sentinel community surveillance. Ciet International and The Economic Development Institute of the World Bank Gosling, L. and Edwards, M. (2003) Toolkits: A practical guide to planning, monitoring, evaluation and impact assessment. Pp. 217-221 Nichols P 1991 Social Survey Methods: a field guide for development workers, Oxfam Development Guideline no. 6 pp. 33-49
Информационные системы Gosling, L. and Edwards, M. (2003) Toolkits: A practical guide to planning, monitoring, evaluation and impact assessment. pp 92-107
Оценки численности населения Brown V, Jacquier G, Coulombier D, Balandine S, Belanger F, Legros D (2001) “Rapid assessment of population size by area sampling in disaster situations”, Disasters, 25:2, p 164-171 MSF (1989). Mission exploratoire, mission d'evaluation. Situation sans deplacement de populations. MSF, Paris, France. Telford J (1997). Counting and Identification of Beneficiary Populations in Emergency operations: registration and its alternatives. ODI, London. Процесс быстрой оценки (ПБО) Gosling, L. and Edwards, M. (2003) Toolkits: A practical guide to planning, monitoring, evaluation and impact assessment. Pp. 193-216 PRATT B, LOIZOS P (1992). Choosing Research Methods. Oxfam, Oxford. SLIM H (1992). The application of RAP and RRA techniques in emergency relief programmes. In: Scrimshaw N and Gleason G (eds), Rapid Assessment Procedures - Qualitative Methodologies for Planning and Evaluation of Health Related Programmes. INFDC Boston. Available on: http://www.unu.edu/unupress/food2/UIN08E/uin08e0r.htm Millelsen, Britha (1995). Methods for Development Work and Research. A guide for practitioners. Sage Publication New Delhi. PRA - chambers
http://www.ids.ac.uk/ids/particip/research/pra/rcwkshpjun99.pdf
RELAXED AND PARTICIPATORY APPRAISAL NOTES ON PRACTICAL APPROACHES AND METHODS
Chambers, R., 1985. "Short-Cut Methods in Social Information Gathering for Rural Development Projects," in Putting People First?Sociological Variables in Rural Development, New York, New York, Oxford University Press, p. 399-414. USAID Centre for Development Information and Evaluation, 1996. Performance Monitoring and Evaluation TIPS. Number 5. Using Rapid Appraisal Methods Блиц-посещения Monitoring field visit
Кейсы
Общие материалы
UNICEF, New York, 1991. A UNICEF Guide for Monitoring and Evaluation: Making a Difference? Evaluation Office, |