ИСПОЛНИТЕЛЬ 			                      ЗАКАЗЧИК 

ООО «Планова Консалтинг»                      Федеральная служба государственной 	   					          статистики 

						    РАБОТА ВЫПОЛНЕНА 
Заместитель председателя  Федеральной 
службы государственной статистики
										     А.Л. Кевеш	
                                                                     			    									            «  30      »	октября             2006 г.	

Методологические положения по оценке качества и результатов проведения статистических обследований                                   (методом расчета рейтинговых оценок качества)

По Государственному контракту №15-НР-2006/Планова Консалтинг-1 от 2 марта 2006г. 

Сдал от Исполнителя:	Принял от заказчика:	
Генеральный директор
ООО «Планова Консалтинг»

	Начальник Управления организации статистического наблюдения и контроля
	
______________С.В.Степанов
м.п. «30»   октября_2006г.
	______________ П.И.Долгополов
«30»___октября____2006г.

Аннотация
Целью данной работы по расчету рейтинговой оценки качества является методологическое описание функционирования компьютерной программы для расчёта оценки качества результатов проведения статистических обследований, служащее для получения количественной оценки степени качества проведенного обследования на каждой стадии статистического процесса.
В основу данной работы положены восемь аспектов качества, используемые в настоящее время мировой статистической практикой при оценке качества проводимых обследований. 
Основным инструментом, используемым в предлагаемом программном комплексе для оценки качества результатов проведения обследования служит Анкета оценки качества, разработанная как инструмент (для менеджеров, проводящих обследование), сопровождающая всё обследование и служащая оценке и совершенствованию качества статистики. 
Полученная с помощью предлагаемого программного комплекса количественная оценка качества позволит организаторам обследования правильно оценить результаты проводимых обследований, а также увидеть недостатки в их подготовке и проведении, исправление которых позволит в дальнейшем обеспечить высокое качество статистической информации, предоставляемой пользователям. 

оГЛАВЛЕНИЕ
Аннотация	1
оГЛАВЛЕНИЕ	2
Зарубежная практика оценки качества статистической информации	3
БЕЛЬГИЯ	4
ДАНИЯ	5
ГЕРМАНИЯ	6
ГРЕЦИЯ	6
ИСПАНИЯ	7
ФРАНЦИЯ	8
ИРЛАНДИЯ	9
ИТАЛИЯ	9
ЛЮКСЕМБУРГ	10
НИДЕРЛАНДЫ	10
АВСТРИЯ	11
ФИНЛЯНДИЯ	11
ШВЕЦИЯ	12
ВЕЛИКОБРИТАНИЯ	13
НОРВЕГИЯ	13
Общие положения	15
Общее описание задачи расчёта РОК	21
Первый этап	23
Второй этап	28
Третий этап	29
Четвертый этап	29
рекомендации по возможности использования методологических положений для оценки качества статистического наблюдения на территориальном уровне	31
Объекты процедуры получения РОК	33
Анкета рейтингового обследования	36
Действия пользователя при работе  с пакетом QFR (РОК)	42
ИНСТРУКЦИЯ ПО УСТАНОВКЕ ПРОГРАММЫ QFR	42
Системные требования	46
Порядок действий	46
Приложение 1. АНКЕТА ОЦЕНКИ АСПЕКТОВ КАЧЕСТВА ОБСЛЕДОВАНИЯ	52
ПРИЛОЖЕНИЕ 2. результаты апробации функционирования компьютерной программы для расчёта оценки качества результатов проведения статистических обследований в табличном и графическом виде	73
Алгоритм назначения весов ответов и расчёта весов вопросов	73
Базовый вес вопроса анкеты	73
Веса ответов	73
Библиография	85

Зарубежная практика оценки качества статистической информации 
В настоящее время за рубежом значительное внимание уделяется проблеме оценке качества, однако, подходы, используемые при этом в разных странах, отличаются между собой.
Так, в Европейской статистической системе одним из наиболее значимых обследований является структурное обследование предприятий. Изучение методов проведения и контроля качества данного обследования дает возможность оценить наиболее общие тенденции использования методик контроля качества входных и выходных данных в статистике предприятий в европейских странах. 
Наиболее общие выводы полученные при проведении данного исследования  следующие.
Все страны Европейской статистической системы используют сравнительную методику анализа полученных данных, применяя при этом для сравнения: данные предыдущих обследований, данные других статистических обследований и данные полученные от пользователей статистической информации.
В основном методы контроля качества входных и выходных данных этих стран совпадают, однако чаще акцент делается именно на контроль входной информации.
Контроль ведется как на микро, так и на макро уровнях, причем если на микро уровне контроль носит максимально автоматизированный характер (в основном контроль несоответствий и ложных кодов внутри вопросника), то именно на макро уровне появляется возможность сравнительного анализа.
Во всех странах наблюдаются две основные тенденции проведения контрольных мероприятий, а именно их максимальная автоматизация и более частое обращение к альтернативным источникам информации (данные пользователей, данные публикуемые крупными предприятиями и промышленными ассоциациями и информация доступная в Интернете).
Интересно заметить, что охват обследования в разных странах оценивается по разному, так в некоторых странах охват в 90% считается не только удовлетворительным, но и в полнее достаточным, тогда как другие страны находят возможность улучшать охват ( до 95 % и более).
Большинство стран считают, что наибольшие проблемы с качеством получаемой информации бывают при получении ответов от малых предприятий. 
Применение сквозных переменных, повторяющихся в различных обследованиях, дает возможность многим статистическим агентствам эффективно контролировать поступающую информацию.
Необходимость тщательного контроля на всех уровнях сбора, обработки и публикации статистической информации признается всеми без исключения странами, причем подчеркивается, что на публикации данных контроль не заканчивается, а продолжается при тесном взаимодействии с пользователями статистической информации.
БЕЛЬГИЯ
Используемые методы контроля качества входных данных:
- сравнение с данными предыдущих обследований; 
- контроль ответов респондентов (проводится около 40 контрольных проверок).
Используемые методы качественного контроля выходных данных:
- сравнение с данными, полученными из других источников (НДС и т.д.);
- сравнение данных обследований различных лет;
- сравнение с данными, полученными от пользователей.
Качество проводимых обследований оценивается как очень хорошее. Однако качество данных расценивается как исключительно субъективное понятие, зависящее, в частности, как от качества используемых основ статистического наблюдения, так и от качества передаваемой респондентами информации. 
ДАНИЯ
Используемые методы контроля качества входных данных:
- данные, полученные от каждого конкретного респондента, сравниваются с ранее полученными данными, а выявленные отклонения регистрируются для дальнейшего изучения;
- данные, полученные от каждого конкретного респондента, сравниваются с данными, полученными от других респондентов и выявленные существенные расхождения фиксируются для дальнейшего изучения;
- данные сравниваются с данными, полученными в ходе других обследований, в частности, с данными экспортной статистики, статистики национальных счетов и т.д. и основные существенные расхождения регистрируются для дальнейшей обработки.
Используемые методы контроля качества выходных данных:
- при обнаружении ошибок, проводятся дополнительные контрольные мероприятия по результатам публикации;
- в ходе использования выходных данных при обнаружении ошибок пользователи информации могут обращаться в Статистическое агентство для привлечения внимания к выявленным ошибкам;
- качество проводимых обследований оценивается как очень хорошее. Общий охват обследования достигает 97%. 
ГЕРМАНИЯ
Используемые методы контроля качества входных данных:
- применяется ручной и автоматизированный вероятностный контроль входных данных, в частности, проводятся сравнения с  предыдущими периодами, изучаются темпы изменений, средние величины и т.д.
Используемые методы контроля качества выходных данных:
- методы, используемые для контроля входной информации, в полной мере применяются и для контроля выходной информации. Большое внимание уделяется оценке выходных данных пользователями и возможности использовать их для маркетинговых исследований.
ГРЕЦИЯ
Используемые методы контроля качества входных данных:
- сотрудник статистической службы, ответственный за группу обследуемых предприятий, проводит следующие контрольные мероприятия:
- изучение истории предприятия (согласно предыдущим обследованием);
- соответствие файла данных единицы наблюдения записи по данной единицы в регистре;
- проведение контроля при необходимости по усредненной цене продукции.
Используемые методы контроля качества выходных данных:
- проводится сравнительный анализ всех данных, полученных от предыдущих обследований. Отмечается крайне низкий уровень качества ответов, получаемых от малых предприятий. 
В ближайшее время ожидается серьезное изменение законодательства в части, касающейся малых предприятий. Согласно этим изменениям малые предприятия будут обязаны предоставлять достоверную информацию о продукции, продажах, производственных мощностях и т.д. Соответственно, качество выходных данных значительно повысится.
ИСПАНИЯ
Используемые методы контроля качества входных данных:
- проведение логического контроля по выявлению всякого вида несоответствий;
- установление новых видов продукции, не используемых в предыдущих обследований, и вычисление процентного изменения по каждому респонденту;
- сравнение с данными, публикуемыми крупными предприятиями и/или промышленными ассоциациями.
Используемые методы контроля качества выходных данных:
- анализ отклонений, возникающих на уровне макроданных, и изучение причин таких отклонений;
- сравнение полученных данных с данными из других источников.
ФРАНЦИЯ
Используемые методы контроля качества входных данных:
- контроль агрегированных показателей по видам деятельности;
- сравнение данных с данными других обследований и данными из независимых источников.
Используемые методы контроля качества выходных данных:
- данные контролируются на нескольких уровнях:
- соответствие требованиям Евростата;
- последовательность/логичность данных, а именно:
- оценка общих тенденций;
- оценка средних значений;
- сравнение с данными других обследований.
Контрольные мероприятия на практике проводятся внутренней компьютеризированной контрольной системой и системой контроля, предоставленной Евростатом.
В настоящее время Институт статистики Франции проводит обширную работу по изучению качества данных, получаемых в результате статистических обследований.
Работа основывается на критериях качества (актуальность, срок выполнения, точность, последовательность, сопоставимость, доступность и цена), близких к предлагаемым Евростатом. В настоящее время рассматривается возможность использования для оценки качества проводимого обследования, так называемой, таблицы качества, включающей в себя все критерии качества, перечисленные выше.
ИРЛАНДИЯ
Используемые методы контроля качества входных данных:
- сравнение данных обследований за разные годы;
- сравнение данных обследования с информацией, получаемой в ходе других опросов  (например, с данными экономической переписи).
Используемые методы контроля качества выходных данных совпадают с входными методами.
ИТАЛИЯ
Используемые методы контроля качества входных данных:
- контроль согласованности переменных в рамках вопросника;
- контроль выбросов (нетипичных значений показателей), определенных специальным программным обеспечением;
- контроль согласованности данных за определенный период.
Используемые методы контроля качества выходных данных:
- контроль проводится как с использованием данных предыдущих обследований, так и в сравнении с данными, полученными из других источников.
Качество обследования считается достаточно высоким, если его охват превысил 90%. Все критерии качества применяются в основном к финальным выходным данным, причем первичные данные могут отличаться достаточно низким качеством.
В настоящее время планируется:
- улучшение методологической основы оценки качества данных;
- более широкое использование альтернативных источников для проведения сравнительного контроля;
- повышение уровня ответов с использованием телефонного напоминания.
ЛЮКСЕМБУРГ
Используемые методы контроля качества входных данных:
- сравнение данных с данными за предыдущие периоды;
- сравнение усредненных показателей.
Используемые методы контроля качества выходных данных совпадают с входными методами контроля.
НИДЕРЛАНДЫ
Используемые методы контроля качества входных данных:
- сравнение данных с данными, получаемыми из других источников;
- оценка временных рядов для отдельных предприятий.
Используемые методы контроля качества выходных данных:
- используется специальная матрица результатов за все предыдущие обследования;
- предполагается расширить применение альтернативных источников данных для сравнительного анализа.
АВСТРИЯ
Используемые методы контроля качества входных данных:
- проводится большое количество контрольных мероприятий на микро и макро уровнях с использованием как временного, так и альтернативного сравнения:
- контроль непротиворечивости различных переменных внутри вопросника;
- контроль непротиворечивости данных за разные временные периоды.
Более того, в связи с тем, что департамент статистики проводит достаточное количество различных обследований, существует возможность постоянного контроля сквозных переменных.
Используемые методы контроля качества выходных данных:
- сравнение с данными, полученными по результатам других обследований;
- сравнение с данными, публикуемыми пользователями статистической информации.
В настоящее время ожидается значительное улучшение качества получаемой статистической информации в связи с введением специально разработанного электронного вопросника.
ФИНЛЯНДИЯ
Используемые методы контроля качества входных данных:
- сравнение полученных данных с данными структурной статистики;
- автоматизированный контроль ошибочных кодов;
- контроль соответствия переменных внутри вопросника;
Используемые методы контроля качества выходных данных:
- используется только ручной контроль качества выходных данных, при этом выявляются несоответствия переменных в сравнении с предыдущими обследованиями;
- широко используется информация, получаемая от пользователей;
- планируется введение автоматизированной системы контроля выходных данных.
ШВЕЦИЯ
Используемые методы контроля качества входных данных:
- используются как автоматизированные, так и ручные методы контроля качества на микро и макро уровнях.
Контроль качества на микро уровне:
- автоматизированный логический контроль;
- автоматический контроль на допустимость;
- ручной контроль.
Контроль качества на макро уровне:
- сравнительный анализ данных за разные временные периоды;
- сравнительный анализ с данными других обследований.
Используемые методы контроля качества выходных данных:
- сравнительный анализ с альтернативными данными;
- сравнительный анализ усредненных данных.
ВЕЛИКОБРИТАНИЯ
Используемые методы контроля качества входных данных:
- получаемые ответы при вводе либо вручную кодируются, либо автоматически сканируются  в специальную компьютеризированную систему, в которой проводятся различные контрольные мероприятия, а именно:
- сравнительный анализ за разные временные периоды;
- проверка непротиворечивости;
Используемые методы контроля качества выходных данных:
- изменение переменных за временной период;
- редактирование.
НОРВЕГИЯ
Используемые методы контроля качества входных данных:
- все вопросники вручную проверяются на микроуровне на непротиворечивость с данным предыдущих обследований и сравниваются с бухгалтерской отчетностью. 
Предприятия, которые предоставили недостаточно качественные данные дополнительно опрашиваются по телефону. Полученная информация также проверяется. Также как источник альтернативной информации для сравнительного анализа используется Интернет.
Контрольные мероприятия, в частности затрагивают:
- контроль использования ложных кодов;
- контроль средних значений показателей.
Используемые методы контроля качества выходных данных:
- вся выходная информация тщательно проверяется и тестируется перед публикацией. Для контроля также используется информация, получаемая от пользователей статистической информации.

Общие положения
Известно, что для определения соответствия качества проводимого обследования международному стандарту, необходимо установить с помощью диагностики и мониторинга реальное состояние этого обследования. Механизмом реализующим "количественный подход" оценки качества являются расчеты так называемых рейтинговых  оценок качества. 
Под «рейтинговыми» оценками должны пониматься рассчитанные числовые показатели, агрегирующие различные аспекты качества подготовки, проведения и результатов итогов обследования и позволяющие проводить сравнение по полученным  величинам.
Рейтинговая оценка качества обследования служит решению следующих задач: 
во-первых, каковы и каким образом составляющие процесса получения и обработки данных влияют на итог обследования, 
 во-вторых, как оценить это влияние на конечное качество статистической информации.
В связи с этим  цель работы по расчёту рейтинговой оценки качества состоит в предоставлении организаторам обследований способа  количественной оценки качества каждой стадии статистического процесса для выявления и исправления слабых мест проводимого наблюдения, тем самым улучшая данные, предоставляемые пользователям.
В процессе расчета организатор обследования получает возможность видеть полную картину источников ошибок, влияющих на качество конечных результатов, и выбрать возможные пути их сокращения.
	Таким образом, применение рейтингового подхода позволяет решить три важные проблемы оценивания качества данных:
во-первых, учесть все существенные индивидуальные особенности обследования (отражая их с помощью рейтинговой оценки качества);
во-вторых, получить ни только качественную, но и количественную информацию о результатах проведения обследования; 
в-третьих, проанализировать полученные оценки и придать им необходимую стандартную форму (в числовом виде), что трудно сделать, работая только с итоговыми данными. 
Качество проведения любого обследования характеризуется степенью соответствия любого проводимого обследования основным аспектам качества или регламентирующим их отраслевым стандартам, если таковые предусмотрены. 
Таким образом для достижения необходимого качества данных необходимо:
 во-первых, понять, какие составляющие процесса получения и обработки данных  и каким образом повлияли на итог обследования, 
во-вторых, оценить их влияние на конечное качество статистической информации. 
Основу данной работы составляют восемь аспектов качества (выраженные в терминах: целостность, востребованность, точность, достоверность, своевременность, доступность, интерпретируемость, сопоставимость), которые в настоящее время выделяет и использует мировая статистическая практика при оценке качества проводимых обследований. 
На основе учета и балансировки этих элементов качества Росстат может планировать свои программы статистических обследований.
Суть данных терминов заключается в следующем:
•	целостность - включает научно обоснованную методологию и неукоснительное соблюдение методик проведения обследований при сборе, обработке и распространении статистических данных, таким образом, что методологическая база осуществления статистической деятельности должна быть гармонизирована с принятыми международными стандартами и принципами их использования в статистической практике;
•	востребованность - представляет собой качественную оценку степени необходимости статистических данных пользователям, то есть насколько данные служат целям, ради которых они были произведены, и доведены ли они до пользователя;
•	достоверность - содержит степень оценок результатов статистических обследований  и измеряется в терминах ошибок, связанных: с выборкой, случаями неответов респондентов, умышленным искажением представляемой информации, а также статистической обработкой данных;
•	термин точность оценки статистического показателя (применяется, как правило, в выборочных статистических наблюдениях) характеризует случайную ошибку выборки и показывает величину отклонения рассчитываемого значения от ее  усредненной по всем возможным выборкам величины (степень точности оценки обычно характеризуется ее дисперсией, стандартной ошибкой, коэффициентом вариации (относительной стандартной ошибкой) и доверительным интервалом);
•	своевременность - отражает приемлемую для пользователей продолжительность периода времени, проходящего от наблюдаемого  события до момента публикации или передачи заказчику соответствующих данных, и характеризуется предельно допустимым интервалом времени, на  протяжении которого статистическая информация остается актуальной и востребованной пользователями, а также характеризует точность выполнения поставленной задачи; 
•	доступность - отражает состояние готовности данных к официальному распространению и информированность пользователей о возможности и средствах получения интересующих их данных;
•	интерпретируемость - отражает строгость используемых в публикациях статистических терминов;
•	согласованность - означает степень полноты данных и логической взаимосвязи между результатами статистического обследования и данными других обследований либо показателями, полученными на их основе расчетным путем.
Информационной основой рейтинговой оценки качества служит Вопросник оценки качества (заполняемый специалистом ответственным за проведение обследования), имеющий структуру, включающую семь основных этапов обследования и ориентируемую на процесс. Это означает, что последовательность вопросов касается всего процесса проведения обследования, то есть очередность вопросов соответствует основным этапам  проведения обследования, при этом каждый из вопросов соотнесён одному из представленных выше 8 аспектам качества.
Вопросы, предлагаемые к заполнению в Вопроснике  оценки качества, являются обобщенными и наиболее важными для оценки качества при подготовке и проведении обследования, анализе выходных сводных данных. 
Очередность вопросов в Вопроснике  соответствует следующим основным этапам:
•	РЕШЕНИЕ О ПРОВЕДЕНИИ ОБСЛЕДОВАНИЯ:
o	анализ потребностей пользователей;     
o	цель проведения обследования.
•	ПЛАН ПРОВЕДЕНИЯ ОБСЛЕДОВАНИЯ:
o	концепция обследования;
o	план выборочного обследования;
o	разработка и тестирование инструментария измерения.
•	подготовка к сбору данных: 
o	определение источников данных;  
o	набор интервьюеров и их обучение (если требуется); 
o	определение области обследования при полевых работах.
•	ввод и обработка данных: 
o	ввод данных;                   
o	процедура редактирования;        
o	процедура  замещения пропусков ошибочных данных (импутация).
•	АНАЛИЗ АСПЕКТОВ КАЧЕСТВА ВЫПУСКАЕМЫХ ДАННЫХ: 
o	оценка качества данных;
o	анализ данных;
o	защита информации.
•	ДОКУМЕНТАЦИЯ И РАСПРОСТРАНЕНИЕ ДАННЫХ:
o	документация мeтаданных;
o	стратегия распространения;
o	управление данными.  
•	УСОВЕРШЕНСТВОВАНИЕ 
В процессе расчета рейтинговой оценки качества организатор  обследования получает возможность увидеть не только источники потенциальных ошибок и низкое качество конечных результатов, но и нарушение технологии процесса  проведения обследования.
Регулярный мониторинг рейтинговых оценок качества проведения обследований предоставит возможность создать базу данных по рейтинговым оценкам качества. Для оценки и контроля качества статистических данных на различных этапах их производства и предназначен программный комплекс «QFR (РОК)», предлагаемый в данной работе.

Общее описание задачи расчёта РОК
В качестве способа оценки качества проведения обследования и полученной в его результате информации в данной работе  рассматривается расчет рейтинговой (порядковой) оценки качества, характеризующей степень соответствия любого обследования основным аспектам качества, используемых в международной статистической практике. 
Причинами разработки рейтинговой оценки качества явились: 
во-первых, необходимость формализовать или регламентировать степень влияния на качество выпускаемой информации всех аспектов качества, которые не учитываются в рамках стандартных методик статистических обследований,
 во-вторых – возможность улучшения качества информации в целом, при помощи выявления слабых мест оцениваемого обследования. 
В деятельности органов государственной статистики можно выделить следующие компоненты, определяющие качество результатов проводимых обследований:
а) выяснение и уточнение потребностей пользователей в статистических данных;
б) определение ключевых направлений статистических исследований с учетом имеющегося спроса на информационные ресурсы; 
в) регламентация и выполнение контроля качества производственного процесса сбора и обработки  данных наблюдений и публикации полученных результатов.
При этом следует учитывать, что данные компоненты качества имеют комплексный характер, поэтому модификация  одной компоненты оказывает влияние на другие. 
Необходимо гарантировать, чтобы итоговые данные каждого обследования могли интегрироваться в статистические базы и использоваться совместно с данными других обследований.
Важным моментом достижения необходимого уровня качества официальной статистической информации является организация эффективной системы контроля качества статистических данных на всех этапах их формирования и публикации. Система контроля должна действовать на всех уровнях организации государственной статистической деятельности:
- федеральном (центральный аппарат Федеральной службы государственной статистики России и ГМЦ Росстата);
- региональном (включая районный).
Достижение необходимого уровня качества результатов статистической деятельности требует от организаторов наблюдений тщательного планирования и осуществления непрерывного контроля за ходом их проведения. 
Инструментарий диагностики процесса и результатов обследования на предмет их соответствия критериям и стандартам качества, применяемых в международной статистической практике, должен позволять увидеть недостатки подготовки и проведения того или иного обследования на всех этапах проведения обследования и исправить их. 
Процесс проведения рейтинговой оценки состоит из следующих четырех этапов: 
•	на первом этапе -  проводится заполнение организатором обследования Вопросника оценки качества обследования;
•	на втором этапе – по результатам заполнения Вопросника проводится расчёт  рейтинговой оценки качества (РОК), расчет количества ответов на вопросы по соответствующим аспектам качества и заполнение полученными данными Рабочих таблиц;
•	на третьем этапе – проводится анализ материалов, полученных на втором этапе; 
•	на четвертом – предоставляются рекомендации, включающие как характеристику качества проведённого обследования, так и рекомендации по его улучшению.
Информационную основу методики составляет Вопросник, который служит организатору обследования для определения: 
•	текущего уровня качества подготовки и проведения самого обследования;
•	соблюдения гармонизированных с международной статистической практикой основных требований, предъявляемых к качеству данных на всех этапах статистического наблюдения, включающих организацию и проведение статистического наблюдения, обработку данных, получение и публикацию сводных итогов;
•	основных направлений методологического и организационного совершенствования обследования.
Первый этап
В Вопроснике оценки качества подготовки и проведения обследования (см. Приложение 1 ) предлагается к заполнению 121 вопрос. Вопросы  распределены по 8 аспектам качества следующим образом: 54 - к аспекту целостности, 9 – к востребованности данных, 28 – к достоверности, 13 – к точности, 5 – к своевременности, 5 – к доступности,  1 – к интерпретируемости  и  6 - связаны с согласованностью статистических данных.
Исходя из количества заполненных вопросов, отражающих определенный аспект качества, рассчитываются веса соответствия данного вопроса определенному аспекту качества, характеризующие вклад отдельно взятого вопроса в значение выполнения соответствующего аспекта качества (так называемый коэффициент значимости вопроса).
Коэффициент значимости вопроса рассчитывается из следующего уравнения (при условии, что все аспекты качества одинаково важны при проведении обследования): 
  ,
где m – число вопросов, отражающих h-й аспект качества проведения обследования.
 - весовой коэффициент значимости вопроса (вес вхождения j-го вопроса в h-й аспект качества проведения обследования). 
На основе данной формулу рассчитываются коэффициенты значимости вопросов (как доля вопросов соответствующая определенному аспекту качества), так, например, весовой коэффициент значимости такого аспекта качества как интерпретируемости составляет – 0,125.
Второй составляющей  в расчете является количество баллов (или базовый вес ответов), проставленных за выполнение вопросов, представленных в Вопроснике (некоторые из которых могут представлять собой сумму выбранных ответов на данный вопрос). 
Определение организатором обследования выполнения поставленных вопросов может проводится двумя способами.  
Базовый вес вопроса анкеты  программного комплекса  рассчитывается (см. Приложение 2), в соответствие с важностью вопроса в общей оценке качества (в виде равных долей единицы), в зависимости от общего количества вопросов анкеты (так как число вопросов анкеты  - 120, базовый вес каждого вопроса имеет значение 1/120 или 0,0083333).  
В анкете предусмотрены два вида ответов: альтернативные и совместные. Разница их в том, что из альтернативных ответов можно указать только один, так как они по своей сущности не совместны и отражают ситуации, приводящие к разным уровням качества в рассматриваемой в вопросе детализации. 
Совместные ответы отражают характеристики качества, которые есть возможность складывать. 
На этих особенностях формулировок вопросов и ответов и основывается назначение базовых весов ответов и расчёт содержательного веса вопроса.
Таким образом, рейтинговая оценка качества (R) обследования, с учётом весового коэффициента значимости вопроса и балла, проставляемого при ответе на соответствующий вопрос, можно рассчитать по формуле:
,          где
    -  базовый вес вопроса, проставляемый при ответе на j-й вопрос вопросника;
 - весовой коэффициент значимости вопроса (вес вхождения j-го вопроса в h-й аспект качества проведения обследования). 
Результаты расчета, как по основным этапам проведения обследования, так и по аспектам качества, заносятся в следующую  Рабочую таблицу для проведения последующей диагностики.
№
п/п	
Этапы  проведения обследования	
Аспекты качества	
Оценка качества  эталонного обследования	Относительная оценка качества
(сумма гр.3-10 / гр.11)
	Относительная оценка качества за предыдущий  год	Изменение
относительной оценки качества
по сравнению с предыдущим годом (+ улучшение,
- ухудшение)	
		1	2	3	4	5	6	7	8					
1	2	3	4	5	6	7	8	9	10	11	12	13	14	

1.	Решение о проведении обследования													

2.	План проведения обследования													

3.	Подготовка к сбору данных													
4.	Ввод  и обработка данных													
5.	Анализ аспектов качества выпускаемых данных													
6.	Документация и распространение данных													
7.	Усовершенствование обследования													
8.	Значение аспекта качества
(сумма п.1-7)													

В графах 3 - 10 данной таблицы проставляется сумма взвешенных оценок качества,  характеризующих данный аспект качества в отдельности на определенном этапе обследования (графы аспектов качества, несвойственные данному этапу обследования - заштрихованы).
Используя результаты Рабочей таблицы (соответственно графы 12 и 14, строки 4 и 6) можно построить таблицы относительной оценки качества по этапам проведения обследования и аспектам качества.
Таблица оценки этапов проведения обследования
№	
Этапы проведения обследования	Относительная оценка качества	Изменение 
относительной оценки качества
по сравнению с предыдущим годом
 (+ улучшение,
- ухудшение)	
1	2	3	4	
1	Решение о проведении обследования			
2	План проведения обследования			
3	Подготовка к сбору данных			
4	Ввод и обработка данных			
5	Анализ качества выпускаемых данных			
6	Документация и распространение данных			
7	Усовершенствование обследования			

Таблица оценки аспектов качества
№	Аспекты качества	Значение аспекта качества	Изменение  значения аспекта  качества по сравнению с предыдущим годом
(+ улучшение,
- ухудшение)	
1	2	3	4	
1	Целостность статистической деятельности			
2	Востребованность  статистических данных			
3	Достоверность результатов 			
4	Точность оценки статистического показателя			
5	Своевременность представления данных			
6	Доступность статистических данных 			
7	Интерпретируемость статистических данных			
8	Согласованность данных			

Второй этап
На втором этапе проводится диагностика качества проводимого обследования (как каждого его этапа, так и отдельно взятого аспекта качества) с использованием данных заполнения предыдущих таблиц. 
При этом значения рейтинговых оценок качества, полученные на первом этапе, сравниваются со значениями величин, составляющих интервалы качества условно-эталонного обследования (для расчета значений нормативной рейтинговой оценки используется "идеально" заполненный вопросник, содержащий положительные ответы на все вопросы по "идеально" подготовленному и проведенному обследованию).
Далее  проводится проверка соответствия рейтинговой оценки проводимого обследования одному из представленных в таблице интервалов качества.
№	Характеристика обследования	Интервал качества	
1	Степень выполнения всех требований к качеству проведения данного обследования высокая, совершенствование не требуется	
1,0 – 0,5	
2	Степень выполнения всех требований к качеству проведения обследования средняя, целесообразно дальнейшее совершенствование	
0,5 – 0,3	
3	Степень выполнения всех требований к качеству проведения обследования низкая, необходимо дальнейшее совершенствование	
 0,3	

Представленные в таблице значения интервалов качества были рассчитаны, руководствуясь Теорией регулирования социальных систем. Естественно, при наличии или получении дополнительной информации при использовании алгоритма расчета весов программного комплекса данные интервалы будут скорректированы.
При необходимости данные диагностики рейтинговых оценок качества могут быть представлены в виде диаграмм (как за один период, так и за ряд периодов). Диаграммы позволяют более наглядно увидеть результаты диагностики качества проведения обследования.
Третий этап
Полученные на втором этапе результаты позволяют проводить сравнение рейтинговых оценок качества различных обследований, проводить наблюдение за изменением качества конкретного обследования, сравнивая полученные результаты с оценками за предыдущие годы.  
Рейтинговые оценки качества нескольких обследований можно упорядочить (ранжировать) в порядке убывания рейтинговой оценки (см. столбец 8 следующей таблицы).
№	Наименование обследования	Относительная оценка качества на основных этапах проведения обследования	Рейтинговая оценка качества	Рейтинговый класс интервала               качества	Общий рейтинг	Общий рейтинг за предыдущий год	Изменение рейтинга по сравнению с предыдущим годом
(+ улучшение,  
- ухудшение)	
		Организационно-методологические мероприятия по подготовке обследования	Проведение обследования  и получение результатов  наблюдения	Публикация и распространение результатов наблюдения						
1	2	3	4	5	6	7	8	9	10	

										

Четвертый этап
Сравнительный анализ результатов диагностики позволяет выявить факторы, влияющие на качество подготовки и проведения обследования, что необходимо для подготовки выводов и выработки рекомендации по корректировке качества его проведения, что и делается на четвертом этапе.
При этом следует учитывать, что данные компоненты качества имеют комплексный характер, поэтому модификация  одной компоненты оказывает влияние на другие. 
Необходимо гарантировать, чтобы итоговые данные каждого обследования могли интегрироваться в статистические базы и использоваться совместно с данными других обследований.
Важным моментом достижения необходимого уровня качества официальной статистической информации является организация эффективной системы контроля качества статистических данных на всех этапах их формирования и публикации. Система контроля должна действовать на всех уровнях организации государственной статистической деятельности:
- федеральном (центральный аппарат Федеральной службы государственной статистики России и ГМЦ Росстата);
- региональном (включая районный).
Достижение необходимого уровня качества результатов статистической деятельности требует от организаторов наблюдений тщательного планирования и осуществления непрерывного контроля за ходом их проведения. 
Инструментарий диагностики процесса и результатов обследования на предмет их соответствия критериям и стандартам качества, применяемых в международной статистической практике, должен позволять увидеть недостатки подготовки и проведения того или иного обследования на всех этапах проведения обследования и исправить их. 

рекомендации по возможности использования методологических положений для оценки качества статистического наблюдения на территориальном уровне 
При использовании методологических положений для оценки качества статистического наблюдения на территориальном уровне необходимо учитывать следующие требования.
1.	Получение рассматриваемого данной методикой программного продукта «QFR (РОК)» территориальными органами государственной статистики возможно в электронном виде с использованием электронных носителей (дискеты и компакт-диски), а также путем передачи информации зарегистрированным пользователям по линиям связи средствами электронной почты (1‑С и e‑mail)
2.	Вопросник оценки качества должен заполняться специалистом, ответственным за проведение обследования (т.е. менеджером-экспертом).
3.	Установка программы должна быть произведена в соответствии с Инструкцией по установке, в которой кроме того содержатся минимальные системные требования к компьютеру, на котором планируется установка программного продукта «QFR (РОК)».
4.	Проблемы, связанные с внесением возможных изменений в Вопросник оценки качества, решаются ответственным за проведение обследования в Росстате.
5.	Вопросы, связанные с необходимостью коррекции программных возможностей продукта «QFR (РОК)», также решаются на федеральном уровне.
6.	Обследование может описываться экспертом не единственный раз, а по состоянию разных его этапов, отображая, таким образом, хронологию полноты исполнения обследования.
7.	Осуществление со стороны территориальных органов государственной статистики «обратной связи» по результатам расчета рейтинговой оценки качества, в т.ч. внесение необходимых изменений в содержание Вопросника оценки качества, будет способствовать более эффективному использованию этого инструментария в последующих наблюдениях.

Объекты процедуры получения РОК
Рассмотрим функциональную схему, в результате которой должны получаться РОК. Полнота описания схемы и процедуры получения РОК со всеми элементами и определят инструментарий, необходимый для реализации задачи метаанализа. Определим, какие элементы участвуют в измерении и получении данных исследуемого феномена, как идентифицируются объекты измерения, каковы правила и последовательность обработки данных.
Объектом исследования такой комплексной характеристики как качество (в рамках восьми обусловленных аспектов) является само статистическое обследование.
При описании исследуемых сторон обследования выделены аспекты качества и этапы обследования.
На основе сформулированного представления обследования разработана анкета опроса для получения первичных данных расчёта РОК.
Уровни элементарных характеристик, которые отнесены в методологии к сфере качества, формулирует эксперт (он же - ответственный за проведение обследования), заполняя анкету (вопросник).
Направленность методики на совершенствование обследований определяет то обстоятельство, что обследование может описываться экспертом не единственный раз, а по состоянию разных его этапов, отображая, таким образом, хронологию полноты исполнения обследования.
Описываемые объекты, их свойства и цель использования РОК предопределяют, таким образом инструментарий. 
Основными компонентами инструментария являются:
1.	Анкета рейтингового обследования, которая характеризуется:
1.1.	 блочной структурой;
1.2.	составом вопросов отдельных блоков;
1.3.	формой вопросов;
1.4.	формой предлагаемых альтернатив ответов.
2.	Инструментарий ввода анкет в программу обработки включает:
2.1.	бумажную форму заполнения;
2.2.	электронную форму заполнения;
2.3.	систему правил контроля корректности;
2.4.	форму промежуточного отчёта заполнения.
3.	Инструментарий обработки анкеты содержит:
3.1.	алгоритм расчёта промежуточных РОК;
3.2.	учёт неполноты заполнения в связи с этапностью анализируемого обследования;
3.3.	алгоритм расчёта окончательных РОК.
4.	Хранение и сопровождение архива анкет включает:
4.1.	СУБД анкет
5.	Хранение и сопровождение архива РОК содержит:
5.1.	СУБД  РОК
6.	Инструментарий расчётно-аналитических задач, использующих РОК включает:
6.1.	сводные отчёты по заданным разрезам объектных характеристик (по этапам, по группам, по уровням качества и т.п.);
6.2.	аналитические таблицы, построенные по заданным алгоритмам сравнения

Анкета рейтингового обследования 
Методология оценки качества на основе РОК, разработанная в Росстате, предполагает организацию вопросника рейтингового обследования (в дальнейшем - анкета), основанного на связи с самим процессом организации и проведения того статистического обследования, качество которого формализуется.
Выделяются следующие этапы организации и проведения обследования, на основании которых строится структура анкеты:
1.	Решение о проведении обследования.
1.1.	Анализ потребностей пользователей
1.2.	Цель проведения обследования.
2.	Проектирование обследования.
2.1.	Концепция обследования
2.2.	План обследования, возможно, выборочного
2.3.	Разработка и тестирование инструментария измерения.
3.	Подготовка к сбору первичных данных.
3.1.	Определение источников данных
3.2.	Набор интервьюеров и их обучение 
3.3.	Определение области обследования при полевых работах.
4.	Ввод и обработка данных.
4.1.	Ввод первичных данных             
4.2.	Процедура редактирования
4.3.	Процедура  замещения пропусков и ошибочных данных (импутация)
5.	Анализ аспектов качества выпускаемых данных.
5.1.	Оценка качества данных
5.2.	Анализ данных
5.3.	Защита информации
6.	Документация и распространение данных.
6.1.	Документирование мeтаданных
6.2.	Стратегия распространения
6.3.	Управление данными
7.	Усовершенствование.
Привязка структуры к этапам позволяет сделать заполнение анкеты естественной процедурой в составе действий по организации и проведению обследования, не раздражающей своей избыточностью, а органично вписанной в рабочий процесс.
Состав вопросов и вариантов ответов по существу определён методикой Росстата, однако, требуется определённая трансформация, учитывающая будущую программную (автоматическую) обработку анкеты. Вопросы должны быть предельно понятны отвечающим и не вызывать затруднений в интерпретации терминов и понятий. В связи с этим вид, форма представления вопросов и предлагаемых альтернатив ответов должны быть максимально унифицированы.
Варианты ответов могут быть исключающими альтернативами: 
Таблица 1. Ответы в виде исключающих альтернатив
Номер вопроса:	Этап: 	1. Решение о проведении обследования	Аспект: 	Целостность	
1.	1.1. Анализ потребностей пользователей		
	
Вопрос:	1. Какова юридическая основа проводимого обследования ?	Вес	
Варианты ответов	•	Национальный закон			
	•	Отдельное распоряжение Росстата			
	•	План государственного статистического наблюдения			
	•	Другое			
Примечание:	

В этом случае выбирается только один из предложенных ответов, назначенный вес которого войдёт в вычисление РОК. В Таблице 2 выбран вариант «Другое». Ответы могут быть включающими описаниями (возможностями или качествами) в ответ на вопрос анкеты:
Таблица 3. Ответы в виде включающих вариантов
Номер вопроса:	Этап: 	6. Документирование и распространение	Аспект: 	Доступность	
107.	6.1. Документирование метаданных		
	
Вопрос:	1. Как распространяются метаданные и показатели качества ?	Вес	
Варианты ответов	•	Метаданные в печатных публикациях			
	•	Метаданные в Интернете			
	•	Показатели в печатных публикациях			
	•	Показатели в Интернете			
Примечание:	

В таком случае могут быть выбраны (отмечены) несколько вариантов, как это показано в Таблице 4, из долей веса которых и сложится компонента вычисления РОК этого вопроса анкеты.
Если существенность вариантов ответов принимается равной, то и веса ответов будут равны, в противном случае, если предполагается, что значения вариантов ответов неравноценны, веса могут быть назначены отдельно для каждого варианта.
Процесс заполнения вариантов ответов анкеты в соответствии с правилами заполнения выполняется и контролируется программным комплексом (полный вариант анкеты представлен в Приложении 1).
Незаполнение какого-либо вопроса допустимо. В этом случае, соответствующая числовая компонента, относящаяся к незаполненному вопросу, будет равна нулю, что объективно отразится в снижении РОК в той доле.
Предлагаемый программный продукт в качестве инструментария диагностики процесса и результатов статистических наблюдений обеспечивает:
•	возможность заполнения «Вопросника оценки качества организации, проведения и результатов статистического наблюдения» в электронном виде специалистами подразделений Росстата, ответственными за проведение обследования, с одновременным внесением его в создаваемую базу данных;
•	расчет рейтинговой оценки качества проведения и результатов обследования;
•	представление результатов статистической обработки в табличном и графическом виде;
•	создание базы данных, содержащей рейтинговые оценки качества результатов статистических обследований предприятий, совместимых с аналогичными средствами Windows.
Программный продукт «QFR (РОК)» учитывает такие необходимые аспекты качества статистической информации, признанные в мировой статистической практике, как:
•	целостность,
•	востребованность,
•	достоверность,
•	точность,
•	своевременность,
•	доступность,
•	интерпретируемость,
•	согласованность.
Программа «QFR (РОК)» содержит вопросы анкет, привязанные к стадиям процесса подготовки и проведения обследования, и обуславливающие характеристики следующих этапов:
1.	Решение о проведении обследования.
2.	Проект обследования.
3.	Подготовка к сбору данных.
4.	Ввод и обработка данных.
5.	Анализ аспектов качества выпускаемых данных.
6.	Документация и распространение данных.
7.	Усовершенствование цикла обследования.
Программой рассчитывается не только РОК, общая для всего обследования в целом, но и его компоненты по аспектам и этапам перекрёстно в виде матрицы компонентов РОК. 

Ниже представлена схема организации вопросника рейтингового обследования:

Действия пользователя при работе 
с пакетом QFR (РОК)
ИНСТРУКЦИЯ ПО УСТАНОВКЕ ПРОГРАММЫ QFR
Установка программы QFR на компьютере под управлением  Windows 98, Windows 2000, Windows XP.
Данный программный продукт устанавливается с компакт-диска (CD). Перед началом установки программы необходимо произвести установку оболочки.
1. Нажмите кнопку Пуск и выберите в меню Настройка пункт Панель управления.
2. Дважды щелкните значок Установка и удаление программ, нажмите кнопку Установка программ, а затем — CD или дискета.
3. Нажмите кнопку Далее.
4. Нажмите кнопку Обзор.
5. В корневом каталоге носителя, с которого производится установка программы, выберите файл Setup.exe и нажмите кнопку Открыть. Имя файла Setup.exe появится в поле Открыть командной строки диалогового окна Запуск программы установки.
6. Для запуска программы установки нажмите кнопку Готово.
7. При появлении приглашения к ознакомлению с лицензионным соглашением согласитесь с условиями лицензионного соглашения и нажмите кнопку Принимаю.

8. После появления страницы приветствия мастера установки программы QFR нажмите кнопку Далее.

9. Укажите место установки программы QFR. При установке на одно рабочее место специалиста выберите опцию Только для меня и нажмите кнопку Далее.

10. После появления сообщения об успешном завершении установки оболочки нажмите кнопку Далее.

11. После появления странички Установка завершена нажмите кнопку Закрыть.

12. По окончании установки на рабочем столе появляется иконка QFR (РОК).

Системные требования

•	Рекомендуется компьютер с процессором, тактовая частота которого составляет не менее 300 МГц; допустимый минимум — 233 МГц; использоваться могут процессоры семейств Intel Pentium, AMD K6/Athlon, или другие совместимые процессоры. 
•	Рекомендуется не менее 128 МБ ОЗУ (допустимый минимум — 64 МБ, при этом быстродействие и некоторые возможности операционной системы могут быть ограничены).
•	50 МБ свободного места на жестком диске.
•	Видеоплата и монитор Super VGA, с разрешением не менее 800×600 точек. 
•	Дисковод для компакт-дисков или дисков DVD. 
•	Клавиатура и мышь, или совместимое устройство ввода.
Ниже описаны порядок и минимально необходимые конкретные действия пользователя пакета QFR (РОК).
Порядок действий

1.	Установить полученное программное обеспечение для диагностики процесса и результатов статистических наблюдений в соответствии с инструкцией по установке, имеющейся в комплекте поставки.
2.	Запустить файл C:\Program Files\QFR\qfr.exe.
3.	На экране появится окно программы, разделенное на три окна: список обследований, расположенный слева, центральное окно с тремя закладками «Общие», «Анкета», «Отчеты», и расположенное внизу окно журнала протоколирования процесса расчёта РОК.

4.	Линии, разделяющие окна, позволяют расширить или уменьшить размеры окон по текущей необходимости, причём установленное пользователем расположение будет сохранено программой и восстановится при следующем запуске.
5.	Окно Список обследований предназначено для представления в виде иерархического дерева списка обследований, внесенных в базу данных. Такой вид представления служит для единовременной визуализации всех имеющихся обследований и облегчает доступ пользователя к ним. Для работы со списком обследований пользователь может использовать контекстное (выпадающее) меню, которое появляется при нажатии на название любого содержащегося в списке обследования правой кнопкой мыши. Выпадающее меню включает в себя такие опции, как «Редактирование», «Добавление» и «Удаление».
6.	Закладка «Общие» предназначена для отображения общих характеристик (сведений) обследования. При выборе в списке обследований какого-либо обследования на закладке «Общие» отображаются такие характеристики как:
•	Дата начала обследования,
•	Дата завершения обследования,
•	РОК, рассчитанная  для этого обследования,
•	Ответственный за проведение обследования и заполнение анкеты,
•	Управление Росстата, проводящее обследование.
Для работы пользователя с информацией на этой закладке предусмотрены кнопки навигации и возможность изменения данных общих характеристик.
1.	Закладка «Анкета», как следует из её названия, предназначена для заполнения анкеты, на основе которой выполняется расчёт РОК рассматриваемого обследования. Элементы интерфейса на данной закладке включают в себя:
•	обозначения наименования обследования,
•	содержание вопроса, 
•	наименование аспекта качества статистической информации, 
•	наименование этапа подготовки или проведения обследования,
•	перечень предлагаемых пользователю ответов. 
На данной закладке также предусмотрены кнопки навигации. Для визуализации получаемых промежуточных параметров РОК в правом верхнем углу данного окна расположено соответствующее поле.

2.	Для ответов на вопросы анкеты необходимо выбрать один из предложенных вариантов ответов в центральном окне программы и после этого нажать кнопку «Следующий».
3.	В случае необходимости внесения изменения в предыдущий ответ следует нажать кнопку «Предыдущий».
4.	Последовательное заполнение ответов на вопросы анкеты отражается в синем окне журнала протоколирования процесса расчёта РОК. Кроме того, по мере заполнения анкеты изменяется промежуточное значение РОК в текстовом поле данного окна, которое меняется от 0 до 1, при этом увеличение значения РОК свидетельствует о более высоком качестве обследования. Перерасчёт РОК и всех её компонентов происходит при любом выборе вариантов ответа. Таким образом, есть возможность контролировать динамически изменяемые компоненты РОК по аспектам и этапам в процессе полного или частичного заполнения анкеты. 
5.	 Для удобства пользователя предусмотрена возможность быстрого перехода к какому-либо вопросу путем использования специальной кнопки навигации, расположенной между кнопками «Следующий» и «Предыдущий». С этой целью в данном поле необходимо внести цифрами порядковый номер вопроса, необходимого пользователю, и щелкнуть по нему левой кнопкой мыши. Заполнение анкеты пользователь может прервать в любой момент и закрыть программу. Программа сохранит номер последнего вопроса, на котором остановился процесс заполнения анкеты, и при следующем запуске программа откроет именно это обследование и этот вопрос.
В статусной строке внизу справа отображается ползунком относительная позиция текущего вопроса:

Относительная позиция вопроса

Номер вопроса

6.	 При каждом вычислении РОК в окне журнала будут отражены следующие результаты, являющиеся основой для формирования отчётных таблиц:
•	РОК , относящаяся ко всему обследованию. На рисунке ниже – в прямоугольнике белого цвета.
•	РОК, относящиеся к аспектам и этапам обследования, по вопросам, которые были заполнены. На рисунке ниже – в прямоугольнике желтого цвета.
•	Компоненты РОК, разнесённые по аспектам каждого этапа в виде перекрёстной матрицы. На рисунке ниже – в прямоугольнике красного цвета. 

Приложение 1. АНКЕТА ОЦЕНКИ АСПЕКТОВ КАЧЕСТВА ОБСЛЕДОВАНИЯ

ПРИЛОЖЕНИЕ 2. результаты апробации функционирования компьютерной программы для расчёта оценки качества результатов проведения статистических обследований в табличном и графическом виде
Алгоритм назначения весов ответов и расчёта весов вопросов
Расчёт рейтинговой оценки качества обследования основывается на положении о том, что максимальная оценка может иметь значение 1 (целая единица). Таким образом, все промежуточные доли и составляющие оценки по этапам обследования и аспектам качества должны быть меньше единицы и отображать её структуру в долях единицы. Такое представление удобно для табличных и графических интерпретаций, отображений, при необходимости, числовых значений в процентах и т.п.
Базовый вес вопроса анкеты
Каждый вопрос анкеты должен иметь свой базовый вес, в идеальном случае, соответствующий важности смысла вопроса в общей оценке качества. Очевидным приближением к этому будет назначение базового веса вопросов в виде равных долей единицы, в зависимости от общего количества вопросов в анкете. В существующем на момент апробации варианте анкеты присутствовало 120 вопросов. Значит, базовый вес каждого вопроса имеет значение 1/120 – ой или 0,0083333. 
Веса ответов
В анкете предусмотрены два вида ответов: альтернативные и совместные. Разница их в том, что из альтернативных ответов можно указать только один, так как они по своей сущности не совместны и отражают ситуации, приводящие к разным уровням качества в рассматриваемой в вопросе детализации. 

Совместные ответы – напротив, отражают характеристики качества, которые есть возможность складывать. 

Пояснение по заполнению содержится в страничной сноске анкеты:

Полностью анкета представлена в ПРИЛОЖЕНИИ 4
На этих особенностях формулирования вопросов и ответов и основывается назначение базовых весов ответов и расчёт содержательного веса вопроса.
Списки вопросов и ответов в соответствии с Техническим заданием на Государственный контракт хранятся в виде связанных таблиц базы данных формата MS АССESS, которая имеет имя Qmeta.mdb.
Для альтернативных ответов значение каждого из их базовых весов (долей) не может превышать единицу, поэтому назначение базового веса в интервале от нуля до единицы должно соответствовать степени существенности влияния на качество результатов обследования той альтернативы действий или оцениваемой ситуации, которая описывается в ответе.

Для совместных ответов должно выполняться другое правило: сумма значений всех ответов на вопрос, которые описывают возможности в действиях или в оцениваемой ситуации, не должна превышать единицу, в простом случае - должна быть равна ей.

Собственно расчёт РОК состоит в суммировании произведений базовых весов вопросов и содержательных весов вопроса, который представляет собой содержательный вес отмеченного в анкете единственного ответа на вопрос для альтернативных ответов или на сумму содержательных весов отмеченных в анкете совместных ответов.
Каждый вопрос анкеты имеет отметку принадлежности к определённому этапу обследования и отметку принадлежности к определённому аспекту качества. Расчёт компонентов РОК по этапам обследования и аспектам качества состоит в суммировании рассчитанных содержательных весов вопросов по описанному выше алгоритму по соответствующим принадлежностям. 
Результаты расчёта РОК обследования и его структурных компонент по этапам обследования и аспектам качества, а также их изображение в виде локаторных диаграмм представлено в отчёте, который расположен в интерфейсе программы на соответствующей закладке:

Для оперирования отчётом, его просмотром, навигацией по нему и экспорт его в форматы MS Word (.doc), MS Excel (.xls) и Adobe Acrobat (.pdf) служит полоса инструментов с кнопками по верхнему краю окна отчётов. Функции кнопок:
 - экспорт отчёта  в форматы MS Word (.doc), MS Excel (.xls) и Adobe Acrobat (.pdf);
 - печать отчёта;
 - перерасчёт, обновление отчёта;
 - включение-выключение поля перечисления обследований 
(структуры полного отчёта);
 - кнопки навигации по страницам отчёта;
 - поиск в отчёте по словам;
 - масштаб отображения отчёта.
Отчёт по одному обследованию выглядит так:

Результаты расчёта РОК по этапам обследований и аспектам качества                                                 
Федеральная служба государственной статистики
Отчёт системы оценки качества статистических обследований
Таблица 1. РОК по этапам обследований и аспектам качества                                                 
1. Выборочное обследование малых предприятий по Форме № МП.
 0,592
1. Решение о проведении обследования
1. Целостность
 0.014
2. Востребованность
 0.011
РОК Этапа
 0.025
2. Проектирование обследования
1. Целостность
 0.073
3. Достоверность
 0.030
4. Точность
 0.023
8. Согласованность
 0.008
РОК Этапа
 0.133
3. Подготовка к сбору первичных данных
1. Целостность
 0.077
3. Достоверность
 0.031
РОК Этапа
 0.108
4. Ввод и обработка данных
1. Целостность
 0.055
3. Достоверность
 0.029
4. Точность
 0.000
5. Своевременность
 0.000
РОК Этапа
 0.084
5. Анализ аспектов качества выпускаемых данных
1. Целостность
 0.008
2. Востребованность
 0.024
3. Достоверность
 0.016
4. Точность
 0.055
5. Своевременность
 0.028
7. Интерпретируемость
 0.008
8. Согласованность
 0.042
РОК Этапа
 0.182
6. Документация и распространение данных
1. Целостность
 0.000
2. Востребованность
 0.013
6. Доступность
 0.047
РОК Этапа
 0.060
7. Усовершенствование
1. Целостность
 0.000
РОК Этапа
 0.000
 0.592
РОК Обследования

Таблица 2. Перекрёстная таблица абсолютных долей РОК по этапам обследований и аспектам качества                                                 
1. Целостность
2. Востребованность
3. Достоверность
4. Точность
5. Своевременность
6. Доступность
7. Интерпретируемость
8. Согласованность
Итого
1. Решение о проведении 
0.014
0.011
0.025
2. Проектирование обследова
0.073
0.030
0.023
0.008
0.133
3. Подготовка к сбору первичных 
0.077
0.031
0.108
4. Ввод и обработка данных
0.055
0.029
0.084
5. Анализ аспектов качества выпускаем
0.008
0.024
0.016
0.055
0.028
0.008
0.042
0.182
6. Документация и распростра
0.013
0.047
0.060
7. Усовершенствование
0.000
Итого
0.227
0.048
0.106
0.078
0.028
0.047
0.008
0.050
0.592

2. Обследование распределения численности работников по размерам заработной платы по Форме № 1
 0,364
1. Решение о проведении обследования
1. Целостность
 0.014
2. Востребованность
 0.010
РОК Этапа
 0.024
2. Проектирование обследования
1. Целостность
 0.052
3. Достоверность
 0.028
4. Точность
 0.027
8. Согласованность
 0.008
РОК Этапа
 0.114
3. Подготовка к сбору первичных данных
1. Целостность
 0.014
3. Достоверность
 0.013
РОК Этапа
 0.028
4. Ввод и обработка данных
1. Целостность
 0.024
3. Достоверность
 0.033
4. Точность
 0.000
5. Своевременность
 0.008
РОК Этапа
 0.066
5. Анализ аспектов качества выпускаемых данных
1. Целостность
 0.008
2. Востребованность
 0.015
3. Достоверность
 0.016
4. Точность
 0.047
5. Своевременность
 0.012
7. Интерпретируемость
 0.000
8. Согласованность
 0.017
РОК Этапа
 0.113
6. Документация и распространение данных
1. Целостность
 0.000
2. Востребованность
 0.000
6. Доступность
 0.002
РОК Этапа
 0.002
7. Усовершенствование
1. Целостность
 0.017
РОК Этапа
 0.017
 0.364
РОК Обследования

Таблица 2. Перекрёстная таблица абсолютных долей РОК по этапам обследований и аспектам качества                                                 
1. Целостность
2. Востребованность
3. Достоверность
4. Точность
5. Своевременность
6. Доступность
7. Интерпретируемость
8. Согласованность
Итого
1. Решение о проведении 
0.014
0.010
0.024
2. Проектирование обследова
0.052
0.028
0.027
0.008
0.114
3. Подготовка к сбору первичных 
0.014
0.013
0.028
4. Ввод и обработка данных
0.024
0.033
0.008
0.066
5. Анализ аспектов качества выпускаем
0.008
0.015
0.016
0.047
0.012
0.017
0.113
6. Документация и распростра
0.002
0.002
7. Усовершенствование
0.017
0.017
Итого
0.128
0.025
0.090
0.073
0.020
0.002
0.000
0.025
0.364

Таблица 1 отчёта показывает компоненты РОК последовательно по этапам обследования с детализацией по аспектам качества. В первой и последней строке содержится РОК обследования.
Диаграммы 1 и 2 показывают распределение компонент (долей) РОК по этапам и аспектам соответственно.
Диаграмма 3 демонстрирует полную детализацию компонент РОК по этапам обследования и аспектам качества в относительных единицах к РОК обследования, а именно, в процентах.
Перекрёстная таблица 2 аналогична  диаграмме 3 и показывает те же данные в табличной форме, но в абсолютных значениях.

Библиография
1.	Основные методологические положения по оценке качества статистической информации, утвержденные Приказом Госкомстата России №137 от 24.09.01;
2.	Временные методологические рекомендации по разработке гармонизированных с международной статистической практикой основных требований, предъявляемых к качеству данных в системе государственной статистики, утвержденные В.И. Галицким, 27 декабря 2002 г.;
3.	Буздалин А.В., Британишский А.Л., Экспертная система анализа банков на основе методики CAMEL
4.	Галеев А.З. Опыт организации маркетинговых исследований на рынке коммерческой недвижимости. Ситуация на рынке недвижимости Казани;
5.	Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М., «Экономика», 1978 г.;
6.	Литвак Б.Г. Экспертная информация: методы получения и анализа. М.: Радио и связь, 1982.;
7.	Шеремет А.Д., Сайфулин Р.С. Методика финансового анализа деятельности предприятия (разработанная по специальному заказу компании «R-Style Softlab» на кафедре учета, анализа и аудита экономического факультета МГУ);
8.	Щиборщ К.В Сравнительный анализ конкурентоспособности и финансового состояния предприятий отрасли и/или региона, Маркетинг в России и за рубежом, №5, 2000 г.;
9.	Комплексный анализ и рейтинговая оценка предприятий, Российский экономический журнал, № 4-2000 г.; 
10.	Методика рейтинга надежности страховых компаний, разработанная "Эксперт РА" в 2001 г., признанная Профессиональной ассоциацией регистраторов, трансфер - агентов и депозитариев;  Encyclopedia of statistical sciences update volume (Pages 621-629), A WILEY-INTERSCIENCE PUBLICATION, John Wiley and Sons, Inc., New York · Chichlster · Weinheim · Brisbane · Singapore ·Toronto; Further steps toward a framework for assessing data quality, Carol S. Carson and Claire 
11.	 Мэтьюз Р. Разумная стратегия. Экономические стратегии, 2000, №5, С. 63-66.