Разработка и реализация адаптивных алгоритмов ускоренного стохастического моделирования

Федеральное государственное бюджетное образовательное учреждение высшего образования
«Балтийский государственный технический университет «ВОЕНМЕХ» им. Д.Ф. Устинова»
(БГТУ «ВОЕНМЕХ» им. Д.Ф. Устинова)


ДОПУСКАЕТСЯ К ЗАЩИТЕ:

Заведующий кафедрой
И9
Матвеев С.А.


Фамилия ИО

подпись
«         

»


20         г.



МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ
Балагурин Павел Сергеевич
Фамилия, имя, отчество обучающегося
На тему
Разработка и реализация адаптивных алгоритмов ускоренного стохастического моделирования


Направление подготовки
09.04.01

Информатика и вычислительная

код 

полное наименование направления
                                                                                техника
Магистерская программа
Интеллектуальные системы

наименование магистерской программы






Руководитель магистерской диссертации

Обучающийся




Балагурин П.С.
Ученая степень, ученое звание

подпись

Фамилия И.О.


Емельянов В.Ю.

«

»

20

г.
подпись

Фамилия И.О.




«

»

20

г.

Консультанты

Руководитель магистерской программы






подпись

Фамилия И.О.
Ученая степень, ученое звание






Кабанов 

подпись

Фамилия И.О.
подпись

Фамилия И.О.




«

»

20

г.

подпись

Фамилия И.О.


САНКТ-ПЕТЕРБУРГ
20__  г.
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     ВВЕДЕНИЕ
     Оценка качества систем и их эффективности с учетом реальных условий функционирования является важной задачей анализа сложных систем. Любая реальная система подвержена влиянию внешней среды. Поведение и характеристики систем меняются при взаимодействии с внешней средой. Особенностью реальных условий является их случайность (стохастичность). Во всех моделях, которые учитывают реальные условия применения, применяется стохастический подход.
     Случайность заключается в том, что значения некоторых параметров системы, внешней среды, характер их изменения для конкретного опыта или конкретного момента времени непредсказуемы. Но если такие опыты многократно повторить или провести на продолжительном интервале времени, то можно заметить закономерность. С помощью аналитических преобразований, обработки статистических данных или экспертных оценок можно определить эту закономерность и формализовать в виде закона распределения или набора средних статистических характеристик.
     С помощью стохастических моделей получают усредненные значения показателей качества систем. Данные значения и их достоверность зависят не только от корректности модели системы, но и от учтенных в процессе моделирования сведений о статистических характеристиках случайных параметров. Но даже достоверные средние значения показателей качества могут значительно отличаться от истинных значений этих показателей в конкретной ситуации применения системы.
     Если системы небольшой сложности, то для их исследования достаточно аналитических методов. Если системы многомерны, содержат различные нелинейности, нестационарности, то применение аналитических методов может быть затруднено или невозможно.
     Аналитические методы чаще применялись во времена, когда вычислительные мощности ЭВМ были невелики и нахождение вероятностных характеристик требовало строгого или приближенного, но аналитического решения. Основные результаты теории аналитических методов исследования стохастических систем содержатся в трудах Б.Г. Доступова, Л.Г. Евланова, И.Е. Казакова, В.С. Пугачева и других.
     Наиболее известные аналитические методы определения статистических характеристик динамических систем: интерполяционный метод, метод сопряженных систем, метод статистической линеаризации, спектральный метод, методы статистической динамики, метод динамики средних и другие.
     Особенностью аналитических методов является неизбежность применения приемов построения приближенных моделей: линеаризация, гауссова или функциональная аппроксимация, ортогональное разложение, или использование в качестве основы достаточно жестких допущений, например о марковском характере случайных процессов в системе. Из-за осложнения моделей по мере развития исследуемых систем и необходимости отказа от упомянутых допущений появились специальные аналитические методы. Но и они не свободны от приближенности.
     Из-за сложности математического аппарата данных методов требуется соответствующая теоретическая подготовка для их применения. В совокупности с ограниченными возможностями автоматизации данных методов это повлекло к тому, что статистическое моделирование стало основным методом в практике исследования стохастических систем.
     Статистическое моделирование является универсальным методом исследования стохастических систем. Статистическое моделирование возникло, когда появились вычислительные ресурсы, которые позволяют заменить трудоемкие вычисления моделированием задачи на ЭВМ. Именно сложность аналитических методов явилась тем, что породило такую широкую область математической статистики, как статистическое моделирование.
     Задача статистического моделирования – при помощи проведения значительного количества экспериментов получить с некоторой точностью значения определенных величин. Статистическое моделирование используется при разработке сложных систем (в первую очередь – стохастических), при исследовании естественных систем (макро- и микромира), при предсказании их поведения. Статистическое моделирование является наилучшим, а иногда единственным способом достижения поставленных целей – создания адекватной структуры и конструкции или же выяснения некоторых неизвестных ранее свойств и деталей поведения систем. Развитию идей и методов статистического моделирования как неотъемлемой части технической кибернетики посвятили свои труды многие отечественные и зарубежные ученые, начиная с А.Н. Колмогорова, Т. Неймана, Р. Шеннона, и в последующие годы Н.П. Бусленко, В.В. Быков, С.М. Ермаков, Дж. Клейнен, В.Н. Пугачев, О.Ю. Сабинин, В.И. Тихонов, А.С. Шалыгин и другие.
     Определенные с помощью метода статистического моделирования величины и данные имеют некоторую погрешность, которая при увеличении выборки (количество проведенных опытов) становится меньше. Однако, каждый проведенный опыт является временной затратой, а в случае натурного и полунатурного моделирования – материальной. В результате в области статистического моделирования появляется проблема уменьшения количества требуемых опытов – сокращения трудоемкости. Хоть решение данной проблемы сильно облегчилось благодаря появлению современных компьютеров и использованию их вычислительных мощностей при статистическом моделировании, но все равно вопрос сокращения трудоемкости по-прежнему остается актуальным. При использовании мощностей суперкомпьютеров все равно требуют существенного времени (до нескольких недель) в таких задачах, как моделирование эволюции галактик, процесса распада звездных кластеров, формирования белков при фотосинтезе. Также важное место при исследовании и проектировании сложных технических систем занимают полунатурные и физические модели. Так как для данных моделей требуется проведение эксперимента в реальном масштабе времени, сокращение трудоемкости возможно только за счет уменьшения количества опытов. 
     Существуют различные способы сокращения трудоемкости при статистическом моделировании. Например, метод выделения главной части, метод выборки по группам, метод критических реализаций и другие. Данные методы способствуют значительному сокращению трудоемкости или достижению меньшей погрешности при сохранении трудоемкости. 
     Недостатком применения всех этих методов является то, что они требуют экспертного подхода к каждой отдельно взятой задаче. В итоге, существует проблема выбора наиболее подходящего метода сокращения трудоемкости и подбор наилучших параметров в рамках данного метода. Эффективность применения метода, которая заключается в успешности решения задачи сокращения трудоемкости, зависит от правильного и наименее затратного решения этой проблемы. Эффективность также понимается степень сокращения требуемого для обеспечения заданной точности результата количества опытов по сравнению со стандартной схемой статистического моделирования. Организация статистического эксперимента на основе принципа адаптации, который развит в теории систем автоматического управления, является перспективным путем решения рассматриваемой проблемы. 
     В настоящей диссертационной работе принцип адаптации сводится к вычислению и оптимизации параметров, участвующих в методе, непосредственно в ходе эксперимента.
    Разработке такого подхода и реализации его в виде семейства алгоритмов и программного комплекса и посвящена настоящая диссертационная работа.
    Актуальность темы диссертации определяется тем, что до сих пор в задачах моделирования требуется сокращение трудоемкость, хоть вычислительные мощности стремительно развиваются. Требования к результатам растут, и это приводит к необходимости получения наиболее точных данных. Трудоемкость моделирования растет обратно пропорционально квадрату допустимой погрешности и для некоторых стохастичных процессов оказывается весьма существенной даже при использовании современной аппаратной базы. Все это обуславливает актуальность проблемы сокращения трудоемкости при статистическом моделировании.
    Цель работы: разработка адаптивных алгоритмов ускоренного стохастического моделирования, их реализация в среде программирования MATLAB. 
    Объект исследования: совокупность методов сокращения трудоемкости статистического моделирования.
    Предмет исследования: сокращение их трудоемкости.
    Инструменты исследования: математический аппарат математической статистики и численной оптимизации, а также вычислительный эксперимент.
    
    
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     Оценки вероятностных характеристик выборки, их вычисление, точность и трудоемкость эксперимента
     Теоретические основы метода статистического моделирования базируются на одном из базовых положений математической статистики – неравенстве Чебышева. Для случайных величин задача определения любой вероятностной характеристики может быть сведена к задаче определения математического ожидания.
     Принцип статистического моделирования сводится к тому, чтобы нивелировать случайность за счет проведения большого количества опытов – и определить искомую величину с той или иной степенью уверенности. Качественно задача решается именно так, однако определение количественных характеристик такого решения требует отдельного рассмотрения.
    Пусть ?1, ?2, … ?n – независимые одинаково распределенные случайные величины, которые имеют конечные математическое ожидание и дисперсию:
 M ?k = a, D ?k = ?2, k =1,2, …, n.

     Выборкой объема n для данной случайной величины ? называется последовательность X1, X2, …, Xn – это совокупность значений, принятых n независимыми случайными величинами ?1, ?2, … ?n, имеющими один и тот же закон распределения, что и рассматриваемая величина ?. Говорят, что выборка взята из генеральной совокупности величины ?, а под законом распределения генеральной совокупности понимают закон распределения случайной величины ?. Значения X1, X2, …, Xn называются выборочными значениями.
    Согласно центральной предельной теореме, случайная величина 

(1.1)
распределена по асимптотически нормальному закону с математическим ожиданием a и дисперсией 
.
(1.2)
    Вероятность того, что () не превзойдет по абсолютной величине некоторого наперед заданного числа  ?>0, равна
,

где  - функция Лапласа.
    	Коэффициент доверия Pдов нужно задать так, чтобы событие с вероятностью Pдов можно было считать практически достоверным, и пусть ?дов – корень уравнения 2Ф(?дов)=Pдов, который можно найти по таблицам функции Лапласа или нормальной функции распределения. Например, при Pдов=0.999 имеем ?дов=3.29. Определим из условия число ?:
    .
(1.3)
    Для данного ?
    .
(1.4)

    Таким образом, с вероятностью Pдов получаем, что 
    , где .

    Последнее неравенство запишем в виде 
    .

    Получилась интервальная оценка, или приближенный доверительный интервал. Известны способы нахождения точного (несимметричного) доверительного интервала [9,21,71,78,83], однако для больших объемов выборки, характерных для статистического моделирования, различия между точным и приближенным доверительным интервалами оказываются несущественными, от чего и отталкиваются в инженерной практике.
    Отсюда же можно найти количество опытов, необходимое для достижения погрешности не выше допустимой с заданной доверительной вероятностью:
    .
(1.5) 
где ?доп  - допустимая погрешность, nтреб - необходимое число опытов.
    	Эти соотношения – вероятностные и асимптотические. Строго говоря, никакой конечной выборкой нельзя обосновывать утверждения относительно вероятностных характеристик системы. Однако в качестве предельных соотношений данные формулы вполне корректны и для практического применения оказываются весьма полезными. 
    Из них, в частности, видно, что количество необходимых опытов обратно пропорционально квадрату допустимой погрешности – то есть, например, сокращение доверительного интервала вдвое влечет увеличение объема необходимой выборки вчетверо.
     Кроме того, необходимо учитывать, что в соотношениях для определения доверительного интервала и необходимого количества опытов присутствует априори не известное значение – ?. Таким образом, возникает проблема применения этих отношений на практике. Для решения такой проблемы применяют два подхода.
     Более простой путь – это положить ? равным величине, заведомо приводящей к достаточному результату. Для ? максимума не существует и приходится прибегать к некоторой экспертной оценке ее максимума, которая и принимается в качестве значения ?.
    Такой подход дает нам результаты, как минимум, не менее надежные, чем требуемые, однако он может привести (и часто приводит) к излишним затратам в смысле трудоемкости эксперимента.
    Поэтому, в тех случаях, когда вопрос сокращения трудоемкости играет существенную роль, обычно применяется другой подход - итерационный. Он состоит в том, что неизвестное значение (?)  сначала определяется грубо, а в ходе эксперимента постепенно уточняется до достижения достаточного результата.
    Кроме того, следует иметь в виду, что оценка ?* сама по себе имеет некоторую погрешность и не может считаться точной величиной при любом конечном объеме выборки. Можно определить точность такой оценки. В нашем случае лучше определять точность . Согласно [21]  распределена по нормальному закону с математическим ожиданием ?2 и среднеквадратичным отклонением
    ,
(1.6)
где ?4 есть центральный момент четвертого порядка.
    Если закон распределения случайной величины X известен, то этот момент можно выразить через ?x. Например, для нормального закона распределения , для показательного , а для равномерного .
    Если же закон распределения неизвестен, то центральный момент четвертого порядка может быть приближенно рассчитан по имеющейся выборке:
    .
(1.7)
    Данные соотношения обеспечивают возможность контроля точности оценки дисперсии в процессе статистического моделирования.
1.1.1. Итерационный подход
    
    При практической реализации различных схем проведения статистического моделирования все большее признание получает итерационный подход.
    Основанием для такого подхода является тот факт, что начальная выборка невелика, и формируемая на ее основе оценка (1.5) может оказаться весьма неточной. Если эта первоначальная оценка в итоге окажется заниженной, то недостающие опыты все же будут проведены после пересчета и получения новой оценки. Однако если она окажется завышенной, то итоговая трудоемкость неоправданно увеличится; возможно, что и до такой степени, которая сведет на нет все усилия по сокращению трудоемкости. 
    Схема итерационного подхода выглядит следующим образом. Вначале проводится начальная серия опытов объемом nнач и вычисляется грубая оценка ?*. Затем на основе полученной грубой оценки ?* по (1.5) вычисляется необходимое количество опытов.
    Затем проводится недостающее количество опытов (n*треб –nнач) и на основе получившейся выборки заново оценивается значение ?* и новая оценка необходимого количества опытов n*треб. Эти шаги продолжаются до тех пор, пока выборка не даст такую оценку количества необходимых опытов, которая будет не больше самого объема выборки. В этом случае можно полагать, что достигнуто достаточное количество опытов.
    Итерационный подход также не является безупречным. Здесь основная проблема состоит в том, что промежуточные выборки могут оказаться недостаточно показательными для генеральной совокупности в целом; в результате оценки, полученные на их основе, окажутся неверными. Слишком высокая оценка дисперсии приведет к излишней трудоемкости эксперимента, слишком низкая может привести к неверному итоговому результату. Наиболее неприятной может быть, например, ситуация, когда оценка ?x окажется существенно заниженной – результаты окажутся формально превосходными, но фактически недостоверными. В особенности это относится к оценке, полученной на основе начальной выборки. Поэтому рекомендуется брать объем начальной выборки достаточно большим, не менее нескольких сотен опытов, а иногда и более.
    Возможно также включение интерактивности в процесс итераций; в этом случае решение об объеме очередной выборки будет приниматься пользователем. Но в рамках полной автоматизации моделирования целесообразно использовать описанный ниже прием.
    После получения начальной оценки (на основе первичной выборки) определяется число недостающих опытов и реально проводится какая-то часть этого числа, например, половина. 
    .

    Здесь V0 – объем начальной выборки,  - первоначальная оценка необходимого количества опытов, V1 – объем выборки после первой итерации. 
    И далее по индукции
    .

где Vi – объем выборки после i-ой итерации,  - оценка необходимого количества опытов на основе Vi. 
    Последовательные итерации прекращаются тогда, когда выполнится условие , то есть когда оценка, полученная на основе очередной выборки окажется не больше, чем эта выборка.
    Такой подход позволяет не допустить переоценки трудоемкости и, соответственно, избежать проведения опытов, не являющихся необходимыми для обеспечения требуемой точности результатов.
    Организация статистического имитационного моделирования динамических систем
     В реальных условиях применения проектируемых систем на их функционировании, как правило, сказывается влияние совокупности случайных и неопределенных факторов, к числу которых относятся внешние воздействия, технологические погрешности изготовления отдельных элементов и пр. Для оценки показателей качества систем в таких условиях строят стохастические модели систем и применяют статистическое имитационное моделирование, то есть многократное воспроизведение процессов в моделируемой системе с учетом различных реализаций случайных факторов. Генерирование реализаций случайных факторов (параметров модели или внешних воздействий) выполняется с использованием генераторов случайных чисел или процессов.
    Общая схема организации статистического имитационного моделирования показана на рисунке 1.
     Программа моделирования предусматривает проведение n опытов с моделью, заданной, например, в форме системы дифференциальных уравнений. Отдельный опыт состоит в решении уравнений модели численным методом на некотором временном интервале, известном заранее или определяемом в процессе моделирования. До начала опыта с генераторов случайных чисел с заданными законами распределения получают значения (реализации) случайных параметров модели и начальных условий. В ходе опыта с шагом интегрирования уравнений с генераторов случайных процессов получают реализации случайных входных сигналов.
     В процессе моделирования накапливают массив x1,x2,…,xn значений некоторой переменной X, статистической обработкой которого определяют оценку искомого показателя качества. В качестве такой переменной может выступать, например, мгновенное значение одной из переменных состояния модели в момент T окончания рассматриваемого временного интервала. Отметим, что при стандартной схеме статистического моделирования, если не применяются специальные способы обеспечения статистической зависимости реализаций случайных факторов в различных опытах с моделью, накопленный массив представляет собой выборку независимых значений случайной величины, то есть для него справедливы все законы математической статистики.
     Статистические показатели качества систем могут определяться в различной форме – как моменты распределения величины X, так и как вероятности связанных с ней случайных событий. В дальнейшем изложении ограничимся задачей оценки показателя качества в форме математического ожидания, так как к ней может быть сведена любая задача оценки момента распределения или вероятности.
     Если оценка математического ожидания величины X определяется как среднее арифметическое по выборке
,                                             (1.1)
то оценку начального момента распределения порядка l величины X 
,
можно представить в форме
,   .
Для оценки центральных моментов распределения следует принимать , а для оценки вероятности yi=1 в случае регистрации рассматриваемого события в i-м опыте и yi=0 в противном случае.
     В соответствии с центральной предельной теоремой оценка математического ожидания в форме (1.1) имеет асимптотичеcки нормальный закон распределения с математическим ожиданием  и дисперсией . Следствием этого являются известные соотношения для погрешности оценки в форме (1.1) 
 или ,                                   (1.2)
где ?д – коэффициент симметричного двустороннего доверительного интервала, и для количества опытов, необходимых для обеспечения допустимой погрешности ?доп.:
.                                              (1.3)
     Отметим основные особенности использования приведенных выше соотношений при статистическом моделировании.
     Прежде всего, во избежание накопления и хранения в памяти массивов результатов отдельных опытов, которые могут достигать значительного объема, формируются и накапливаются по мере проведения отдельных опытов суммы
,                                     (1.4)
и другие в зависимости от вида оцениваемой статистической характеристики.
     Кроме того, прямое использование соотношений (1.2), (1.3), как правило, невозможно, так как значение Dx априорно неизвестно.
     Поэтому в наиболее распространенном на практике случае, когда рассматривается задача получения оценки требуемого показателя качества с заданной точностью, предпочтительно использовать итерационные алгоритмы организации статистического моделирования. Простейший итерационный алгоритм оценки математического ожидания выглядит следующим образом:
     1. Проведение начальной серии опытов объемом n и накопление сумм (1.4).
     2. Вычисление оценок математического ожидания m*x  и дисперсии D*x :
     , .
     3. Получение оценки требуемого количества опытов:
     .
     4. При n*трееб >n проведение дополнительной серии опытов объемом n'=n*трееб –n и накопление сумм:
     , .
     5. Уточнение оценок математического ожидания m*x  и дисперсии D*x :
     , .
     6. Оформление окончательных результатов.
     Отметим, что при достаточно большом количестве опытов (n>50) обычно считается допустимым использование смещенной оценки дисперсии .
     Особого внимания требует п. 4 алгоритма.
     Прежде всего, условие завершения процесса проведения серий опытов предпочтительнее использовать в форме ?*?доп. вывод информации о текущих значениях оценок m*x, D*x ,  , ?*. Формирование запроса об объеме дополнительной серии опытов. Ввод пользователем требуемого объема дополнительной серии nдоп.
     5. Проведение дополнительной серии опытов объемом nдоп и накопление сумм:
     , .
     6. Уточнение оценок математического ожидания m*x  и дисперсии D*x :
     , .
     7. Оформление окончательных результатов.
     В заключение отметим, что на практике объем начальной выборки принято задавать в диапазоне от 30 до 500 опытов. Меньшее количество потребует уточнения соотношений (1.2), (1.3), что сделает их неудобными для использования. 
    Обзор методов снижения трудоемкости
     Как видно из представленных в п. 1.1.1 соотношений, уменьшение дисперсии используемой при статистическом моделировании оценки искомой характеристики позволит пропорционально снизить количество опытов, необходимых для получения результата с заданной точностью.
    Рассмотрим наиболее известные методы уменьшения дисперсии оценки на примере задачи определения математического ожидания некоторого показателя качества динамической системы со случайными параметрами.
    Модель динамической системы задается в виде системы уравнений
    ,  i=1,2,...,n,
(1.8) 
где X(t)=(X1(t),X2(t),…,Xn(t)) - вектор переменных состояния системы; V=(V1,V2,…,Vm) - вектор случайных параметров. Качество системы характеризуется мгновенным значением переменной состояния X=Xi в момент времени t1. Таким образом, задача сводится к оценке математического ожидания  mx=M[X(t1,V)].
    Схему проведения статистического моделирования, основанную на представленных в 1.1.1 соотношениях, когда оценка mx для заданной m-мерной ПРВ вектора случайных параметров fv(V) определяется по формуле (1.1), а необходимое для обеспечения заданной точности количество опытов - по формуле (1.5), ниже будем называть стандартной.
     Метод выделения главной части
    Решение системы (1.8) для выбранной переменной X(t,V), которое, возможно, не может быть найдено аналитически, заменяют приближенным выражением Y(t,V), удобным для аналитических преобразований. Например:
    ,

или для единственного случайного параметра
    .

где aj(t),bjk(t) - некоторые функции времени.
    Вводится новая переменная состояния Z(t,V)=X(t,V)-Y(t,V) и в системе уравнений (1.8) выполняется замена переменной X на Z путем подстановки:
    ,

или
    .

    Оценка искомого математического ожидания определяется в виде:
    mx=M[Y(t1,V)]+M[Z(t1,V)],
(1.9) 
где первое слагаемое может быть найдено аналитически:
    ,
(1.10) 
G - область возможных значений вектора V, а второе слагаемое определяется по методу статистического моделирования на основе многократного решения полученной новой системы уравнений до момента времени t1: , , V (i) - i-я реализация вектора случайных параметров, N - количество решений системы уравнений для различных V (i).
    Необходимое количество опытов в этом случае определяется как 
    .
(1.11) 
    При удачном выборе функции Y(t,V) дисперсия случайной величины Z(t1,V) может оказаться существенно меньше, чем дисперсия X(t1,V), что и приведет к сокращению требуемого количества опытов.
    Метод выборки  по группам
    В соответствии с данным методом область G возможных значений случайного вектора разбивается на K непересекающихся областей Gk: . Метод предполагает проведение статистического моделирования для каждой из областей Gk с использованием для вектора случайных параметров плотностей распределения вероятностей:
       ,     
(1.14) 
где  pk - вероятность попадания случайного вектора  V  в область Gk:
    . 
    Если для области Gk выполним Nk опытов, получим оценку математического ожидания искомого показателя для данной области:
    .
    Результирующая  оценка    должна рассматриваться как дискретная случайная величина, значения которой  наблюдаются с вероятностями pk. Тогда результирующая оценка определяется усреднением:
       .     
(1.15) 
    Общее количество опытов N = N1+N2 +…+NK.
    Соответствующие аналитические соотношения для генеральной совокупности с учетом (1.14) имеют вид
    . 
    Определим дисперсию оценки (1.15), имея в виду, что все  слагаемые - независимые случайные величины:
       .     
(1.16) 
    Дисперсия случайной величины  может быть оценена по результатам статистического моделирования или определена аналитически следующим образом:
    ,
    ,
    .
    Введя в рассмотрение доли от общего количества опытов, соответствующие областям Gk, , на основе (1.16) и (1.5) получим соотношение для определения количества опытов, необходимого для получения результата с погрешностью не выше ?доп:
     ,   
    .


(1.17) 
    При удачном разбиении области G и удачном выборе соотношения количества опытов для отдельных областей Gk дисперсия оценки (1.15) может быть существенно снижена. Из теории известно, что оптимальные по критерию минимума дисперсии (1.16) значения qk должны быть пропорциональны произведениям . На практике значения дисперсий для отдельных областей, как правило, априорно неизвестны. Поэтому значения qk выбираются на основе предварительного анализа задачи или непосредственно в процессе статистического моделирования на основе соответствующей модификации итерационного алгоритма определения необходимого количества опытов.
Совместное применение методов сокращения трудоемкости статистического моделирования. Обеспечение достоверности результатов при малом объеме эксперимента
     Совместное применение рассмотренных методов позволяет добиться эффекта сокращения трудоемкости, превышающего возможности каждого из них в отдельности. Достаточно хорошо зарекомендовали себя на практике адаптивные алгоритмы организации статистического эксперимента, предусматривающие совместное применение метода выборки по группам с методом выделения главной части или комбинированным.
     Хорошо зарекомендовавший себя на практике вариант построения таких алгоритмов предусматривает последовательную двухэтапную процедуру оптимизации программы эксперимента:
     1. Проведение начальной серии опытов объемом n. Регистрация массивов реализаций случайных параметров в отдельных опытах Vm1, Vm2,…, Vmn, m=1,2,…,M и массива значений функции отклика основной модели x1,x2,…,xn.
     2. Определение оптимального разбиения области распределения случайного вектора на слои (количества и границ слоев) и предварительного распределения объема эксперимента  по слоям.
     3. Настройка главной части или упрощенной модели в форме (2.2) или (2.3) для каждого слоя.
     4. Продолжение моделирования в соответствии с итерационным алгоритмом с уточнением распределения объема эксперимента по слоям. Получение итоговых оценок.
     Такой вариант алгоритма по существу предполагает независимое проведение моделирования по методу выделения главной части или комбинированному для отдельных слоев после выбора их количества и границ в соответствии с пунктом 2. При этом для отдельных слоев подбираются разные массивы коэффициентов.
     В случаях, когда существенный эффект на основе рассмотренных алгоритмов не достигается, а трудоемкость реализации основной модели особенно велика, можно применять другой вариант построения адаптивных алгоритмов, предусматривающий оптимизацию главной части или упрощенной модели непосредственно в процессе поиска оптимального разбиения области распределения случайного вектора на слои. В этом случае для каждого рассматриваемого в процессе оптимизации слоя выполняется индивидуальная настройка главной части или упрощенной модели и соответствующая оценка требуемого количества опытов. При расчете оценок оптимальных долей от общего количества опытов для отдельных слоев вместо дисперсий  используются дисперсии  или , где  оценка коэффициента корреляции для k-го рассматриваемого слоя.
     Реализация и практическое применение таких алгоритмов показали их высокую эффективность во многих задачах, причем разница для применения на втором этапе методов выделения главной части и комбинированного незначительна на фоне общего выигрыша. Во многих случаях на практике алгоритмы оказывались настолько эффективны, что для получения требуемой точности результата достаточно было ограничиться начальной выборкой или увеличить ее не более, чем в два раза.
     Рассмотренные методы и алгоритмы позволяют для многих задач сокращать объем статистического эксперимента до сотен опытов, а для отдельных слоев – до десятков. В таких условиях ошибка оценки дисперсии результатов моделирования может привести к получению недостоверных результатов эксперимента в целом.
     Все статистические оценки являются приближенными. Величина ошибки оценивания для каждой выборки может случайным образом оказаться как завышенной, так и заниженной. В случае существенного занижения оценок  и  по малой выборке уже после начальной серии или после незначительной дополнительной серии опытов может быть зарегистрировано выполнение условия завершения итерационного алгоритма, но полученные при этом результаты будут значительно отличаться от истинных. Для исключения такого эффекта при малых объемах эксперимента целесообразно корректировать оценки дисперсии.
     Из математической статистики известно, что оценка дисперсии  распределена по нормальному закону с математическим ожиданием, равным истинной величине Dx  и среднеквадратическим отклонением
,
где  – центральный момент распределения четвертого порядка случайной величины X.
    Если закон распределения случайной величины X известен, то этот момент распределения можно выразить через Dx:
- для нормального закона распределения ;
- для показательного закона ;
- для равномерного закона .
     Если закон распределения X неизвестен, то оценка центрального момента четвертого порядка может быть получена по имеющейся выборке:
.
     Для исключения потери достоверности результатов моделирования, целесообразно использовать при планировании статистического эксперимента избыточную оценку дисперсии , которую истинное значение дисперсии не превышает с достаточно большой вероятностью pд:
,
где  – коэффициент одностороннего доверительного интервала вида .
    
    
    












    
    Для метода выборки по группам предметом оптимизации является количество и размеры групп (слоев) Gk: .
    Трудоемкость эксперимента оптимизируется как функция от этой совокупности аргументов: , где Ki, {} – соответ.......................