4. Нахождение стохастической зависимости.

Пусть требуется исследовать зависимость причем обе величины их измеряются в одних и тех же экспериментах. Для этого проводят серию экспериментов при разных значениях стараясь сохранить прочие условия эксперимента неизменными.

Измерение каждой величины содержит случайные ошибки (систематические ошибки здесь рассматривать не будем); следовательно, эти величины являются случайными.

Закономерная связь случайных величин называется стохастической. Будем рассматривать две задачи:

а) установить, существует ли (с определенной вероятностью) зависимость от или величина от не зависит;

б) если зависимость существует, описать ее количественно.

Первую задачу называют дисперсионным анализом, а если рассматривается функция многих переменных — то многофакторным дисперсионным анализом. Вторую задачу называют анализом регрессии. Если случайные ошибки велики, то они могут маскировать искомую зависимость и выявить ее бывает нелегко.

Без ограничения общности можно считать, что величина измеряется точно. В самом деле, если от не зависит, то ошибка ни на что не влияет. Если же зависимость существует, то ошибка эквивалентна дополнительной ошибке зависимой переменной

Таким образом, достаточно рассмотреть случайную величину зависящую от как от параметра. Математическое ожидание этой величины зависит от эта зависимость является искомой и называется законом регрессии.

Дисперсионный анализ. Проведем при каждом значении небольшую серию измерений и определим Рассмотрим два способа обработки этих данных, позволяющих исследовать, имеется ли значимая (т. е. с принятой доверительной вероятностью) зависимость z от

При первом способе вычисляют стандарты выборки единичного измерения по каждой серии отдельно и по всей совокупности измерений:

где полное число измерений, а

являются средними значениями соответственно по каждой серии и по всей совокупности измерений.

Сравним дисперсию совокупности измерений с дисперсиями отдельных серий . Если окажется, что при выбранном уровне достоверности можно считать для всех i, то зависимость z от имеется.

Если достоверного превышения нет, то зависимость не поддается обнаружению (при данной точности эксперимента и принятом способе обработки).

Дисперсии сравнивают по критерию Фишера (30). Поскольку стандарт s определен по полному числу измерений N, которое обычно достаточно велико, то почти всегда можно пользоваться коэффициентами Фишера приведенными в таблице 25.

Второй способ анализа заключается в сравнении средних при разных значениях между собой. Величины являются случайными и независимыми, причем их собственные стандарты выборки равны

Поэтому их сравнивают по схеме независимых измерений, описанной в п. 3. Если различия значимы, т. е. превышают доверительный интервал, то факт зависимости от установлен; если различия всех 2 незначимы, то зависимость не поддается обнаружению.

Многофакторный анализ имеет некоторые особенности. Величину целесообразно измерять в узлах прямоугольной сетки чтобы удобнее было исследовать зависимость от одного аргумента, фиксируя другой аргумент. Проводить серию измерений в каждом узле многомерной сетки слишком трудоемко. Достаточно провести серии измерений в нескольких узлах сетки, чтобы оценить дисперсию единичного измерения; в остальных узлах можно ограничиться однократными измерениями. Дисперсионный анализ при этом проводят по первому способу.

Замечание 1. Если измерений много, то в обоих способах отдельные измерения или серии могут с заметной вероятностью довольно сильно отклониться от своего математического ожидания. Это надо учитывать, выбирая доверительную вероятность достаточно близкой к 1 (как это делалось в при установлении пределов, отделяющих допустимые случайные ошибки от грубых).

Анализ регрессии. Пусть дисперсионный анализ указал, что зависимость z от есть. Как ее количественно описать?

Для этого аппроксимируем искомую зависимость некоторой функцией Оптимальные значения параметров найдем методом наименьших квадратов, решая задачу

где — веса измерений, выбираемые обратно пропорционально квадрату погрешности измерения в данной точке (т. е. ). Эта задача была разобрана в главе II, § 2. Остановимся здесь лишь на тех особенностях, которые вызваны присутствием больших случайных ошибок.

Вид подбирают либо из теоретических соображений о природе зависимости либо формально, сравнивая график с графиками известных функций. Если формула подобрана из теоретических соображений и правильно (с точки зрения теории) передает асимптотику то обычно она позволяет не только неплохо аппроксимировать совокупность экспериментальных данных, но и экстраполировать найденную зависимость на другие диапазоны значений Формально подобранная функция может удовлетворительно описывать эксперимент, но редко пригодна для экстраполяции.

Проще всего решить задачу (34), если является алгебраическим многочленом Однако такой формальный выбор функции редко оказывается удовлетворительным. Обычно хорошие формулы зависят от параметров нелинейно (трансцедентная регрессия). Трансцедентную регрессию наиболее удобно строить, подбирая такую выравнивающую замену переменных чтобы зависимость была почти линейной (см. гл. II, § 1, п. 8). Тогда ее нетрудно аппроксимировать алгебраическим многочленом: .

Выравнивающую замену переменных ищут, используя теоретические соображения и учитывая асимптотику Дальше будем считать, что такая замена уже сделана.

Замечание 2. При переходе к новым переменным задача метода наименьших квадратов (34) принимает вид

где новые веса связаны с исходными соотношениями

Поэтому, даже если в исходной постановке (34) все измерения имели одинаковую точность, так что то для выравнивающих переменных веса не будут одинаковыми.

Корреляционный анализ. Надо проверить, действительно ли замена переменных была выравнивающей, т. е. близка ли зависимость к линейной. Это можно сделать, вычислив коэффициент парной корреляции

Нетрудно показать, что всегда выполняется соотношение

Если зависимость строго линейная (и не содержит случайных ошибок), то или в зависимости от знака наклона прямой. Чем меньше , тем менее зависимость похожа на линейную. Поэтому, если , а число измерений N достаточно велико, то выравнивающие переменные выбраны удовлетворительно.

Подобные заключения о характере зависимости по коэффициентам корреляции называют корреляционным анализом.

При корреляционном анализе не требуется, чтобы в каждой точке проводилась серия измерений. Достаточно в каждой точке сделать одно измерение, но зато взять побольше точек на исследуемой кривой, что часто делают в физических экспериментах.

Замечание 3. Существуют критерии близости , позволяющие указать, является ли зависимость практически линейной. Мы на них не останавливаемся, поскольку далее будет рассмотрен выбор степени аппроксимирующего многочлена.

Замечание 4. Соотношение указывает на отсутствие линейной зависимости но не означает отсутствия какой-либо зависимости. Так, если на отрезке — то

Оптимальная степень многочлен а. Подставим в задачу (35) аппроксимирующий многочлен, степени :

Тогда оптимальные значения параметров удовлетворяют системе линейных уравнений (2.43):

и найти их нетрудно. Но как выбрать степень многочлена?

Для ответа на этот вопрос вернемся к исходным переменным и вычислим дисперсию аппроксимационной формулы с найденными коэффициентами. Несмещенная оценка этой дисперсии такова

Очевидно, при увеличении степени многочлена дисперсия (40) будет убывать: чем больше взято коэффициентов, тем точней можно аппроксимирозать экспериментальные точки.

Сравним с дисперсиями единичных измерений (32), определенными по небольшим сериям экспериментов хотя бы в нескольких точках . Если для всех , то погрешность аппроксимации больше погрешности, с которой измерены значения . Надо увеличивать до тех пор, пока отличие от хотя бы для одного i не перестанет быть значимым по критерию Фишера (30). Наоборот, если , то надо уменьшать .

Если полученная таким образом оптимальная степень удовлетворяет условию , то выравнивающие переменные выбраны удачно; если , то следует подобрать другую замену переменных.

Замечание 5 Описанный способ нахождения оптимального числа параметров можно применять при произвольном виде функции ; но сами коэффициенты в этом случае вычисляются не по формулам (39).

Точность коэффициентов. Коэффициенты определяются по случайным величинам и поэтому сами являются случайными величинами. Какие их значащие цифры достоверны, а какие можно отбросить?

На первую половину вопроса ответить нетрудно. Проведем математический эксперимент. Зная дисперсию единичных измерений искусственно внесем в величины случайные ошибки распределенные по нормальному закону с дисперсиями s (это делается методами Монте-Карло), и вычислим соответствующие

Повторим эту процедуру многократно. Для каждого получим набор случайных значений, по которому вычислим среднее и стандарт . Отсюда по критерию Стьюдента (9) найдем для доверительный интервал и, тем самым, выясним, какие значащие цифры коэффициента достоверны.

Однако, вообще говоря, недостоверные цифры коэффициента нельзя отбрасывать. Коэффициенты можно округлять только все одновременно, меняя их на взаимно согласованные величины . Для такого округления многочлен представляют в виде линейной комбинации:

где — алгебраические многочлены, ортогональные на системе точек с весами Коэффициенты можно округлять независимо друг от друга в пределах их доверительных интервалов.