WWW.KNIGI.KONFLIB.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

 
<< HOME
Научная библиотека
CONTACTS

Pages:     | 1 |   ...   | 7 | 8 || 10 | 11 |   ...   | 18 |

«В.В.Иванов МЕТОДЫ И ПРОГРАММНЫЕ СРЕДСТВА АНАЛИЗА СУДОВЫХ ЭКСПЕДИЦИОННЫХ НАБЛЮДЕНИЙ Санкт-Петербург Гидрометеоиздат УДК 551.465.41 Представлены базовые сведения из ...»

-- [ Страница 9 ] --
Практически любые данные, полученные в результате проведения натурных наблюдений или экспериментов, содержат ошибки. Природа этих ошибок весьма разнообразна. Это могут быть систематические ошибки измерительных приборов, субъективные ошибки (описки/опечатки) наблю­ дателей, производивших измерения, наконец ошибки, возникшие из-за сбоев оборудования при перезаписи массивов данных с одного электрон­ ного носителя информации на другой или из-за несоблюдения операто­ ром правил использования конкретного программного обеспечения. Не­ которые из этих ошибок могут быть легко выявлены и устранены, для ис­ правления других необходимы длительные и трудоемкие процедуры филь­ трации, которые далеко не во всех случаях дают положительный резуль­ тат. Обработка первичных данных наблюдений предполагает выполне­ ние определенных действий (алгоритмов), направленных на выявление и, по возможности, устранение ошибок в данных.

Устранение систематических ошибок измерительных приборов Систематические ошибки измерительных приборов (зондов) связаны с тем, что чувствительные датчики зондов в некоторой степени меняют свои параметры при изменении условий окружающей среды. Из-за этого один и тот же зонд будет показывать истинные (с точностью, указанной в паспорте зонда) значения температуры, электропроводности и других измеряемых параметров только при определенной, стандартной температуре и соленос­ ти воды (например, 20°С и 35 % При других значениях термохалинных характеристик показания зонда могут выйти за пределы требуемой точнос­ ти. Для устранения этих ошибок датчики зонда проходят процедуру тари­ ровки — контрольных замеров параметров в лабораторных условиях по всему диапазону изменчивости (желательно до и после проведения экспеди­ ционных работ). По данным тарировки рассчитываются формулы приведе­ ния, в соответствии с которыми выполняется преобразование первичных данных. Для повышения точности определения солености (электропровод­ ности), как правило, дополнительно к данным, полученным с помощью зон­ да, на каждой станции выполняется измерение солености на нескольких го­ ризонтах при помощи солемера (например, A UTOSAL8400B). Точность со­ лемера в несколько раз выше точности соответствующего датчика зонда, что позволяет уточнить значения электропроводности (солености), исполь­ зуя описанную выше процедуру тарировки.

Устранение случайных ошибок наблюдений Устранение систематических ошибок наиболее просто реализуемый этап первичной обработки данных. По существу, эта процедура не зависит от самих данных и является достаточно стандартной. Кроме того, точность современных зондов настолько высока (при условии, что они находятся в исправном состоянии), что коррекция данных, описанная в предыдущем пункте, как правило, изменяет их значения на доли процента, хотя для неко­ торых экспериментов и это изменение оказывается существенным. Сложнее обстоит дело со случайными ошибками, к которым можно отнести все про­ чие ошибки, указанные во введении к данной теме. Если обработка первич­ ных данных выполняется сразу же по завершении экспедиции (эксперимен­ та), задача упрощается, поскольку в случае обнаружения сомнительных дан­ ных можно обратиться к журналам наблюдений (станционным листам), выявить причину появления ошибочных данных и, по возможности, немед­ ленно их исправить. Если же данные являются архивными и их источник не содержит никакой мета-информации, то требуется проводить полную про­ цедура обработки. Описание такой процедуры (технологии контроля каче­ ства), учитывающей рекомендации Международной океанографической комиссии [12] и схемы, используемые в МЦ Д-1 (Вашингтон) [11] приводится ниже. Алгоритмизация и программная реализация этой процедуры на язы­ ке T U RBO PASC AL с использованием средств базы данных HDB разрабо­ тана в ААНИИ А.А.Кораблевым.

Технология контроля качества данных Конечной целью контроля качества данных является получение так называемых «чистых» рядов, где отсутствуют однозначно ошибочные дан­ ные, а «сомнительные» данные определенным образом маркированы и их дальнейшее использование регламентируется конкретным пользователем.

Процедура проверки (отбраковки) данных выполняется в четыре этапа.

Предварительный контроль заключается в автоматическом уничтожении дублированных станций и станций, которые не могут быть идентифици­ рованы по местоположению или времени выполнения. На втором этапе проводится «грубый» (формальный) контроль по единым для всего ин­ формационного массива критериям, позволяющий ликвидировать грубые ошибки, возникающие при занесении данных и их копировании. На сле­ дующем этапе мероприятия формального контроля выполняются уже с учетом океанографических особенностей конкретной акватории (соответ­ ственно значения формальных критериев не являются едиными для всего информационного массива) и ставят своей целью устранение случайных ошибок наблюдений. Выявление систематических ошибок (из-за система­ тических ошибок приборов) возможно посредством валидации данных, т.е. сопоставления статистических характеристик совокупностей данных, полученных из разных источников, близких по времени и месту выполне­ ния наблюдений. Начиная с этого этапа целесообразно не уничтожать дан­ ные, не удовлетворяющие формальным критериям, а маркировать их, со­ храняя в БД. На завершающей стадии данные проходят экспертный (субъективный) контроль, являющийся наиболее трудоемким (с точки зре­ ния временных затрат), если объем данных значителен. Таким образом, основные мероприятия по контролю качества океанографических данных могут быть систематизированы следующим образом.



1. Предварительный контроль (устранение дублирующих и нераспоз­ наваемых станций).

2. Контроль времени и местоположения (по пространственно-времен­ ному положению станций, относящихся к одному рейсу).

3. Контроль параметров по диапазону изменчивости (исключение грубых ошибок).

4. Контроль по локальным диапазонам изменчивости.

5. Контроль статической устойчивости (по вертикальным профилям условной плотности).

6. Контроль температуры замерзания по солености.

7. Контроль экстремумов вертикального профиля.

8. Контроль по диаграммам разброса (Т^ТО., и др.) 9. Взаимоконтроль (валидация) данных, полученных из разных ис­ точников (выполняется в случае, если есть возможность выбрать сопоста­ вимые данные, т.е. относящиеся к одному и тому же району и выполнен­ ные в одно и то же время).

10. Экспертный контроль вертикального распределения (профилей).

11. Экспертный контроль горизонтального распределения (карт).

Предварительный контроль выполняется в процессе загрузки данных в БД. Мероприятия формального контроля (п.2—6) предполагают созда­ ние специальных программ-фильтров, предназначенных для маркировки (при возможности корректировке) ошибочных данных. После прохожде­ ния отдельных этапов контроля, откорректированные данные записывают­ ся на прежнее место и при необходимости маркируются «флагом», указыва­ ющим на результат фильтрации. Таким образом, программа-фильтр, реа­ лизующая один из этапов формального контроля данных, содержащихся в информационном массиве HDB, должна включать следующие блоки:

— блок считывания данных из HDB (подпрограммы обращения к БД);

— блок фильтрации (проверки на попадание значений в заданные диапазоны);

— блок формирования загрузочных файлов HDB («чистого» и «оши­ бочного»).

«Ошибочный» файл, т.е. файл, содержащий отфильтрованные стан­ ции, анализируется, на предмет возможности устранения выявленных оши­ бок. Исправленные станции загружаются в БД. Выполнение п. 7 и 8 удоб­ нее всего организовать через подключение программных пакетов SU RFER а — осредненные температурные профили, по данным российской и немецкой экспедиции (апрель 1993 г., Гренландское море); б — межгодовая изменчивость придонной водной массы в центральной части Гренландского моря и G RAPH ER. Информация в графическом виде выдается на экран, что су­ щественно облегчает ее анализ.

Экспертный контроль необходим в случае сохранения после фильт­ рации данных, не являющихся физически обоснованными. Это достаточ­ но трудоемкая процедура, особенно в случае, когда число «подозритель­ ных» данных велико. Кроме того, экспертный контроль не может быть полностью формализован и всегда является в некотором смысле субъек­ тивным. Уменьшение числа данных, требующих экспертного контроля, может быть достигнуто за счет применения более совершенных алгорит­ мов формального контроля и качественной валидации.

Эффективность валидации данных наглядно проиллюстрирована на рис. 6, где приведены осредненные профили температуры в районе Грен­ ландского конвективного круговорота, полученные примерно в одно и то же время российской и немецкой экспедициями (рис. 6 а). В этом случае существование систематического отрицательного сдвига российских дан­ ных на 0,08° формально следует из более высокой точности зарубежного зондирующего оборудования (зонд Нила Брауна) и подтверждается ана­ лизом межгодовой изменчивости температуры донных вод (рис. 6 б). Од­ нако далеко не всегда существуют достаточно убедительные аргументы в пользу «эталонности» тех или иных данных, особенно когда речь идет об исторических архивах. В общем случае устранение систематических оши­ бок можно рассматривать как итерационный процесс, когда поправки на я+1-м шаге вычисляются на основе статистических параметров, рассчи­ танных на и-м шаге и экспертных оценок.

3.2 МЕТОДЫ ИНТЕРПОЛЯЦИИ, ПРИМЕНЯЕМЫЕ

ДЛЯ ОБРАБОТКИ ОКЕАНОГРАФИЧЕСКИХ ДАННЫХ

При обработке данных океанографических наблюдений практичес­ ки всегда приходится сталкиваться с интерполяцией. Простая (ручная) отрисовка изолиний поверхности какого-либо параметра или построение его вертикального профиля на океанографической станции подразумева­ ет выполнение процедуры интерполяции в точки, расположенные между узлами наблюдений. В данной теме не будут детально рассматриваться теоретические аспекты интерполяции на основе строгих математических подходов. Этому вопросу посвящена обширная научная литература. Од­ нако следует сформулировать основные понятия, связанные с этой проце­ дурой, используемые в дальнейшем изложении. Интерполяция — это оп­ ределение неизвестного значения функции, на основании некоторой совокуп­ ности ее известных значений. При этом значение искомой функции опреде­ ляется внутри ломаной (поверхности), соединяющей все точки, в которых она известна (в противном случае можно говорить об экстраполяции).

Точки, в которых значения функции известны, называются точками наблюдения, а точки, в которых требуется определить значение функции — точками интерполяции. Соотношение, связывающее значения функции в точках наблюдения с ее значениями в точках интерполяции (как правило, система линейных уравнений) называется интерполяционной формулой, а коэффициенты системы — весовыми множителями. Норма разности меж­ ду наблюденным и интерполированным значением в некоторой точке на­ блюдения называется ошибкой интерполяции в данной точке. Для получе­ ния неких обобщенных характеристик точности того или иного метода интерполяции обычно используют среднеквадратическую ошибку интер­ поляции, определяемую стандартными статистическими методами. Мето­ ды интерполяции подразделяются на точные (ошибка интерполяции в точ­ ке наблюдения равна нулю) и приближенные (ошибка интерполяции в точке наблюдения не равна нулю).

В общем виде математическое определение интерполяции может быть записано в виде:

где f ( r 0 — значение функции в точке интерполяции;/^г.) — значение фун­ кции в точке наблюдения; а. — весовой множитель.



Pages:     | 1 |   ...   | 7 | 8 || 10 | 11 |   ...   | 18 |
 



Похожие работы:

«www.koob.ru Книга 1. Каббала. Основные положения (старое издание 1993) Михаэль Лайтман Эта книга – первая попытка изложения основ Каббалы в популярном виде на русским языке. В основу книги положены статьи выдающегося каббалиста современности рабби Йегуды Лев Алеви Ашлага. Первое издание книги вышло в свет в Израиле в 1984 году. Затем книга дважды переиздавалась в Израиле и в 1993 году была издана тиражом 50.000 экземпляров в России, в Новосибирске. ПРИОТКРОЙТЕ МНЕ СЕРДЦЕ, А Я ОТКРОЮ ВАМ МИР...»

«Четырнадцатый Морской министр Императорского флота России адмирал Авелан Федор Карлович Четырнадцатый морской министр (управляющий морским министерством), генерал-адъютант, адмирал, член Государственного Совета (1916) и Адмиралтейств Совета, почетный член конференции Николаевской морской академии, российский военно-морской деятель Федор Карлович Авелан родился 12 сентября (31 августа) 1839 года в семье отставного поручика русского линейного батальона Карла Авелана, в местечке Ловисе Нюландской...»

«Nakladnik Издательство Sveuilite u Zadru Задарского университета M. Pavlinovia bb ул. Миховила Павлиновича, б/н, 23000 Zadar Задар, 23000 www.unizd.hr www.unizd.hr Za nakladnika От издателя Prof. dr. sc. Ante Uglei, rektor д-р наук, проф. Анте Углешич Recenzenti Рецензенты Prof. dr. sc. Jasmina Vojvodi д-р филол. наук, проф. Ясмина Войводич Prof. dr. sc. Oksana Timko-itko д-р филол. наук, проф. Оксана Тимко-Джитко Ilustracije Иллюстрации Maja Pandi Майя Панджич Grafiko oblikovanje Графическое...»

«Из книги ПУТЬ КОНКВИСТАДОРОВ Я стал кочевником, чтобы сладострастно прикасаться ко всему, что кочует! Андре Жид Я конквистдор в панцире железном, Я весело преследую звезду, Я прохожу по пропастям и безднам И отдыхаю в радостном саду. Как смутно в небе диком и беззвездном! Растет туман. но я молчу и жду, И верю: я любовь свою найду. Я конквистадор в панцире железном. И если нет полдневных звезд звездм, Тогда я сам мечту свою создам И песней битв любовно зачарую. Я пропастям и бурям вечный брат,...»

«Программа кандидатского экзамена по специальности 14.03.10-КЛИНИЧЕСКАЯ ЛАБОРАТОРНАЯ ДИАГНОСТИКА Программа кандидатского экзамена разработана в соответствии с Приказом Министерства образования и науки РФ от 16 марта 2011г. №1365 Об утверждении федеральных государственных требований к структуре основной профессиональной образовательной программы послевузовского профессионального образования (аспирантура) по специальности 14.03.10 – клиническая лабораторная диагностика и учебным планом по...»

«3 Зима и Холод В ШВЕцИИ холоДНо. Мы знаем, что такое холод, воздух вокруг себя. Если это повторяется несколько раз, поскольку живем в холодном климате. большую часть то наступает переохлаждение. года в нашей местности температура воздуха за окном значительно ниже температуры в помещении. Швеция Температура –10°C и скорость ветра 8 м/с оказывает вытянулась с севера на юг на 1570...»

«7 ГТРУКТТИЯ ^ А А */ А%. 1.1 ж-ЖЖЖ КНИГАI, ЧАСТЬ III РУКОВОДСТВО ПО ЦЕНТРОВКЕ И ЗАГРУЗКЕ ©, ЗАО АНТЦ ТЕХНОЛОГ. 2001 К И И ГА I ЧАСТЬ Р У К О В О Д С Т В О ПО ЦЕНТРОВ, 1 и здгрузке Сверен с Эталоном по состоянию на ч ' О т* 2002 г. ©, ЗАО АНТЦ ТЕХНОЛОГ, 2002 ИЧ 1СиТ ш ^Ойо^Лв Из- УУН Хч'^Ь робка.у зцф. с-таТу-134 Ведущий инженер Ланцев М.Н. (подпись) ©, ЗАО АНТЦ ТЕХНОЛОГ, 2001 Лист контроля ведения Результат Срок устранения Проверяющий Устранены Дата замечания проверки проверки замечаний...»

«План фундаментальных научных исследований Российской академии наук на 2013-2020 годы Направление Основные ожидаемые результаты фундаментальных исследований I. Математические науки 1. Теоретическая В области алгебры и теории чисел: Развитие теории локальных полей и аделей и ее приложений в теории чисел. математика Теория представлений алгебраических групп над высшими локальными полями и кольцами аделей. Обобщение программы Ленглендса на многообразия размерности больше 1. Исследования по...»

«МЕССИАНСКИЙ ЕВРЕЙСКИЙ МАНИФЕСТ ДАВИД СТЕРН (текст взят 30 января 2014 в редакции сайта kifa.kz) ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ Этот манифест адресован, в первую очередь, мессианским евреям и предлагает элементы идеологии и теологии, а также программу, призывающую к действию. Однако я надеюсь, что информацию из книги сможет почерпнуть более широкий круг людей, соглашающихся с нами, противостоящих нам или просто любопытствующих. Большая часть использованных фактов и идей является общественной...»

«Создай Свой СУПЕРЗАГОЛОВОК за 32 Секунды! 22 САМЫЕ МОЩНЫЕ И ПРОВЕРЕННЫЕ Схемы NLP для Создания КОММЕРЧЕСКИ ЭФФЕКТИВНЫХ ЗАГОЛОВКОВ! ВВЕДЕНИЕ. КОЛЛЕКЦИЯ АЛЬВИО Прием Первый: ПРЯМОЙ ИМПЕРАТИВ Прием Второй: ВОПРОСИТЕЛЬНЫЙ ЗАГОЛОВОК Прием Третий: ЗАГОЛОВОК- СВИДЕТЕЛЬСТВО Прием Четвертый: ПОЛУИМПЕРАТИВ Прием Пятый: НОУ-ХАУ Прием Шестой: КОСВЕННЫЙ ЗАГОЛОВОК Прием Седьмой: ЗАГОЛОВОК — ГАРАНТИЯ Прием Восьмой: ПРОБЛЕМА (ОГОРЧЕНИЕ) — РЕШЕНИЕ (НАДЕЖДА) Прием Девятый: ГАМБИТ Прием Десятый:...»






 
© 2013 www.knigi.konflib.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.