Свойства статистического канала

Данная глава посвящена описанию свойств одного канала статистики.

Свойство Выражение определяет, какие данные являются основой статистики. Оно вычисляется во время каждого изменения переменной, на которой построен канал.

Выражение должно иметь в результате выполнения число (целое или с плавающей запятой). Если значение выражения имеет любой другой тип данных, система пытается сконвертировать его в число или пропускает значение Если результат выражения NULL, система применяет метод Управление значениями NULL (см. далее).

Канал может включать один и более Массивов данных для одной контекстной переменной. Для табличных переменных можно создать множество Массивов данных. В таком случае, каждый ряд в переменной распознается уникальным строковым ключом (имя Массива данных). Обратитесь к разделу Работа с ключом для дальнейшего объяснения.

Канал статистики предоставляет несколько опций для обработки значений, полученных Выражением канала:

• Обработка значений NULL

• Обработка значений, вышедших за пределы диапазона

• Минимальное значение

• Максимальное значение

Данная настройка определяет, что должен делать канал, когда его Выражение вернуло NULL. Возможны два варианта:

• Исключать. Значение будет просто игнорировано. Если не будет получено никаких других значений, общее значение канала станет НЕ ОПРЕДЕЛЕН для данного периода.

• Приводить к нулю. Значения NULL будут конвертированы в нули.

Определяет, как обрабатывать значения, которые меньше Минимального значения или больше Максимального. Доступны два варианта:

• Ничего не делать. Просто отключает минимальные/максимальные значения для канала.

• Отклонить. Игнорирует значения меньше минимального или больше максимального. Если не будет получено никаких других значений, общее значение канала станет НЕ ОПРЕДЕЛЕН для данного периода.

• Нормализовать. Значения меньше минимального или больше максимального конвертируются в минимальное и максимальное соответственно.

Эти числа определяют пороги отклонения/нормализации, как обусловлено опцией Обработка данных, вышедших за пределы диапазона.

Включенные для каналов типа "счетчик" (Counter, Derive и Absolute), эти числа определяют минимальную и максимальную величину в секунду.

Настройка минимального и максимального значений очень полезна для работы со сбрасыванием или ошибочным уменьшением показателей счетчика. Если ваш счетчик может сбросить показатели до нуля или уменьшить их в любой момент (например, во время перезапуска устройства), у SberMobile Server нет способа определить, сбросились показатели или переполнились. Однако в случае сброса или уменьшения показатели, рассчитываемые в секунду, будут очень высоки. Например, если значение счетчика, измеряемое в 18:00:00, было равно 100 000, а следующий замер в 18:01:00 имел значение 1000, модуль статистики сочтет, что счетчик увеличился до 2^32 (4.2 миллиарда), переполнился и увеличился до 100 за эту минуту. Таким образом, рассчитанный в одну секунду показатель будет, конечно, выше, чем 1 000 000. Для исключения подобных высоких показателей, вызванных сбрасыванием счетчика из вашей статистики, просто установите максимальное значение на нечто выше, чем ваш максимально ожидаемый показатель в секунду, но ниже, чем ненормальный "показатель сброса счетчика". Например, если максимально ожидаемый вами показатель в секунду равен 10 000, установите максимальное значение на 100 000 для исключения некорректных показателей и избежания захламления статистики.

По существу, данные статистики могут храниться в файлах и памяти. Хранение в файле постоянное, а данные каналов, основанных на памяти, сбрасываются при перезапуске сервера.

Свойство Хранилище определяет тип хранения статистики. Три опции:

• Отображаемый файл (больше памяти, быстрее)

• Стандартный файл (Низкое использование памяти, медленнее)

• Память. Хранение в памяти гарантирует максимальную производительность, но не сохраняет данные между перезапусками сервера, следовательно, его использование ограничено.

• NoSQL хранилище. Использует отказоустойчивость на уровне базы данных, но работает гораздо медленнее по сравнению с файловым хранилищем.

Важно, что NoSQL хранилище работает только с хранилищем событий NoSQL, активированным в настройках базы данных.

Далее приведены некоторые советы по выбору между стандартными и отображаемыми в памяти файлами:

• Файловый кэш с отображением памяти кэширует данные канала в оперативной памяти, в то время как данные из стандартных файлов хранятся на диске.

• Запуск файлового кэша с отображением памяти приводит к выделению дополнительной оперативной памяти из системных ресурсов. Дополнительная оперативная память, используемая файловым кэшем с отображением памяти, является дополнением к оперативной памяти, выделенной под кучу JVM. Поскольку это использование памяти находится за пределами кучи JVM, по умолчанию оно не будет видно в обычных панелях мониторинга Java. Для визуализации дополнительного использования памяти могут потребоваться дополнительные плагины или настройки.

• Отображаемый в памяти файл кэширует данные канала в памяти (идущие не из JVM, а напрямую из операционной системы), время как данные обычного файла сохраняются на диске.

• Выполнение хранения на основе обоих файлов зависит от ОС, таким образом, в большинстве случаев необходимо провести какие-либо тесты, чтобы выбрать один из них.

Настройка Тип канала определяет, как обрабатываются исходные данные для формирования Точек первичных данных для канала. Более подробно об этом см. в разделе Типы каналов.

Модуль статистики использует Функции Агрегирования для конвертирования Точек первичных данных в Точки консолидированных данных (для более подробной информации обратитесь к разделу Технология RRD). Существуют функции агрегирования размера, которые можно включить/отключить для канала в отдельности:

• Среднее

• Минимальное

• Максимальное

• Общее

• Первое

• Последнее

Функции агрегирования данных применяются ко всем Архивам, включенным для канала. Например, если включена функция агрегирования Среднее, система сохраняет средние значения, такие как Поминутный, Почасовой и т.д.

Функция рассчитывает среднее значение Точек первичных данных для образования Точки консолидированных данных. Является средним самих значений (для канала Индикатор) или величиной изменений значений (для Счетчика и других типов каналов).

Данная функция берет минимальную Точку первичных данных и использует ее в качестве Точки консолидированных  данных. Является самим минимальным значением (для канала Индиктор) или минимальным значением величины изменений значения (для Счетчика и других типов каналов).

Приблизительно то же, что и Минимальное.

Данная функция суммирует все Точки первичных данных для формирования Точки консолидированных данных. Является суммой самих значений (для канала Индикатор) или величиной изменений значений (для Счетчика и других типов каналов).

Данная функция берет первую Точку первичных данных в качестве значения для Точки консолидированных данных.

Данная функция берет последнюю Точку первичных данных в качестве значения для Точки консолидированных данных.

Каждый канал может иметь включенными все или несколько следующих Архивов:

• Поминутный

• Почасовой

• Ежедневный (фиксированный 24-часовой период, см. примечание ниже)

• Еженедельный

• Месячный (фиксированный период, см. примечание ниже)

• Годовой (фиксированный период, см. примечание ниже)

Важная заметка: БД RRD и модуль статистики всегда имеют дело с фиксированными временными периодами. Это приводит к следующим последствиям: 1. Ежедневные архивы создаются на сутки. Это приводит к неверным результатам в несколько дней при переключении с летнего времени на обычное время и обратно. 2. Ежемесячные архивы создаются для средней длины месяца в течение любых четырех последовательных лет (три обычных года и один високосный год), что составляет около 30,43 дней. Это влияет на точность при расчете статистических значений за месяц и год для всех месяцев/лет. Для получения более точных месячных и годовых результатов необходимо основывать вашу статистику на суточных образцах и использовать дополнительную агрегацию на последующих этапах обработки, например, агрегирование внутренних данных графика, которое будет группировать суточные образцы по «реальным» месяцам/годам. Чтобы получить результаты с максимально возможным уровнем точности, основывайте свои расчеты на почасовых образцах статистики и используйте агрегацию более высокого уровня, чтобы сгруппировать результаты по дням, неделям, месяцам и годам.

Длину каждого архива, т.е. количество точек консолидированных данных, можно конфигурировать.

Чтобы полностью отключить архив, установите его длину на NULL (<Не задано>).

Системные администраторы определяют длину архива в "человеческих" временных единицах, в то время как число Точек консолидированных данных рассчитывается автоматически. Например, если длина Поминутного архива установлена на 1 day, он будет содержать 1440 CDP (т.е. 1440 Средних, 1440 Минимальных, 1440 Максимальных и 1440 Общих, при всех включенных функциях агрегирования).

Это выражение позволяет переопределить временную метку для каждого образца. Выражение должно возвращать дату. Каждый раз, когда поступает новый образец, это выражение оценивается, чтобы получить временную метку образца. Если Timestamp Expression не задано, в качестве временной метки выборки рассматривается текущее время.

Это флаг для защиты канала статистики от удаления. При изменении одного из следующих двух параметров (Step и XFiles Factor) канал сбрасывается и его данные теряются. Поэтому, если вам нужно изменить защищенные параметры, сначала снимите флаг Protect Statistics.

Интервал зернистости для канала, подробнее см. в разделе "Технологии RRD". В большинстве случаев значение шага не следует изменять.

Изменение шага приведет к сбросу статистики каналов.

Поскольку шаг по умолчанию составляет 60 секунд, средние, минимальные и максимальные статистические значения для периода "Последняя минута" будут равны.

Коэффициент XFiles определяет, какая часть интервала консолидации может быть составлена из неизвестных точек данных, в то время как консолидированное значение все еще считается известным. Он задается как отношение допустимого количества неизвестных Первичных точек данных к количеству PDP в интервале. Таким образом, он варьируется от 0 до 1 (исключительно).

Изменение Коэффициент XFiles приведет к сбросу статистики каналов.

Значение по умолчанию равно 0,9, что означает, что 90% исходных образцов могут отсутствовать.

Чтобы обеспечить более надежные статистические значения, уменьшите это значение. Типичное значение - 0,5.

Определяет, должна ли краткая статистика этого канала отображаться в статусе контейнера (т.е. устройства или трекера).

Максимальный период времени, который может пройти между двумя исходными значениями, полученными каналом, до того, как статистическое значение за определенный период будет считаться неизвестным.

Нулевое значение означает автоматический контрольный интервал.

Автоматический контрольный интервал рассчитывается следующим образом:

• Если статистический канал привязан к одной из настроек удаленных устройств (перечислены в разделе параметры синхронизации настроек), контрольный интервал рассчитывается как ожидаемый период синхронизации для настройки (минимальные периоды полной и частичной синхронизации), умноженный на 2.

• Во всех остальных случаях невозможно автоматически определить период обновления значения, поэтому контрольный интервал постоянно устанавливается как 1 минута, умноженная на 2 (120 секунд).

Автоматический контрольный интервал рассчитан, в основном, на работу в статистических каналах, привязанных к настройкам удаленных устройств. В остальных случаях рекомендуется вручную устанавливать контрольный интервал, равный ожидаемому периоду обновления переменной канала, умноженному на 2.

Статистический канал получает исходные значения в произвольные моменты времени. Из них он строит Очки Первичных Данных (PDP) в определенное время каждого интервала Шаг. PDP затем собираются в CDP. См. Технология RRD для разъяснения значений PDP и CDP.

Контрольный интервал определяет максимальный приемлемый интервал между образцами. Если интервал между образцами меньше контрольного интервала, то рассчитывается средний показатель и применяется для этого интервала. Если интервал между образцами длинее, чем контрольный интервал, то весь этот интервал считается неизвестным. Обратите внимание, что есть и другие факторы, которые могут сделать интервал образца неизвестным, такие как ограничения скорости превышения или даже неизвестный (NULL) вводный образец.

Известные показатели во время интервала Шаг PDP используются для расчета среднего показателя данного PDP. Кроме того, если общее неизвестное время в течение интервала Шаг превышает контрольный интервал, весь PDP помечается как неизвестный. Это означает, что совмещение известного и неизвестного времени образца в одном Шаге PDP может добавлять или не добавлять достаточно неизвестного времени, чтобы превысить контрольный интервал и, следовательно, отметить весь PDP как неизвестный. Итак, контрольный интервал - это не только максимально допустимый интервал между образцами, но и максимально допустимое количество неизвестного времени в PDP (очевидно, это имеет значение, только если контрольный интервал меньше Шага).

Контрольный интервал может быть коротким (необычным) или длинным (типичным) по отношению к интервалу Шаг между PDP. Короткий контрольный интервал означает, что требуется несколько образцов в PDP, и если этого нет, PDP помечается как неизвестный. Длинный контрольный интервал может занимать несколько Шагов, а это означает, что допустимо иметь несколько PDP, рассчитываемых из одного образца. Примером этого может быть Шаг в 5 минут и контрольный интервал в один день, и в этом случае один образец "каждый день" приведет к тому, что все PDP этого полного дня будут настроены на тот же средний показатель.

Это выражение позволяет переопределить временную метку для каждого образца. Выражение должно возвращать данные типа дата. Каждый раз при появлении нового образца, выражение вычисляется и образец приобретает метку времени. Когда выражение временной метки не задано, текущее время принимается за временную метку образца.

Это полезный флаг для защиты канала статистики от удаления. При изменении одного из следующих двух параметров (Шаг и XFiles фактор), канал перенастраивается, и его данные теряются. Таким образом, если необходимо изменить защищенные параметры, следует сначала снять флаг Защитить статистику.

Интервал грануляции для канала, более подробно об этом см. в Технологии RRD. В большинстве случаев Шаг лучше не менять.

Изменение Шага приведет к сбросу статистики канала.

Поскольку шаг по умолчанию равен 60 секундам, Среднее, Минимальное и Максимальное статистические значения для периода Последняя минута будут равны.

XFiles фактор определяет, какая часть интервала консолидации может быть сформирована из неопределенных точек данных, в то время как консолидированное значение все еще считается как известное. Записывается как скалярное отношение допустимого объема неопределенных данных к общему числу данных для конкретного временного интервала, в виде десятичной дроби в диапазоне от 0 до 1 (включительно).

Изменение XFiles фактора приведет к сбросу статистики канала.

Значение по умолчанию - 0.9, т.е. 90% исходных образцов могут быть потеряны.

Для увеличения надежности значений статистики, уменьшите это значение. Типичной настройкой является 0.5.

Определяет, будет ли отображаться краткая статистика канала в статусе контейнера (т.е. устройства или датчика).