В мире Интернета вещей создание большого объема данных с помощью датчиков чрезвычайно распространено и является одной из проблем, с которыми сегодня сталкивается Интернет вещей — как с точки зрения передачи, так и с точки зрения управления данными. Одним из примеров этого являются датчики, установленные на самолетах коммерческой авиации.
Реальные примеры анализа данных Интернета вещей
Сравнение структурированных и неструктурированных данных
Динамические данные и статические данные
Обзор анализа данных Интернета вещей
Реальные примеры анализа данных Интернета вещей
Современные реактивные двигатели самолетов оснащены тысячами датчиков, обеспечивающих стабильную работу авиационного двигателя, производящих до 10 ГБ данных в секунду. Как показано на рисунке 1.1, только в реактивных двигателях современных коммерческих самолетов имеется около 5000 датчиков. Следовательно, если среднее время работы двухмоторного коммерческого самолета составляет 8 часов, объем генерируемых за день данных превысит 500 ТБ, и это только от двигателя! Сегодняшние самолеты имеют десятки тысяч других датчиков, подключенных к различным частям авиационных систем. Фактически, только на крыльях современных больших реактивных самолетов имеется 10 000 датчиков.
Рисунок 1.1 Реактивный двигатель коммерческого самолета
Трудность получения петабайтов (ПБ) данных в сутки для каждого самолета незначительна – это только для одного самолета. В настоящее время по всему миру выполняется более 100 000 коммерческих рейсов. Данные Интернета вещей, генерируемые этими предприятиями коммерческой авиации, просто поразительны.
Этот пример — лишь один из многих примеров все более серьезных проблем с большими данными в IoT. Очень важно проанализировать эти данные наиболее эффективным способом. Анализ данных должен позволять своевременно находить полезные и действенные идеи и знания из данных, независимо от того, как они представлены, иначе он не сможет полностью отразить преимущества Интернета вещей.
Прежде чем анализировать данные, необходимо определить ключевые понятия, связанные с данными. Во-первых, не все данные одинаковы; их можно классифицировать и анализировать с разных точек зрения и методов. В зависимости от классификации данных могут применяться различные инструменты анализа данных и методы обработки. С точки зрения Интернета вещей эти два обзора являются важной основой для структурированных и неструктурированных данных, а также для оценки того, являются ли данные динамическими или запрещенными.
Сравнение структурированных и неструктурированных данных
Структура данных является важной классификацией данных, поскольку с точки зрения анализа данных обычно необходимо использовать различные наборы инструментов анализа данных. На рисунке 1.2 представлено сравнение различий в структурированных и неструктурированных данных.
Рисунок 1.2 Сравнение структурированных и неструктурированных данных
Структурированные данные соответствуют модели/шаблону, который определяет выражение и организацию структуры данных, что означает, что они очень подходят для традиционных систем управления реляционными данными (СУБД).
Структурированные данные можно найти в большинстве компьютерных систем, включая все: от статистики счетов после банковских транзакций до файлов журналов и конфигураций маршрутизаторов на компьютерах. В данных датчиков Интернета вещей обычно используются структурированные значения, такие как температура, влажность и давление воздуха, которые отправляются в известных форматах. Структурированные данные легко форматировать, хранить, запрашивать и обрабатывать; из-за этих особенностей он всегда был основным типом данных для принятия отраслевых решений.
Неструктурированным данным не хватает интерпретации и декодирования с помощью традиционного программирования. Этот тип данных включает текст, голос, графику и видео. Как правило, любые данные, которые не полностью соответствуют предопределенной модели данных, классифицируются как неструктурированные данные.
По статистике, около 80% бизнес-данных в настоящее время представляют собой неструктурированные данные. Из-за этого методы анализа неструктурированных данных, такие как когнитивные вычисления, машинное обучение, обработка естественного языка (НЛП) и искусственный интеллект, относительно сложны. Эти технологии могут извлекать ключевую информацию из множества неструктурированных данных.
В настоящее время структурированными данными легче управлять и обрабатывать, чем неструктурированными. Важно быть знакомым с этими двумя структурами классификации данных, чтобы вы могли судить, какую классификацию данных проще использовать, и предлагать соответствующие решения для анализа данных.
Динамические данные и статические данные
Как и в большинстве сетевых приложений, данные в IoT либо «в пути» (динамические данные), либо уже сохранены или сохранены (статические данные). Динамические данные включают в себя традиционный обмен между клиентами и серверами, например, пользовательские данные, передаваемые через WEB-браузеры по сети, передачу электронной почты и т. д. Данные, сохраненные на физическом оборудовании, таком как жесткие диски, USB-накопители и т. д., относятся к статическим данным.
С точки зрения Интернета вещей данные от интеллектуальных устройств обычно считаются данными о движении, поскольку в конечном итоге они доставляются в конечный пункт назначения через сеть. Собранные данные обрабатываются туманными вычислениями после периферийного сбора, а затем загружаются и, наконец, достигают центра хранения данных.
После того, как данные достигают центра обработки данных, центр обработки данных снова обрабатывает собранные данные, и данные в процессе обработки все еще находятся в движении. В настоящее время инструменты анализа и обработки динамических данных все еще находятся на начальной стадии.
Статические данные в сети IoT обычно можно найти в общих данных IoT или в прокси-сети. С точки зрения анализа данных существует множество инструментов, которые можно использовать, особенно инструменты обработки структурированных данных, которые не только обеспечивают обработку данных, но и предоставляют услуги хранения данных.
Обзор анализа данных Интернета вещей
Данные от интеллектуальных устройств Интернета вещей обычно требуют обработки и фильтрации данных для реализации их коммерческой и аналитической ценности. Анализ данных обычно классифицируется и разлагается в соответствии с его результатами, как показано на рисунке 1.3, с четырьмя типами анализа данных.
Рисунок 1.3 Четыре типа анализа данных
Описательный анализ. Этот тип анализа данных описывает происходящее с помощью описательного метода. Например, манометр в шинах каждую секунду сообщает значение давления. С помощью этих данных оператор устройства может отслеживать состояние устройства в любое время, чтобы обеспечить безопасную и стабильную работу устройства.
Диагностический анализ. Этот тип анализа позволяет понять, почему устройство выдает данные, путем анализа того, как устройство работает, и таким образом диагностировать проблемы устройства.
Прогнозный анализ. Прогнозный анализ предназначен для прогнозирования возникновения проблем до их возникновения, чтобы добиться стабильной работы устройства. Например, если температура бака для воды в работающем автомобиле постепенно повышается, это указывает на то, что в автомобиле может потребоваться замена масла или бак для воды нуждается в обслуживании.
Предписывающий анализ. Предписывающий анализ выходит за рамки прогнозного анализа и предлагает решения предстоящих проблем. Например, методы обработки данных анализа проблем подъема на резервуар с водой предоставляют различные альтернативные решения.
Прогнозный анализ и предписывающий анализ являются ресурсоемкими методами анализа данных, и их ценность намного превышает сами данные. Как показано на рисунке 1.4, описательный анализ является самым простым, а предписывающий анализ — самым сложным среди четырех типов анализа данных, причем сложность возрастает по градиенту, а предписывающий анализ обеспечивает наибольшую ценность, но также является и самым сложным. В настоящее время большая часть анализа данных IoT опирается на описательный анализ и диагностический анализ, но спрос на прогнозный анализ и предписывающий анализ является актуальным для нынешних предприятий.