Мониторинг кластера анализа больших данных Apache Spark на основе Kubernetes
Схема архитектуры Kubernetes, вычислительная платформа Apache Spark. Мониторинг кластера на основе Kubernetes, эволюция развёртывания "серверов". Высокоуровневая модель развёртывания контейнера в кластере. Описание управления контейнерными приложениями.
Подобные документы
Описание системы анализа данных расчетного комплекса "РЕАКТОР", предназначенной для эффективной поддержки решения задач анализа и представления больших объемов данных, обеспечения пользователя удобными и мощными средствами анализа результатов счета.
научная работа, добавлен 28.10.2018Особенности и сущность электронной коммерции. Цели и задачи создания web-системы продажи поздравительных открыток. Разработка электронного магазина на базе web-сервера Apache, языка серверных сценариев PHP и системы управления базами данных MySQL.
курсовая работа, добавлен 09.09.2015Извлечение ассоциативных правил для систем гибридного искусственного интеллекта. Обработка больших массивов значений. Изучение методов интеллектуального анализа нечетких данных: с предопределенными функциями принадлежности, алгоритмами на основе Apriori.
статья, добавлен 12.01.2018Изучение проблемы обработки и хранения больших объемов данных. Неэффективность стандартных подходов, используемых для проектирования архитектуры настольных приложений. Проведение опытов, замеряющих скорость выполнения основных операций с базами данных.
статья, добавлен 07.03.2019Разработка платформы для создания сайтов различной направленности Content Management System на основе Zend Framework. Структура системы, архитектура базы данных. Функции управления контентом и администрирования. Реализация серверной и клиентской частей.
дипломная работа, добавлен 26.04.2015Сравнительный анализ существующих подходов и моделей поиска данных и интеграции данных распределенных неоднородных информационных систем. Разработка и реализация технологии построения интегрирующей информационной системы на основе модели данных RDF/RDFS.
автореферат, добавлен 30.04.2018Общее описание процесса проектирования баз данных на основе слабоструктурированной информации. Функциональное описание этого процесса и особенности его алгоритмической реализации. Краткая характеристика системы, выполняющей проектирование баз данных.
статья, добавлен 19.12.2020- 58. Метод интеграции сторонних систем анализа и обработки данных в существующую ИС-архитектуру компании
Изучение технологий интеграции систем. Описание сервис-ориентированной архитектуры при проектировании корпоративной информационной системы. Анализ места подключаемых систем в общей архитектуре серверов компании. Описание решений интеграционной системы.
дипломная работа, добавлен 31.08.2016 Рассмотрение современных приложений, используемых распределенные технологии обработки данных на основе беспроводных сенсорных сетей. Интеллектуальные системы мониторинга технического состояния промышленных объектов, конструкций, зданий и мостов.
статья, добавлен 18.01.2018Теоретическое обоснование моделей анализа данных "OLAP-куб" и "Линейная регрессия". Разработка структуры хранилища данных Deductor Warehouse. Описание процесса ETL. Описание сценариев проекта Deductor. Описание выходных отчетов. Создание карты Кохонена.
курсовая работа, добавлен 12.06.2016Ознакомление с возможностями платформы Unity 3D. Технические характеристики мультиплатформенного инструмента, предназначенного для разработки приложений и игр. Этапы создания компьютерного приложения. Функции веб-сервера Apache и базы данных MySQL.
реферат, добавлен 02.05.2015Анализ предметной области. Аппаратные решения для обеспечения высокой доступности. Использование сетей хранения данных. Избыточные сетевые соединения. Технология адаптивной декомпозиции. Защитное зануление системы. Надежность программного обеспечения.
дипломная работа, добавлен 07.03.2016Анализ ранжировки функциональных нагрузок элементов системы экологического мониторинга. Разработка системы на основе выбранных структурных компонент методом генерации ее вариантов, исходя из анализа функциональных нагрузок, методом экспертных оценок.
статья, добавлен 01.07.2013Теоретические основы и математическое обеспечение мониторинга аномалий и диагностики состояния сети передачи данных. Разработка и проектирование структуры, состава и алгоритмической реализации интеллектуальной системы мониторинга сети передачи данных.
автореферат, добавлен 16.06.2012Анализ модели представления темпоральных данных, ориентированной на интеллектуальные системы реального времени, и возможности ее реализации на основе на основе концепции хранилища данных (Data Warehouse) и технологии OLAP (Online Analytical Processing).
статья, добавлен 19.01.2018Телефонная станция: характеристика и функции. Структурный анализ бизнес-процесса на основе IDEF0-модели. Построение информационно-логической модели данных. Структурная схема на основе IDEF0. Даталогическая модель данных. Реализация информационной системы.
курсовая работа, добавлен 22.10.2017Рассмотрение проблем современного web-пространства, не позволяющие рассматривать его как надежный и живучий информационный ресурс. Знакомство с основными особенностями использования системы контент-мониторинга и сети информационных прокси-серверов.
статья, добавлен 29.01.2019Преимущества использования компьютеров в составе высокопроизводительного кластера. Исследование реализации простейшего высокопроизводительного кластера из имеющихся компьютеров. Установка, настройка блочного сетевого устройства для создания RAID1 по сети.
реферат, добавлен 26.04.2019На основе статистического анализа данных по пациентам Приморского краевого туберкулезного диспансера была разработана логистическая регрессионная модель, характеризующая наличие положительной динамики при лечении больных туберкулезом в стационаре.
статья, добавлен 17.10.2021Особенности технологий аналитической обработки данных, а именно OLAP и ИАД (интеллектуального анализа данных), а также их интеграция. Применение данных методов работы с разнородной информацией больших объемов, методы хранения и работы с большими данными.
статья, добавлен 27.02.2019Анализ способов полуконтролируемого обучения нейронных сетей векторного квантования, предназначенных для обработки больших массивов информационных данных. Методы последовательной обработки матриц изображений, их вычислительная простота и быстродействие.
статья, добавлен 22.03.2016Обґрунтування паралельного алгоритму щодо реалізації дискретної марківської методики однорідного кластера на решітках процесорів. Дослідження основних характеристик обчислювального середовища за допомогою моделі кластера з дисками, що розділяються.
автореферат, добавлен 28.09.2014Структура и использование резервного сервера. Ведение активной части записи транзакций. Алгоритм и процедуры замены основного блока на вспомогательный. Автоматизация обслуживания сервера. Мониторинг распространения журнала в контейнере Management.
презентация, добавлен 10.11.2013Разработка программной системы для поддержки принятия решений экспертом-технологом по ведению технологического процесса получения полиакрилонитрильного волокна на основе анализа данных этого процесса. Обеспечение оперативного управления процессом.
статья, добавлен 19.01.2018Сквозная технология "Больших данных" на основе утвержденных российских программстратегий, созданных в целях формирования цифровой экономики и информационного общества. Программы по развитию цифрового общества в РФ. Качество цифровых услуг в стране.
статья, добавлен 20.08.2018