Анализ и установка платформы для распределённой обработки больших данных "Apache Hadoop"
Исследование платформы для распределённой обработки больших данных "Apache Hadoop". Описание алгоритма её установки и настройки. Оценка возможности использования "Apache Hadoop" для обработки огромного количества ежеминутно поступающей информации.
Подобные документы
Исследование новых типов и особенностей проблем информационной безопасности в эпоху больших данных. Создание платформы управления безопасностью больших данных. Формирование системы информационной безопасности и внедрение соответствующих законов.
статья, добавлен 08.12.2024Общее понятие данных. Процедуры обработки данных в зависимости от видов представления данных. Организационные формы использования информационных технологий при обработке данных. Особенности и технологический процесс обработки экономической информации.
курсовая работа, добавлен 08.05.2014Ознакомление с возможностями платформы Unity 3D. Технические характеристики мультиплатформенного инструмента, предназначенного для разработки приложений и игр. Этапы создания компьютерного приложения. Функции веб-сервера Apache и базы данных MySQL.
реферат, добавлен 02.05.2015Оценка варианта решения задачи аналитической обработки больших объёмов разнородных исходных данных, используя возможности человека по визуальному их анализу. Факторы, влияющие на процесс формирования графического образа; режим первоначальной настройки.
статья, добавлен 24.05.2018Системы управления содержимым, которые обеспечивают доступ к информации в сети Internet и удобное редактирование базы данных. Получение информации о призывниках в режиме реального времени. Разработка алгоритма и описание работы программы обработки данных.
дипломная работа, добавлен 26.05.2018Анализ структур данных и алгоритмов ее обработки. Разработка алгоритмов программного средства. Выбор языка программирования. Программная реализация структур данных и алгоритма обработки. Оценка сложности алгоритма. Тестирование программного средства.
курсовая работа, добавлен 11.02.2021- 32. Identifying the suitable program for queue management through analysis: Apache Kafka or RabbitMQ
Comparative analysis of prominent message queuing solutions Apache Kafka and RabbitMQ, aimed at identifying the most suitable program for queue management. Evaluation of technology's capability to handle high-throughput scenarios and fault resilience.
статья, добавлен 09.12.2024 Оперативная оценка и визуализация информации о биолюминесценции и фоновых характеристиках водной среды. Программа для обработки массивов данных, полученных при работе с гидробиофизическим комплексом "Сальпа М". Атлас биолюминесценции Черного моря.
статья, добавлен 12.08.2020Проблемы, возникающие при хранении больших объемов данных. Обзор основных носителей информации и оценка возможности применения каждого из них в цифровых хранилищах больших объемов данных с учетом надежности, скоростных характеристик и стоимости хранения.
статья, добавлен 30.05.2017Автоматизированная система учета ресурсов в ресурсоснабжающих организациях России. Рассмотрение особенностей образа потребления. Описание программного модуля обработки больших данных, получаемых от потребителей ресурсов жилищно-коммунальных услуг.
статья, добавлен 29.08.2021Применение модели MapReduce в распределенном поиске, сортировке, обращении графа веб-ссылок, обработки статистики логов сети, построении инвертированных индексов и кластеризации документов. Характеристика возможностей и основных компонентов Hadoop.
курсовая работа, добавлен 07.11.2019Проблема разработки универсальных методов, пригодных для обработки информации. Оценка возможности использования модифицированного алгоритма кластеризации в задаче опорно-двигательного аппарата. Анализ и описание основных этапов алгоритма Хамелеон.
лекция, добавлен 30.01.2016Описание и формализация технологии передачи и обработки информации. Характеристика основных этапов обработки информации, общей концепции программы для обработки данных о студентах, анализ её состава и структуры. Изучение функциональной схемы программы.
курсовая работа, добавлен 29.09.2015Сущность и понятие больших данных (BigData): подходы и методы их обработки. Исследование вопросов, касающихся их назначения, области применения, техник и методов анализа. Характеристика перспектив развития рынка больших данных в Российской Федерации.
статья, добавлен 25.04.2022Анализ задачи машинного представления больших графов с учетом емкостных и скоростных критериев. Сравнение списочных и матричных способов представления. Инструментальные решения и фреймворки для работы с графовыми моделями для обработки больших данных.
статья, добавлен 08.02.2022Причины, по которым может возникнуть DoS-атака. Рассмотрена полная настройка готового WEB сервера хостинга сайтов на основе дистрибутива UBUNTU 16.04. Защита веб-сервера Apache от DDoS-атак. Система конфигурации Apache, изучены уровни конфигурации.
курсовая работа, добавлен 02.05.2023Использование информационных систем для хранения и обработки больших объемов информации. Подчиненность объектов в иерархической и сетевой организации данных. Рабочие характеристики баз данных, состав и функции систем их управления, языки манипулирования.
реферат, добавлен 12.12.2010Процесс целенаправленной обработки поступающей информации как основного режима функционирования информационной системы. Теория процесса обработки информации. Обобщенные показатели и формальные выражения их смысла, являющиеся объектами базы данных.
реферат, добавлен 25.09.2018Характеристика предпроектной ситуации. Описание проектирования структуры с учётом исходных данных. Выбор количества каналов и фильтра. Расчёт резисторов для усилителей. Структурная схема и алгоритм работы МПУ сбора и первичной обработки информации.
курсовая работа, добавлен 05.01.2018Существующие подходы к хранению информации в цифровом виде. Технологии для создания систем хранения данных. Основные сведения о облачных сервисах. Установка Apache. Аппаратная и программная конфигураций облачного хранилища. Нагрузочное тестирование.
дипломная работа, добавлен 10.06.2020Изучение потребности в автоматизации процессов сбора и обработки социологической информации. Рассмотрение процесса автоматизации ввода первичной информации, обработки полученных данных и получения необходимых результатов. Оценка работы программы.
реферат, добавлен 16.03.2019База данных – структура, предназначенная для хранения, изменения и обработки информации больших объемов, а также это набор надписей и файлов, которые организованы специальным образом. Разработка базы данных для информационного функционирования аэропорта.
курсовая работа, добавлен 06.03.2021Изучение сущности метрики программного обеспечения — меры, позволяющей получить численное значение некоторого свойства программного обеспечения. Исследование различных графиков вызовов между классами внутри пакета. Анализ матрицы вызовов между классами.
контрольная работа, добавлен 17.06.2015Изучение технологий систем управления базами данных на примере программы Access. Анализ основных идей организации и обработки больших массивов информации. Проектирование информационных систем. Подходы к структурированию информации. Кодирование информации.
презентация, добавлен 19.12.2016Развертывание OLTP-систем на базе облачной архитектуры с использованием технологии распределённой обработки данных. Разработка модели архитектуры транзакционной системы с размещением фрагментов распределенной базы данных в сети с произвольной топологией.
статья, добавлен 30.05.2017