Анализ и установка платформы для распределённой обработки больших данных "Apache Hadoop"
Исследование платформы для распределённой обработки больших данных "Apache Hadoop". Описание алгоритма её установки и настройки. Оценка возможности использования "Apache Hadoop" для обработки огромного количества ежеминутно поступающей информации.
Подобные документы
Структура и взаимоотношения элементов схемы, логические уровни для детализации модели. Описание структуры одного сегмента, поверх которой разворачивается комплекс приложений Hadoop. Изучение работы платформы автоматизации обработки больших данных.
статья, добавлен 21.12.2019Рассмотрение основных современных подходов к кластеризации данных. Описание предшествующих решений и предоставление версии алгоритма мультимодальной кластеризации для запуска в системе распределённых вычислений под Apache Hadoop. Адаптация алгоритма.
дипломная работа, добавлен 30.08.2016Розгляд розподіленої файлової системи для роботи з великими обсягами даних Hadoop та спеціальних інструментів, що інтегруються разом з нею для вирішення різноманітних дослідницьких задач. Основні технології та елементи програмної платформи Hadoop.
статья, добавлен 07.04.2018Методы анализа тенденций продажи продуктов или услуг клиенту. Основные требования к современным средствам управления базами данных. Реализация проекта Apache Hadoop на основе открытого кода. Способы синхронизации аналитической системы с транзакционной.
статья, добавлен 20.07.2018Схема архитектуры Kubernetes, вычислительная платформа Apache Spark. Мониторинг кластера на основе Kubernetes, эволюция развёртывания "серверов". Высокоуровневая модель развёртывания контейнера в кластере. Описание управления контейнерными приложениями.
статья, добавлен 11.02.2021Установка, разработка конфигурации и дальнейшее администрирование веб-сервера Apache в системе в Ubuntu. Настройка операционной системы и удаленного управления. Основные команды; соединение и передача данных. Аутентификация, способы доступа к серверу.
реферат, добавлен 24.06.2014Проблема повышения эффективности обработки научной информации в распределенной цифровой среде. Создание в сети Интернет междисциплинарной информационно-аналитической платформы "История современной России". Оценка перспектив использования баз данных.
статья, добавлен 25.03.2019Создание динамических HTML-документов, выполняемых на стороне сервера, с использованием языка сценариев РНР. Обращение к серверу mySQL посредством PHP-скриптов. Установка WEB-сервера Apache. Создание гостевой книги, наполнение простейшей базы данных.
лабораторная работа, добавлен 16.07.2017Выбор языка программирования, технологии разработки www-сайта. Требование для установки программного продукта. Установка веб сервера: Apache, php, MySQL. Структура базы данных. Расчет затрат на создание веб-ресурса. Обеспечение режимов труда и отдыха.
дипломная работа, добавлен 01.10.2017Обеспечение работы Web-сервера в системе Linux. Процедура установки и настройки основных функций Apache, Roxen, thttpd, Zeus. Преимущества размещения данных на внешнем сервере. Рассмотрение целесообразности инсталляции Web-сервера в локальной сети.
лекция, добавлен 27.11.2013Языки создания сценариев, разработанные специально для Web. Система управления реляционными базами данных. Выбор компонентов для написания сайта системы электронной торговли. Разработка интернет-приложений, работающих с заранее созданной базой данных.
контрольная работа, добавлен 14.03.2009Понятие сервера и его характеристики. Особенности современных веб-серверов Apache, Internet Information Services и Nginx. Требования к оборудованию для установки веб-сервера Apache. Настройка виртуального хоста. Лицензирование программного обеспечения.
курсовая работа, добавлен 19.05.2015Анализ сетевого трафика, журналов работы компонентов компьютерных инфраструктур, транзакций в банковской сфере, в медицинской и экономической информации. Применение технологии облачных вычислений для обработки больших данных. Виртуальные машины и сети.
статья, добавлен 02.04.2019Принципы обработки больших массивов данных. Применение технологии Big Data в экономических процессах. Изучение их природы в контексте мировой экономики. Инновации и маркетинг в области "больших данных". Программное обеспечение для обработки данных.
статья, добавлен 27.02.2019Анализ использования технологии обработки баз данных в информационных системах территориально-распределенных комплексов. Безопасность вычисления в распределенных программных системах. Проблемы компаний, возникающие при хранении больших объемов данных.
статья, добавлен 25.11.2017Выбор и обоснование технологии Flash для проектирования, характеристики и описание Apache и PHP. Этапы установки Web-сервера Apache, установка и настройка PHP и шаблона ImagevueX. Создание и настройка категорий и материалов сайта, настройка почты.
курсовая работа, добавлен 10.12.2014Аналитические возможности программы Apache. Особенности информационной системы для строительной компании. Работа с распределенными базами данных в 1С. Автоматизация бизнес-процессов при помощи компьютерных технологий. Управление продуктовым портфелем.
реферат, добавлен 16.11.2016Особенности технологий аналитической обработки данных, а именно OLAP и ИАД (интеллектуального анализа данных), а также их интеграция. Применение данных методов работы с разнородной информацией больших объемов, методы хранения и работы с большими данными.
статья, добавлен 27.02.2019Установка и настройка Web-сервера Apache для использования его на локальной машине под операционной системой Windows (2000 и XP). Запуск фоновых приложений при старте системы. Настройка конфигурационных файлов. Создание собственных виртуальных хостов.
лабораторная работа, добавлен 02.12.2014Изучение архитектурного построения и свойств систем распределённой обработки информации. Рассмотрение механизма реализации технологии распределенной обработки информации. Понятие оптимизации использования ресурсов и упрощение работы пользователя.
курсовая работа, добавлен 29.03.2014Работа с информацией огромного объема. Тенденции развития информационных систем в соответствии с технологиями обработки больших данных. Обработка больших данных, ее связь с технологиями бизнес-анализа и развитием на их основе подходов к интеграции данных.
статья, добавлен 18.07.2018Рассмотрение подхода к оптимизации обработки больших объемов данных, на процессорах, состоящих из большого количества ядер. Этапы устранения мест, которые сдерживают производительность, а также структурная схема работы программы после оптимизации.
статья, добавлен 19.02.2016Алгоритм планирования выполнения облачных приложений. Использование основных методов прогнозирования для получения приблизительных оценок характеристик приложений для обработки больших данных с учетом выделяемых ресурсов. Достоинства модели приложений.
статья, добавлен 21.12.2019Рассмотрение и анализ методов проактивного мониторинга дорожно-транспортной инфраструктуры на основе сбора и обработки больших данных о событиях на контролируемых участках дорог. Характеристика методов сбора, консолидации и обработки больших данных.
статья, добавлен 02.01.2022Описание проблемы оптимизации массовой обработки структурированных больших данных. Подход для решения проблемы повышения эффективности массовой обработки данных, основанный на промежуточных моделях данных. Проектирование программно-аппаратных комплексов.
статья, добавлен 24.06.2017