Анализ технологии MapReduce
Применение модели MapReduce в распределенном поиске, сортировке, обращении графа веб-ссылок, обработки статистики логов сети, построении инвертированных индексов и кластеризации документов. Характеристика возможностей и основных компонентов Hadoop.
Подобные документы
Методы обработки больших объемов данных на основе модели распределенных вычислений MapReduce и Percona server - сборкой MySQL, изначально предназначенной и оптимизированной для работы с большими данными. Преимущества данного программного обеспечения.
статья, добавлен 28.07.2017Выравнивание последовательностей ДНК как важная и сложная задача биоинформатики. Исследование алгоритма выравнивания последовательностей ДНК для популярной модели распределенных вычислений MapReduce. Анализ уже существующих решений для данной модели.
статья, добавлен 15.01.2019Рассмотрение паттернов проектирования MapReduce запросов, включающих в себя фильтрующие паттерны, суммирующие и структурные паттерны. Разработка программных кодов для решения задач, модификация исходных файлов, визуализация результатов их выполнения.
практическая работа, добавлен 24.04.2022Модификация алгоритма Хамелеон. Разработка новых алгоритмов кластеризации, способных обрабатывать сверхбольшие базы данных. Исследование и улучшение этапа построения графа посредством оптимизации алгоритма выбора при построении графа ближайших соседей.
статья, добавлен 19.02.2016Исследование платформы для распределённой обработки больших данных "Apache Hadoop". Описание алгоритма её установки и настройки. Оценка возможности использования "Apache Hadoop" для обработки огромного количества ежеминутно поступающей информации.
статья, добавлен 11.10.2024Рассмотрение основных современных подходов к кластеризации данных. Описание предшествующих решений и предоставление версии алгоритма мультимодальной кластеризации для запуска в системе распределённых вычислений под Apache Hadoop. Адаптация алгоритма.
дипломная работа, добавлен 30.08.2016Анализ методики выбора оптимального метода нормализации при построении кластерной структуры объектов. Высокая размерность признакового пространства. Анализ модели системы кластеризации с использованием алгоритма нечеткой кластеризации fuzzy C-means.
статья, добавлен 01.03.2017Розгляд розподіленої файлової системи для роботи з великими обсягами даних Hadoop та спеціальних інструментів, що інтегруються разом з нею для вирішення різноманітних дослідницьких задач. Основні технології та елементи програмної платформи Hadoop.
статья, добавлен 07.04.2018Базовые подходи и методы хранения и анализа данных, которые могут быть отнесены к категории Big Data. Проведение исследования графической интерпретации операции Map, Shuffle и Reduce. Характеристика базовых принципов функционирования модели MapReduce.
статья, добавлен 06.09.2021Структура и взаимоотношения элементов схемы, логические уровни для детализации модели. Описание структуры одного сегмента, поверх которой разворачивается комплекс приложений Hadoop. Изучение работы платформы автоматизации обработки больших данных.
статья, добавлен 21.12.2019- 11. Методика оценки эффективности методов кластеризации при построении интеллектуального репозитария
Исследование и анализ процесса организации интеллектуального репозитария электронной документации. Ознакомление с теоретическими аспектами кластеризации на основе нейронных сетей. Рассмотрение и характеристика структуры данных кластеризации Кохонена.
статья, добавлен 18.01.2018 Анализ сетевого трафика, журналов работы компонентов компьютерных инфраструктур, транзакций в банковской сфере, в медицинской и экономической информации. Применение технологии облачных вычислений для обработки больших данных. Виртуальные машины и сети.
статья, добавлен 02.04.2019Понятие локальной сети и ее топологии. Виды коммуникационной аппаратуры, кабелей и разъемов, используемых в построении сети. Основные сетевые протоколы и адресация компьютеров в сети. Параметры сетевых компонентов, подключение сетевого диска и принтера.
реферат, добавлен 24.03.2015Изучение отличий, обусловленных информационной природой элементов данных. Ознакомление с процессом организации поисковых файлов документов. Рассмотрение и характеристика инвертированных индексов. Анализ страниц текстового представления словарных структур.
презентация, добавлен 21.02.2016Надстройка как веб-приложение, расширяющие возможности программных компонентов Microsoft Office путем добавления пользовательских команд и специализированных возможностей. Разработка прототипа подсистемы метода статистического машинного обучения.
дипломная работа, добавлен 04.08.2016Принципы поиска информации в сети. Просмотр базы данных индексов, составление списка страниц, удовлетворяющим условиям запроса (список ссылок на эти страницы). Виртуальная реальность – интерактивное графическое представление киберпространства в сети.
презентация, добавлен 17.02.2016- 17. Локальная сеть
Исследование основных компонентов и программного обеспечения локальной сети. Изучение структуры сети с выделенным сервером. Режимы доступа к ресурсам сети. Характеристика клиент-серверной технологии. Особенности соединения компьютеров в локальной сети.
презентация, добавлен 11.09.2014 Значение сетевых технологий обработки данных, компонентов вычислительных сетей, сетевых, аппаратных и программных обеспечений сети. Логическая архитектура сети. Распределение функций между компьютерами сети. Способы пересылки сообщений, почтовый сервер.
реферат, добавлен 06.12.2015Описание технологии блокчейн, которая подразумевает наличие распределенной базы данных, содержащей информацию обо всех транзакциях в виде блоков, защищенных от пересмотра и подделки. Использование ориентированного ациклического графа для ускорения.
статья, добавлен 03.05.2019- 20. Связные графы
Вершинная и реберная связность в математике. Оценка компонентов связности графа. Схематичное изображение графа, его блоков и точек сочленения. Логические операции определения ребер и вершин графов. Метод нахождения блока графа. Определение блоков графа.
презентация, добавлен 25.09.2017 Анализ основных проблем, возникающих при применении методов кластеризации. Разработка метода и алгоритма кластеризации на базе нечеткого отношения эквивалентности. Разработка критериев качества кластеризации, пригодных для построения адаптивной системы.
автореферат, добавлен 31.07.2018Разработка системы автоматизированной обработки больших объемов динамической текстовой информации. Схемы кластеризации документов по морскому и речному делу. Предварительная обработка электронных текстов. Корректировка обучающего массива и индексирование.
статья, добавлен 25.12.2016Проблема разработки универсальных методов, пригодных для обработки информации. Оценка возможности использования модифицированного алгоритма кластеризации в задаче опорно-двигательного аппарата. Анализ и описание основных этапов алгоритма Хамелеон.
лекция, добавлен 30.01.2016Анализ модели беспроводной сенсорной сети на основе теории гиперграфов с применением кластеризации сети. Принцип формирования пикосети. Понятие производного радиуса кластера. Использование не совместимых алгоритмов управления информационными потоками.
статья, добавлен 28.02.2017Обзор подходов к решению задач кластерного анализа. Элементы, участвующие в процессе кластеризации. Модели диагностики и проведения вычислительного эксперимента по выявлению диагностических показателей. Список существующих алгоритмов кластеризации.
статья, добавлен 29.08.2021