Мониторинг качества данных с помощью Amazon Deequ
Использование библиотеки Amazon Deequ для мониторинга и оценки качества данных, разработанной на основе Apache Spark. Автоматическая проверка данных с помощью настраиваемых метрик: уникальность, полнота, консистентность. Диагностика проблем с данными.
Подобные документы
Исследование Apache Atlas для управления метаданными и данными в экосистемах Hadoop. Рассмотрение локальной установки, обзор модели данных и манипулирование типами и сущностями с помощью REST API и пользовательского интерфейса. Настройки Apache Atlas.
статья, добавлен 20.12.2024Получения данных пользователя с помощью API Вконтакте. Визуализация обработанных данных, построение графов. Описание алгоритма обработки данных. Рассмотрение библиотеки NetworkX для создания, манипуляции и изучения структуры сложных сетевых структур.
курсовая работа, добавлен 11.01.2020Анализ наиболее успешных IT решений в области мониторинга больших данных (big data) и осуществление выбора IT решения, его обоснование. Рассмотрение и анализ продуктов Microsoft Azure HDInsight, IBM InfoSphere Streams, платформы Amazon Kinesis Streams.
статья, добавлен 17.08.2018Современные технологии хранения данных. Базы данных на современных мобильных платформах (Android, iOS, Windows Phone). Особенности хранения данных с помощью библиотеки SQLite для операционной системы (ОС) Android. Варианты хранения данных в других ОС.
реферат, добавлен 04.12.2015Функциональные возможности Pandas для очистки и преобразования данных о продажах компании, содержащих дубликаты строк, неправильные типы данных, пропуски и отрицательные значения в форму, пригодную для дальнейшего анализа. Загрузка данных в библиотеку.
реферат, добавлен 11.12.2023Запросы и их применение. Создание базы данных с помощью мастера. Добавление новых данных в режиме формы. Быстрое создание таблицы в режиме конструктора. Создание формы или отчета на основе записей, отобранных с помощью фильтра. Изменение данных в поле.
реферат, добавлен 06.06.2015Microsoft SQL Server как система управления реляционными базами данных. Операции резервного копирования и восстановления данных. Многоуровневая проверка привилегий при загрузке на сервер с помощью MS SQL Server. Права доступа для пользователей баз данных.
реферат, добавлен 05.12.2017Иерархическая модель базы данных. Операции над данными, определенные в иерархической модели. Запуск Access и открытие базы данных. Создание таблиц путем ввода данных, запросов с помощью мастера запросов, таблиц с помощью мастера и в режиме конструктора.
реферат, добавлен 29.03.2011Обеспечение оптимизации часто выполняемых типовых запросов. Построение математических моделей их организации и способов хранения хронологических данных в системах мониторинга и прогнозирования. Методика разделения массивов данных в различные таблицы.
статья, добавлен 29.04.2017Создание базы данных, базы данных с помощью мастера, таблицы с помощью мастера, в окне конструктора. Наименование поля и типы данных. Числовые и логические поля. Текстовые поля произвольной длины. Тип данных мастер подстановок. Создание структуры таблицы.
курсовая работа, добавлен 18.08.2009Использование СУБД Access для создания баз данных. Ввод данных, создание пустой базы с помощью мастера. Создание таблицы с помощью мастера, в окне конструктора. Типы данных, числовые поля. Создание запроса, добавление полей в бланк, изменение их порядка.
курсовая работа, добавлен 09.01.2014Ознакомление с программами, с помощью которых пользователи работают с базой данных. Рассмотрение трехуровневой системы организации баз данных, предложенной ANSI. Процесс прохождения пользовательского запроса в базе данных. Классификация моделей данных.
презентация, добавлен 09.07.2015Исследование платформы для распределённой обработки больших данных "Apache Hadoop". Описание алгоритма её установки и настройки. Оценка возможности использования "Apache Hadoop" для обработки огромного количества ежеминутно поступающей информации.
статья, добавлен 11.10.2024Ознакомление с алгоритмом проектирования базы данных с помощью программы Microsoft Office Access. Рассмотрение описания информационно–логической модели данных. Изучение последовательности действий при создании формы с помощью Мастера форм (FormWizard).
лабораторная работа, добавлен 13.06.2014Хранилище данных как один из важнейших инструментов управления и развития бизнеса. Компоненты, с помощью которых реализуется анализ данных в хранилище. Состав корпоративного хранилища данных, его преимущества. Практическая реализация тройной стратегии.
реферат, добавлен 04.07.2013Ввод и редактирование данных. Форматирование таблиц, проверка правописания. Предварительный просмотр и печать. Обработка табличных данных с помощью встроенных функций. Представление табличных данных в графическом виде. Импорт данных из других программ.
презентация, добавлен 18.02.2014Приобретение навыков в создании баз данных и использование технологии АDO. Отображение данных таблицы БД. Использование визуальных компонентов. Работа с данными графического типа. Создание вычисляемых полей. Фильтрация, сортировка и поиск данных.
методичка, добавлен 24.06.2014Базы данных и системы управления базами данных. Состав, структура, свойства полей и типы данных. Создание базы данных с помощью мастера. Быстрое создание таблицы в режиме конструктора. Запросы, формы, отчеты, макросы и модули. Безопасность баз данных.
курсовая работа, добавлен 09.12.2013Автоматизация выполнения задач обработки данных с помощью макрокоманд. Связь между таблицами и целостность данных. Модификация базы данных. Использование связанных таблиц. Создание форм и отчетов. Использование макросов. Технология работы с MS Access.
методичка, добавлен 21.09.2017Реляционные базы данных. Алгоритм построения модели данных. Создание базы данных с помощью шаблонов. Создание таблицы с помощью конструктора таблиц. Данные, используемые для математических вычислений. Создание запроса на выборку в режиме конструктора.
учебное пособие, добавлен 18.11.2017Проектирование программного комплекса информационной системы, автоматизирующего процессы мониторинга и контроля качества образовательных программ. Алгоритм извлечения данных из документов, содержащих информацию об изданной учебно-методической литературе.
статья, добавлен 17.04.2019Изучение процесса разработки фактографической реляционной базы данных с помощью теории нормализации. Основные принципы логического проектирования. Создание таблиц, запросов, отчетов. Заполнение базы данных с помощью средств Microsoft Visual FoxPro.
курсовая работа, добавлен 27.02.2020Разработка приложения баз данных. Критерии выбора системы управления базами данных. Требования к рабочей среде. Реализация реляционной модели данных. Матрица сравнений альтернатив по критерию "Модель данных". Максимально возможный объем хранимых данных.
статья, добавлен 29.06.2017Электронное хранилище данных в сети интернет. Рассмотрение примеров облачного сервиса: Microsoft, Google, и Amazon. Основные модели, приложения, концепции и тенденции развития хранилищ данных в сети. Достоинства и недостатки облачных технологий.
статья, добавлен 01.03.2019Применение компьютеров для хранения и обработки данных. Архитектура систем базы данных, функции администратора. Создание таблиц с помощью мастера и путем ввода данных. Примеры использования инструкции SELECT. Сохранение запроса в таблице базы данных.
учебное пособие, добавлен 28.05.2014