Мониторинг качества данных с помощью Amazon Deequ
Использование библиотеки Amazon Deequ для мониторинга и оценки качества данных, разработанной на основе Apache Spark. Автоматическая проверка данных с помощью настраиваемых метрик: уникальность, полнота, консистентность. Диагностика проблем с данными.
Подобные документы
Перенос базы данных на сервер. Использование мастера преобразований и учетной записи администратора. Формирование уникального имени. Выбор таблиц для экспорта в базу данных. Проверка корректности и индексов связи. Добавление штампа времени в таблицу.
статья, добавлен 15.04.2014Классификация систем управления базами данных (СУБД), характеристика их основных функциональных возможностей. Виды архитектуры базы данных. Этапы работы с СУБД, их реализация с помощью команд. Типы моделей описания баз данных, их достоинства и недостатки.
реферат, добавлен 30.01.2013- 103. Исследование и разработка модели сбора данных о дорожном покрытии в промышленном интернете вещей
Обеспечение безопасности дорожного движения. Сбор данных об опасных участках на дорогах независимо от погодных условий. Разработка модели для отслеживания системы курсовой устойчивости автомобиля. Визуализация полученных данных на панели мониторинга.
магистерская работа, добавлен 07.12.2019 Создание программной системы для работников библиотеки. Хранение сведений об имеющихся книгах, читателях и читальных залах. Проектирование базы данных. Процедуры, обеспечивающие ввод данных, коррекцию, удаление, сортировку, поиск и фильтрацию данных.
отчет по практике, добавлен 08.03.2016- 105. Банки данных
Определение терминов "банк данных" и "база данных", их отличия. Преимущества централизованного управления данными перед обычной файловой системой. Перечисление основных функций и задач, решаемых персоналом при разработке и эксплуатации базы данных.
реферат, добавлен 18.05.2015 Рассмотрение основ проектирования системы управления таблицами базы данных с помощью языка программирования Delphi. Выбор и обоснование структурной схемы алгоритма; разработка программы. Описание интерфейса, взаимодействия приложения и пользователя.
дипломная работа, добавлен 21.10.2014- 107. Нечеткая кластеризация потоков данных с помощью ЕМ-алгоритма на основе самообучения по Т. Кохонену
Описание мягкого вероятностного нечеткого алгоритма кластеризации многомерных данных, последовательно поступающих на обработку в режиме реального времени. Использование алгоритма для решения задач Dynamic Stream Mining в условиях перекрывающихся классов.
статья, добавлен 19.06.2018 Отображение или скрытие детальных данных сводной таблицы. Группировка и разгруппировка чисел и дат в сводной таблице, сортировка данных. Использование нескольких итоговых функций и дополнительных вычислений для поля данных таблицы, создание диаграммы.
лекция, добавлен 22.11.2010Понятие информации, данных и правила их смысловой интерпретации. Архитектура и основные компоненты банка данных: датологическое представление информационной модели ПО и система управления базой данных. Классификация моделей данных, их характеристика.
реферат, добавлен 11.07.2011Анализ автоматизированной технологии балльно-рейтинговой системы оценки успеваемости студентов для мониторинга и анализа качества учебного процесса. Методы автоматизации оценки ежемесячной аттестации студентов и по результатам экзаменационной сессии.
статья, добавлен 30.05.2017- 111. Актуальность WSN
Структурная схема визуализатора. Функциональная обработка данных, собираемых мотами. Характеристики радиопередачи данных для IEEE 802.15.4. Эмуляторы, с помощью которых можно моделировать беспроводные сенсорные сети, их использование для тестирования.
реферат, добавлен 16.04.2014 Программные системы управления базами данных, их классификация и характеристика. Современные технологии, используемые в работе с данными. Использование СУБД Microsoft Access для создания баз данных: особенности и функциональные возможности программы.
реферат, добавлен 19.05.2010Способы и этапы реализации базы данных для библиотеки: этап системного анализа предметной области, инфологического моделирования, даталогического проектирования, физического моделирования, реализации базы данных, а также создания интерфейса приложения.
курсовая работа, добавлен 11.03.2011Использование буфера обмена для переноса данных. Использование мастера импорта текстов при переносе информации из DOS-приложений. Импорт и связывание данных в Access, экспорт в Word, Excel и HTML-формат. Реализация обмена XML-данными и создание XSD-схем.
курсовая работа, добавлен 19.10.2011Объекты базы данных Microsoft Access. Создание таблиц и связей между ними. Установление ключевых полей. Отбор данных с помощью запросов. Использование форм в БД. Создание кнопочной формы. Назначение и способы создания отчетов. Подсчет итоговых значений.
методичка, добавлен 24.02.2012Автоматизация процесса анализа полученных снимков, формирование критериев отбраковки, рекомендации по повышению качества данных. Требования к исходным данным при создании геомоделей. Методы оценки качества изображений, определение степени их адекватности.
статья, добавлен 14.08.2016Проект базы данных с помощью программы Microsoft Office Access. Разработка связанных таблиц и создание форм для ввода и корректировки данных. Характеристика процесса формирования запросов и отчетов в соответствии с функциями информационной технологии.
курсовая работа, добавлен 14.11.2011Создание веб-сервиса для хранения пользовательских данных с гибкой архитектурой. Выбор серверной технологии и программной платформы для оптимизации работы мобильного приложения. Сущность структуры системы хранения и обмена данными с помощью приложения.
статья, добавлен 22.03.2016Характеристика программного обеспечения компании Microsoft, используемого при создании систем управления базами данных. Принципы организации данных, лежащие в основе современных СУБД. Анализ современных технологий, используемых в работе с данными.
реферат, добавлен 28.04.2014Понятие моделей данных. Схема иерархического дерева и пример сетевой структуры базы данных. Организация данных в виде двумерных таблиц в реляционной модели, их свойства. Проектирование реляционных баз данных и типы связей информационных объектов.
лекция, добавлен 13.08.2013Определение причин возникновения систем баз данных. Основные функции и средства систем управления базами данных. Структурированный язык запросов SQL. Информационно-логические модели данных. Рассмотрение этапов проектирования и создания баз данных.
курсовая работа, добавлен 18.11.2017Рассмотрение вопроса создания специализированного приложения для разработки баз данных. Причины популярности электронных баз данных. Использование различных языков программирования для создания баз данных. Создание электронной базы данных деканата.
статья, добавлен 21.01.2018Анализ сетей информационных потоков организации. Критерии оценки качества исходных данных. Определение качества исходных данных и эффективности применения автоматизированного выявления бизнес-процессов на примере процесса "Согласование контрактов".
дипломная работа, добавлен 06.11.2015- 124. Базы данных
Понятие о базах данных: объекты, модели, атрибуты. Системы управления базами данных. Сетевая и реляционная модели данных. Основные операции с данными в СУБД. Назначение и основы использования систем искусственного интеллекта. Кибернетика, базы знаний.
презентация, добавлен 21.10.2018 Анализ сложности построения инженерных теорий как в научном, так и практическом направлении на основе использования нетрадиционного подхода к задачам эффективного мониторинга данных. Анализ взаимосвязей элементов этих объектов на основе известных методов.
статья, добавлен 24.05.2020