К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
Подобные документы
Изучение особенностей функционального стиля. Анализ системной иерархии текста, проведение констатирующего психолингвистического эксперимента, направленного на исследование перцепции структурной организации текста. Влияние ФС на процесс восприятия текста.
статья, добавлен 12.12.2018- 27. Когнитивные стратегии интерпретации прецедентного текста в контексте художественного произведения
Проведение исследования междисциплинарной модели когнитивной обработки дискурса. Описание возможности ее применения для интерпретации художественного текста, включающего прецедентные феномены. Изучение художественности в текстах прошлого и настоящего.
статья, добавлен 09.12.2018 Перевод текста как полезная практика, закрепляющая знания и умения в сфере письменного перевода. Анализ типологии текста. Использование перестановок, вызванных различиями в грамматической структуре английского и русского языков, синтаксические замены.
творческая работа, добавлен 17.11.2015Определение прагматического потенциала и изучение общих параметров научно-технического текста как средства межкультурной коммуникации. Анализ особенностей научного стиля русского и английского языка. Описание требований прагматической адаптации текста.
дипломная работа, добавлен 28.06.2012Изучение многоаспектной, интегральной природы текста, ее конституенты. Современные методы и модели, применяемые в анализе текста (дискурса, высказывания). Наиболее распространенная трактовка семантики текста, ее содержательные параметры и критерии.
статья, добавлен 18.09.2018Рассмотрение гомологической симметрии лексемы и текста, определяющей специфику непрерывного деривационно-мотивационного процесса и обусловливающую способ производства текста из лексемы. Исследование превербальной организации речевого произведения.
статья, добавлен 19.05.2021Задачи профессионального прочтения текста, объединенные осознанием необходимости "центростремительного" и "центробежного" исследования. Обоснование его относительного характера как языкового события бытия. Анализ поэтического текста с помощью метафоры.
статья, добавлен 12.04.2018Общая характеристика и библиографическое описание исследуемого текста. Описание текста оригинала. Доминанты перевода и основные переводческие стратегии. Синтаксические средства передачи эмоциональной информации, представленной в публицистическом тексте.
статья, добавлен 05.05.2019В статье рассматривается проблема структурирования научного текста в виде аннотации, относящейся к периферийному тексту, предназначенному для поиска информации в определенной области знания. Предложение модели эталонного текста научной аннотации.
статья, добавлен 25.10.2021Возникновение лингвистики текста и динамика её развития на основе конкретных источников. Сущность категорий текста и текстуальности, специфика категории связности, способы реализации. Вопросы, связанные с выделением категорий текста и их иерархией.
статья, добавлен 17.02.2021Сущность и особенности устройства текста устного воспоминания. Описание используемых инструментов и механизм переработки тестов. Фильтрация реплик и выбор значимых предложений. Классификация полученных паттернов. Оценка работы программы и визуализация.
курсовая работа, добавлен 21.09.2016Понятие текста в семиотике как наполненной смыслом структуры, состоящей из знаков. Вербальные и невербальные произведения в качестве текста. Дискуссия о знаковом статусе вербального текста. Текст как целое речевое произведение и связный знаковый комплекс.
статья, добавлен 10.09.2013Виды, способы, преимущества и трудности синхронного перевода в языковой переводческой деятельности. Проблемы синхронистов, возникающие в процессе работы. Механизмы, обеспечивающие понимание исходного текста во время произнесения текста на языке перевода.
курсовая работа, добавлен 03.01.2016Принципы топологического анализа художественного текста за счет применения модели текста-высказывания. Определение стилистических параметров, формирующих ритмический рисунок киплинговского текста-высказывания. Обоснование топологической релевантности.
автореферат, добавлен 09.11.2017Участие эвфемизмов в формировании архитектоники публицистического текста. Анализ текстов из немецких и английских газет, в которых анализируются эвфемизмы, выступающие в качестве маркеров локальности, темпоральности и персональности сегментов текста.
статья, добавлен 25.03.2021Изучение состояния проблемы идентификации языка текста в виде обзора известных способов её решения с указанием их преимуществ и недостатков. Математические способы определения языковой принадлежности текста. Способы языковой идентификации текста.
статья, добавлен 28.12.2018Знакомство с вопросом о субъективно-модальной составляющей содержания текста лекции. Анализ компонентов, которые определяются причастностью субъекта текста к двум разным составляющим речевой коммуникации: объективному содержанию текста и адресату речи.
статья, добавлен 26.01.2019Взаимодействие основных факторов в преобразования смыслов поэтического текста. Функциональные особенности стратегий семантического управления фреймом поэтического текста-сонета. Типология смысловых трансформаций на основе конститутивных признаков текста.
автореферат, добавлен 09.09.2012Общие принципы вариантоцентрической концепции языка, проявляющиеся на уровне текста в пространстве его интерпретационного функционирования. Системно-функциональные и субъективные факторы, детерминирующие множественность смысловых вариантов текста.
автореферат, добавлен 27.02.2018Анализ обработки и применения информации художественного текста. Суть процессов обработки и интегрирования информации, осуществляемой обучающимися. Вовлечение студентов в учебный и внеучебный процесс. Возможности творческой самореализации студентов.
статья, добавлен 30.09.2018Суть экотекста как одного из типов текста в лингвистике текста. Изучение структуры, семантики, функционирования текста. Расширение и модификация понятия "текст", вследствие его гетерогенности и поликодовости. Расширение типологического диапазона текстов.
статья, добавлен 31.08.2023Изучение особенностей языка текста по искусствоведению. Научный и научно-гуманитарный стиль искусствоведческого текста. Характерные черты, присущие языку искусствоведческого текста, которые необходимо учитывать будущим специалистам письменного перевода.
статья, добавлен 28.01.2019Факторы, мешающие достижению адекватности при переводе юридического текста с английского языка на русский. Эквивалентность и адекватность передачи содержания исходного текста средствами языка перевода с учетом межъязыковых и межкультурных различий.
статья, добавлен 30.04.2019Моделирование семантического пространства художественного текста, методов определения позиции наблюдателя в тексте и конкретных проблем взаимосвязи "художественного сознания и слова" в поле интерактивного взаимодействия текста-письма и текста-чтения.
статья, добавлен 27.01.2021Типология понимания поэтического текста. Переводческая интерпретация как творческий процесс и результат переосмысления текста оригинала. Лингвоэстетические компоненты фонологического, синтаксического и лексико-семантического уровня стихотворения Г. Гейне.
диссертация, добавлен 10.09.2012