К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
Подобные документы
Интерпретация роли автора и читателя в процессе их сотворчества в открытых и закрытых текстах. Полисмысловое сотрудничество с читателем в процессе развертывания интерпретации текста. Уровни процесса текстопорождения в пространственном континууме.
статья, добавлен 27.03.2021Особенности определения текста, дискурса и подходов к их изучению. Обобщение различных подходов к изучению текста. Отличительные черты различных определений текста. Системное понимание и определение текста. Оппозиция текст – дискурс. Типология дискурса.
реферат, добавлен 14.08.2010Рассмотрение вопросов стиля перевода фольклорного текста и возможностей применения в переводе художественных средств. Стилистические приметы оригинала и переводного текста. Основные художественные приемы, доступные переводчику фольклорного произведения.
статья, добавлен 19.01.2021Религиозный текст как уникальный объект научного анализа, его структура и функции, подходы к познанию. Взаимосвязь проблемы анализа текста с вопросом веры. Отличия религиозного текста от мифологического, философского, научного, литературного и бытового.
статья, добавлен 25.09.2018Исследование комплекса характеристик стиля текста с точки зрения их возможного влияния на выбор перцептивных стратегий. Процедуры и механизмы восприятия звучащего русского текста человеком, их вариативность в зависимости от коммуникативной ситуации.
автореферат, добавлен 25.02.2018Особенности перевода научного текста. Лингвистический анализ текста. Перевод текста "Вступление" с английского на русский язык с сохранением его стиля. Грамматические и лексические трансформации при переводе. Применение переводческих трансформаций.
дипломная работа, добавлен 24.12.2017Изучение корреляции внешнего и внутреннего пространственных уровней поэтического текста, авторской интенции и восприятия реципиентов для выявления маргинальной области ("коммуникативного шва"), обладающей прогностичностью и фиксирующей элемент текста.
статья, добавлен 23.12.2018Смысловое восприятие и понимание англоязычного художественного текста. Использование метода "встречного текста" по изучению смыслового восприятия иноязычного текста при переводе. Психолингвистические особенности: интерпретация, толкование, понимание.
статья, добавлен 30.03.2023Структура, основные функции и виды рекламного текста. Тематические, структурные, лингвистические особенности рекламного текста с позиции гендерных отличий. Анализ концептов, передающих рекламный характер текста и отражающих основные потребности человека.
автореферат, добавлен 14.03.2014Анализ взаимосвязи лингвистического и юридического качества текста. Определение метрики лексической и синтаксической сложности каждого предложения. Особенность оценки сложности предложений правового текста, которая отличается от литературного текста.
статья, добавлен 28.08.2020Рассмотрение проблемы моделей адаптации текста в юридическом дискурсе. Семантико-синтаксический анализ упрощения языка, разъяснения понятий и толкования ситуации. Определение роли упрощения языка в снятии лингвистических трудностей понимания текста.
статья, добавлен 12.12.2018Автоматизированный дистрибутивно-статистический анализ с позиций системной лингвистики. Различия в дистрибутивном и статистическом подходах для анализа терминологической лексики. Возможности применения метода для автоматической обработки текста.
статья, добавлен 12.04.2021Анализ восприятия текста как самоорганизующейся структуры. Выявление градации перцепции лексем с разными семантическими ассоциациями относительно позиционных срезов текста. Тенденция восприятия структурной организации текста носителями английского языка.
статья, добавлен 07.01.2019Особенности функционирования текста в условиях специальной коммуникации между представителями различных лингвокультур. Возможность анализа процесса перевода технического текста с позиций концепции переводческого пространства как синергетической модели.
статья, добавлен 14.12.2018- 115. Текст
Понятие, сущность и предназначение текста, характеристика и особенности его структуры. Рассмотрение основных видов связности, выявление главных признаков текста. Взаимодействие устной и письменной форм речи. Смысловые отношения между частями текста.
презентация, добавлен 10.04.2022 Исследование синтаксического оформления ритмической системы текста художественной прозы, а именно описания способа ритмической организации текста (а именно эмфатической инверсии) на синтаксическом уровне на материале романа О. Хаксли "Контрапункт".
статья, добавлен 07.01.2019Проблемы и направления когнитивной лингвистики. Когнитивно-теоретические основы текста в европейской и русской лингвистике. Теоретические проблемы восприятия и формирования текста. Оценка и описание системы языковых концептов и их внутренних форм.
статья, добавлен 11.05.2023Исследование лингвопрагматической проблематики изучения текста как единицы вербальной коммуникации. Обоснование категориальной грамматической трансформации "внутренней" функциональности текста как языкового сегмента в уровневой иерархии строя языка.
статья, добавлен 19.12.2022- 119. Оформление текста
Правила оформления заголовков и подзаголовков. Термины и их место в деловой речи. Основные приемы выделения отдельных частей текста. Оформление примечаний, приложений, сносок к тексту. Усиление значения, акцентирование той или иной части текста.
реферат, добавлен 22.12.2013 Имманентный и репрезентативный подходы к трактовке понятия "текст" в лингвистике. Особенности корреляции смысла текста и языка при пользовании искусственными языками. Память текста как его смыслообразующий механизм. Понимание текста в концепции Лотмана.
реферат, добавлен 21.03.2014Анализ проблемы противоречий между единственностью формы текста как воплощения замысла автора и множественностью вариантов интерпретации его смысла. Анализируется фактор дотекстовых ожиданий адресата, интерпретация политического (инаугурационного) текста.
статья, добавлен 25.09.2020Смысловая дешифровка литературно-художественного текста предельными аналитическими средствами. Лексико-семантические средства немецкого языка, образующие подобие "конвейерной" текстпереработки за счет семантико-стилистической напряженности текста.
статья, добавлен 08.01.2019Изучение переводческого анализа текста как теоретико-практического курса, построенного "от теории к практике". Анализ обучения по программе "Переводчик в сфере профессиональной коммуникации". Особенность аналитического прочтения исходного текста.
статья, добавлен 21.10.2018Значение эмотивности как неотъемлемой принадлежности художественного произведения. Эмотивность текста как лингвистическая проблема. Создание когерентности текста, сложных "вертикальных", интертекстовых связей, основанных на аллюзии и развернутой метафоре.
статья, добавлен 30.09.2018Предпосылки и характер сложностей в понимании текста электроникой. Задачи и принципы синтеза текста. Понятие и предмет исследования лингвистики текста. Оценка необходимости в абстракции. Подходы к определению, а также роль и значение метаморфозы.
статья, добавлен 16.03.2019