К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
Подобные документы
Исследование прагматики текста в периодической печати профсоюзных организаций. Описание реализации прагматического потенциала журналистского текста в системе, анализ таких прагматических аспектов медиатекста, как интенциональность, значение текста.
статья, добавлен 09.12.2018Описание, его признаки. Синтаксические свойства текста. Понятия и их отношения в тексте. Правка как вид редакторской деятельности. Информативность текста и виды информации. Процедуры логического анализа текста. Работа редактора с композицией текста.
шпаргалка, добавлен 17.04.2013История развития искусства музыкальной интерпретации, методологический подход Николауса Арнонкура. Поиск инструментов аутентичного познания текста. Конкретные составляющие "аутентичного", неопределенность исполнителя при выборе интеллектуальной основы.
статья, добавлен 11.08.2021Теоретические аспекты текста и его свойств. Предмет и объект теории текста. Особенности восприятия текста. Сравнительно-исторический метод при исследовании языков индоевропейской языковой семьи. Целостность, связность как основные текстообразующие текста.
курсовая работа, добавлен 15.05.2018Процессы формирования текстов, текстообразующих средств, структурных деталей текста и их функции образования текста. Участие единиц языкового уровня в структуре текста. Информационные, коммуникативные, эстетические и кумулятивные характеристики текста.
статья, добавлен 14.12.2018Характеристика особенностей терапевтического текста, как одной из разновидностей суггестивного текста. Рассмотрение специфики использования поликодового текста. Анализ ритмики сюжетного текстового повествования. Исследование понятия эстетизации.
статья, добавлен 22.02.2021Статья посвящена анализу проблемы влияния вербальной и невербальной частей креолизованного текста на его смысловое восприятие. Использовался метод семантического дифференциала Ч. Осгуда для анализирования смыслового восприятия креолизованного текста.
статья, добавлен 18.03.2021Проблемы научного стиля изложения, лексического состава текста. Особенности ритмического построения научного текста. Неоднородность его ритмической структуры как следствие наличия различных акцентных типов слов, относящихся к различным слоям лексики.
статья, добавлен 23.01.2019Рассмотрение возможности применения методологии дискурс-анализа к решению проблем теории текста. Проблемы текстообразующих единиц, экстралингвистической мотивированности структурно-семантической организации текстового целого и проблемы типологии текста.
статья, добавлен 12.12.2018Изучение проблемы этнокультурной специфики перевода. Анализ креолизации как одного из приемов делакунизации текста переводчиком. Осуществление креолизованных элементов путем сопоставления единиц оригинального текста с их соответствиями в тексте перевода.
статья, добавлен 09.12.2018Процесс создания диалогического текста как деривационный процесс, обусловленный суппозиционной связью лексемы и текста, и как процесс интерпретации текста в прагматическом контексте его актуализации. Парадигматическая модель генезиса данного текста.
статья, добавлен 14.02.2022Описание содержательных характеристик текста и художественного текста. Определение и анализ роли повторной номинации в организации целостной структуры текста. Выявление и характеристика функциональной предназначенности в художественном произведении.
автореферат, добавлен 27.06.2018Краткий анализ основных терминов перцептивной лингвистики, используемых в процессе изучения художественного текста. Трактовка понятия "перцептивный строй" поэтического текста. Художественная перцептивность текста как сложная семантическая структура.
статья, добавлен 30.10.2020Теоретические основы лингвистики текста. Анализ текстовых единиц. Основные семантические категории текста. Прагматическая установка текста и прагматическая установка автора. Функции и жанрово-стилистические особенности рецензии как особого типа текста.
дипломная работа, добавлен 23.12.2019Исследование восприятия юридического текста при помощи метода "встречного текста". Эксперимент, проведенный при помощи метода "встречного текста", при котором вербализованное испытуемыми восприятие текста было проанализировано по различным видам реакций.
статья, добавлен 07.01.2019Анализ тональности текста в современных лингвистических исследованиях. Рассмотрение тональности в русских, англоязычных, франкоязычных и китайских словарях. Взгляд лингвистов на понятие тональности текста. Взаимосвязь понятий тональности и эмотивности.
статья, добавлен 31.03.2022Использование русскоязычными студентами компьютерных инструментов - парсера UDPipe и комплекса программ AntConc для оценки синтаксической сложности академического текста. Анализ клаузальной и фазовой сложности профессиональных статей на английском языке.
статья, добавлен 23.05.2022Оценка эффективности нейма как текста малого копиратйта на основе ответов респондентов. Оценка рекламного текста, где рассматриваются его качества и соответствие стандартам и требованиям креолизованного текста. Потребительская оценка исходного текста.
статья, добавлен 21.03.2024Европейская хартия региональных языков или языков меньшинств: значение, история, тип текста. Место термина в межъязыковой коммуникации и проблемы перевода. Расхождение терминов исходного текста с терминами на языке перевода на семантическом уровне.
дипломная работа, добавлен 24.10.2017Исследование путей решения проблем смыслового развертывания художественного текста на основе его повторяющихся смысловых элементов, выявленных на разных уровнях. Вертикализованная перспектива в изучении не только художественного, но и культурного текста.
статья, добавлен 12.12.2018Обзор морфологических анализаторов текста, с помощью которых можно определить квантитативные характеристики текста. Особенности применения морфологических анализаторов, преимущества и недостатки. Авторство текста как квантитативная характеристика текста.
статья, добавлен 31.07.2018Рассмотрение проблемы соотношения игры и художественного текста, в частности, связи понятия "agon" с процессами создания и восприятия художественного текста. Игровая модальность как вид текстовой модальности, конститутивные свойства семантики текста.
статья, добавлен 21.12.2018Понятие и двойственная природа текста. Текст как факт речевого акта. Основные признаки или категории текста. Лингвистические параметры текста по Н.Э. Энквисту. Понятие предикации в применении к тексту. Факторы отнесения текста к определенному стилю.
статья, добавлен 28.08.2012Полный эквивалентный перевод, лингвопереводческий и фоновый комментарий к данному тексту. Библиографическое описание текста. Характеристика текста оригинала. Доминанты и основные переводческие стратегии. Основные коммуникативные задания текста.
статья, добавлен 05.05.2019Способы визуализации текста средствами алфавитного письма, изучение возможности семантической интерпретации изобразительной составляющей текста. Особенности семантики феноменов метаграфемики, разбор примеров из области иконической супраграфемики.
статья, добавлен 15.12.2021