К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
Подобные документы
Рассмотрение схемы реферирования как комплексного вида речевой деятельности. Изучение этапов анализа информационного содержания текста, предложенных В.И. Соловьевым и А.А. Вейзе. Описание основных операций, связанных с составлением текста реферата.
статья, добавлен 17.06.2018Рассмотрение и характеристика современных подходов к дешифровке литературно-художественного текста предельными аналитическими средствами. Исследование особенностей повторяющихся лингво-грамматических средств текстообразования на фоне целого текста.
статья, добавлен 23.12.2018Задачи когнитивно-сопоставительного моделирования концептосферы художественного текста. Разработка типологии когнитивных структур, выявленных в коммуникативно-дискурсивном пространстве художественного текста. Языковые средства репрезентации текста.
автореферат, добавлен 27.02.2018Предпереводческий анализ текста "Адам Смит", который включает в себя описание биографии, а также краткую характеристику некоторых научных трудов. Лингво-переводческий комментарий, поиск эквивалентных соответствий. Ознакомление с оригиналом текста.
отчет по практике, добавлен 14.04.2015Исследование различных форм механизмов языка, сохраняющих формальную связность текста. Обеспечение смыслового единства текста логической последовательностью и непротиворечивостью изложения. Контекстуализация как условие функционирования языка для общения.
статья, добавлен 30.09.2018Компьютерная лексикография в современной лингвистической науке, возможности использования электронных словарей в деятельности переводчика. Применение компьютерных инструментов, позволяющих осуществлять частотный анализ, для выделения ключевых слов текста.
дипломная работа, добавлен 02.09.2018Проблема идентичности авторского текста и перевода драмы. Лингвистические и композиционно-структурные особенности текста. Предпереводческий анализ драматургического текста на примере пьесы Т. Уильямса "Трамвай "Желание". Особенности перевода ремарок.
курсовая работа, добавлен 05.11.2016Роль креолизованных текстов в повседневной жизни, образовании и профессиональной деятельности. Проблемы смыслообразования их, восприятия и интерпретации. Анализ креолизованного текста художественного фильма на примере фильма Коппола "Крестный отец".
статья, добавлен 10.07.2013В данной статье раскрывается механизм и соотношение понятий "понимание" и "интерпретация" текста с позиции когнитивно-прагматического подхода в исследовании рефлексивного дискурса. Исследование особенностей понимания текста посредством интерпретации.
статья, добавлен 21.12.2018Проблема целостности и связности речи и текста в лингвистике. Исследование высказывания как языкового знака, единицы, конституирующей текст, дискурс. Структура топики как системы единиц, которая может продуктивно использоваться в лингвистике текста.
статья, добавлен 14.11.2020Сделана попытка определения роли феномена креолизации в понимании текста. Были разграничены понятия вербальной, невербальной и ментальной креолизации текста, а также рассмотрена их роль в понимании текста. Роль креолизации в жизни современного общества.
статья, добавлен 21.12.2018Поиск семиотических условий деривационного функционирования текста. Выделены два варианта превербальной организации речевого произведения в актах его генезиса и функционирования, которые отражают специфику гомологической симметрии лексемы и текста.
статья, добавлен 22.03.2022Компьютерные исследования англоязычного авторского корпуса, предполагающие обработку больших объемов текстов для подтверждения гипотезы и формулирования выводов. Методика обработки текста компьютерными программами и его экспериментального подсчета.
статья, добавлен 14.11.2020Проблемы теории текста. Виды институционального дискурса. Первичность и вторичность как общефилософские и текстовые лингвистические категории. Характеристики внешней и внутренней структуры учебного вторичного текста-описания. Модель механизма вторичности.
автореферат, добавлен 02.09.2018Объектный взгляд на свойства текста, который отчетливо проявляется как в дискуссиях, связанных с обнаружением его новых существенных признаков, так и в определениях отдельных свойств. Исследования особенностей восприятия текста на иностранном языке.
статья, добавлен 26.10.2018Исследование оценки экспертами конфликтного текста с точки зрения их возможной реакции на него. Неоднозначность восприятия текста реципиентами как доказательство неуниверсальности данного метода. Рекомендации по улучшению юрислингвистической экспертизы.
статья, добавлен 30.12.2018Проблема выделения текстовых категорий в лингвистической литературе. Дейктические элементы английского научного текста. Категория его информативности в зависимости от способов представления информации. Исследование интертекстуальности научного текста.
статья, добавлен 30.09.2018Изучение активных языковых процессов в рекламном дискурсе. Анализ его специфических черт, а также языковых средств продвижения текста. Проблемы интерпретации рекламного обращения. Основные способы компрессии текста на разных уровнях языковой структуры.
статья, добавлен 08.05.2018Дискуссионность проблемы выделения единицы членения связанного текста в современной лингвистике. Особенности синтаксической и интонационной сегментации, происходящей в процессе чтения информационного текста. Оценка и отношение говорящего к высказыванию.
статья, добавлен 30.09.2018Исследование зависимостей между формально-грамматическими параметрами текста и личностными особенностями его автора. Изучение и характеристика полученных результатов корреляционно-регрессионного анализа для профилирования автора письменного текста.
статья, добавлен 16.12.2018Анализ эстетической функции художественного произведения обусловленной его формо-содержанием и основанным на семантических возможностях текста — потенциях смыслопорождения в интерпретирующем сознании. Моделировании смыслопорождающих структур текста.
статья, добавлен 19.04.2018Стилистические фигуры текста: анафора, эпифора, параллелизм, антитеза, градация и полисиндетон. Морфологические нормы и синтаксические особенности произведения В. Орлова "Альтист Данилов". Грамматическое оформление текста и его эстетическое воздействие.
реферат, добавлен 22.11.2013Диалогический медиатекст как одна из важнейших субкатегорий текста в современном представлении. Выявление многомерности текста телевизионного интервью и описание форм воплощения данного текстотипа в современных медиаусловиях. Этимологии понятия "текст".
статья, добавлен 26.06.2013Основные возможности интерпретации художественного текста. Понятие звуковой организации произведения как фонетически согласованная автором структура. Процесс построения смысл-тонального алгоритма. Необходимость рассмотрения фоносемантических средств.
статья, добавлен 27.06.2013Цель перевода, тип текста и текстовых категорий как переменных модели перевода. Тип текста как составляющая инварианта модели перевода. Значимость модели для перевода специальных текстов. Создание адекватности "иностранных" функций текста перевода.
статья, добавлен 11.11.2018