К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
Подобные документы
Функциональные возможности аннотации монографии как вторичного текста. Реализация убеждающей функции рассматриваемого вторичного научного текста посредством ряда персуазивных тактик, которые разделяются на эксплицитные (явные) и имплицитные (неявные).
статья, добавлен 16.01.2019Исследование проблемы делакунизации текста в процессе перевода. Выявление и описание основных переводческих приёмов, служащих ключом к пониманию специфики взаимодействия этнокультур, участвующих в переводе. Анализ смысловых изменений переводимого текста.
статья, добавлен 09.12.2018Рассмотрение схемы реферирования как комплексного вида речевой деятельности. Изучение этапов анализа информационного содержания текста, предложенных В.И. Соловьевым и А.А. Вейзе. Описание основных операций, связанных с составлением текста реферата.
статья, добавлен 17.06.2018Рассмотрение и характеристика современных подходов к дешифровке литературно-художественного текста предельными аналитическими средствами. Исследование особенностей повторяющихся лингво-грамматических средств текстообразования на фоне целого текста.
статья, добавлен 23.12.2018Задачи когнитивно-сопоставительного моделирования концептосферы художественного текста. Разработка типологии когнитивных структур, выявленных в коммуникативно-дискурсивном пространстве художественного текста. Языковые средства репрезентации текста.
автореферат, добавлен 27.02.2018Предпереводческий анализ текста "Адам Смит", который включает в себя описание биографии, а также краткую характеристику некоторых научных трудов. Лингво-переводческий комментарий, поиск эквивалентных соответствий. Ознакомление с оригиналом текста.
отчет по практике, добавлен 14.04.2015Исследование различных форм механизмов языка, сохраняющих формальную связность текста. Обеспечение смыслового единства текста логической последовательностью и непротиворечивостью изложения. Контекстуализация как условие функционирования языка для общения.
статья, добавлен 30.09.2018Компьютерная лексикография в современной лингвистической науке, возможности использования электронных словарей в деятельности переводчика. Применение компьютерных инструментов, позволяющих осуществлять частотный анализ, для выделения ключевых слов текста.
дипломная работа, добавлен 02.09.2018Проблема идентичности авторского текста и перевода драмы. Лингвистические и композиционно-структурные особенности текста. Предпереводческий анализ драматургического текста на примере пьесы Т. Уильямса "Трамвай "Желание". Особенности перевода ремарок.
курсовая работа, добавлен 05.11.2016Роль креолизованных текстов в повседневной жизни, образовании и профессиональной деятельности. Проблемы смыслообразования их, восприятия и интерпретации. Анализ креолизованного текста художественного фильма на примере фильма Коппола "Крестный отец".
статья, добавлен 10.07.2013В данной статье раскрывается механизм и соотношение понятий "понимание" и "интерпретация" текста с позиции когнитивно-прагматического подхода в исследовании рефлексивного дискурса. Исследование особенностей понимания текста посредством интерпретации.
статья, добавлен 21.12.2018Проблема целостности и связности речи и текста в лингвистике. Исследование высказывания как языкового знака, единицы, конституирующей текст, дискурс. Структура топики как системы единиц, которая может продуктивно использоваться в лингвистике текста.
статья, добавлен 14.11.2020Сделана попытка определения роли феномена креолизации в понимании текста. Были разграничены понятия вербальной, невербальной и ментальной креолизации текста, а также рассмотрена их роль в понимании текста. Роль креолизации в жизни современного общества.
статья, добавлен 21.12.2018Поиск семиотических условий деривационного функционирования текста. Выделены два варианта превербальной организации речевого произведения в актах его генезиса и функционирования, которые отражают специфику гомологической симметрии лексемы и текста.
статья, добавлен 22.03.2022Компьютерные исследования англоязычного авторского корпуса, предполагающие обработку больших объемов текстов для подтверждения гипотезы и формулирования выводов. Методика обработки текста компьютерными программами и его экспериментального подсчета.
статья, добавлен 14.11.2020Проблемы теории текста. Виды институционального дискурса. Первичность и вторичность как общефилософские и текстовые лингвистические категории. Характеристики внешней и внутренней структуры учебного вторичного текста-описания. Модель механизма вторичности.
автореферат, добавлен 02.09.2018Объектный взгляд на свойства текста, который отчетливо проявляется как в дискуссиях, связанных с обнаружением его новых существенных признаков, так и в определениях отдельных свойств. Исследования особенностей восприятия текста на иностранном языке.
статья, добавлен 26.10.2018Исследование оценки экспертами конфликтного текста с точки зрения их возможной реакции на него. Неоднозначность восприятия текста реципиентами как доказательство неуниверсальности данного метода. Рекомендации по улучшению юрислингвистической экспертизы.
статья, добавлен 30.12.2018Проблема выделения текстовых категорий в лингвистической литературе. Дейктические элементы английского научного текста. Категория его информативности в зависимости от способов представления информации. Исследование интертекстуальности научного текста.
статья, добавлен 30.09.2018Изучение активных языковых процессов в рекламном дискурсе. Анализ его специфических черт, а также языковых средств продвижения текста. Проблемы интерпретации рекламного обращения. Основные способы компрессии текста на разных уровнях языковой структуры.
статья, добавлен 08.05.2018Дискуссионность проблемы выделения единицы членения связанного текста в современной лингвистике. Особенности синтаксической и интонационной сегментации, происходящей в процессе чтения информационного текста. Оценка и отношение говорящего к высказыванию.
статья, добавлен 30.09.2018Исследование зависимостей между формально-грамматическими параметрами текста и личностными особенностями его автора. Изучение и характеристика полученных результатов корреляционно-регрессионного анализа для профилирования автора письменного текста.
статья, добавлен 16.12.2018Анализ эстетической функции художественного произведения обусловленной его формо-содержанием и основанным на семантических возможностях текста — потенциях смыслопорождения в интерпретирующем сознании. Моделировании смыслопорождающих структур текста.
статья, добавлен 19.04.2018Стилистические фигуры текста: анафора, эпифора, параллелизм, антитеза, градация и полисиндетон. Морфологические нормы и синтаксические особенности произведения В. Орлова "Альтист Данилов". Грамматическое оформление текста и его эстетическое воздействие.
реферат, добавлен 22.11.2013Диалогический медиатекст как одна из важнейших субкатегорий текста в современном представлении. Выявление многомерности текста телевизионного интервью и описание форм воплощения данного текстотипа в современных медиаусловиях. Этимологии понятия "текст".
статья, добавлен 26.06.2013