К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
Подобные документы
Проблема среды существования текста и признание его коммуникативной природы. Культурологическое понятие текста в аспекте его лингвистической выраженности и прагматической значимости. Характеристика текста с точки зрения цели и исследование его прагматики.
статья, добавлен 25.06.2013Анализ особенностей передачи стилистических приемов англоязычного научного текста юридической тематики в русском языке. Сопоставление характеристик научного стиля двух языков. Типы переводческих трансформаций, их применения при переводе научного текста.
статья, добавлен 20.11.2018Анализируются лексические особенности текста медицинской тематики в аспекте перевода с английского на русский язык и обратно. Рассматриваются основные типы лексики, которые являются доминантами перевода медицинского текста, и переводческие решения.
статья, добавлен 27.03.2021Характеристика рекламного текста как фактора гендерных различий. Анализ женского и мужского гендерных стереотипов. Сравнительный анализ языковых особенностей гендерно-ориентированного рекламного текста на материале английского и итальянского языков.
дипломная работа, добавлен 25.07.2017Исследование особенностей устного перевода и синхронной деятельности переводчика. Анализ разделения текста на единицы для правильного выбора варианта. Редактирование текста, устранение смысловых ошибок, буквализмов, нормативных и узуальных погрешностей.
статья, добавлен 11.09.2012Основные характеристики, дифференциальные признаки текста и дискурса. Изучение лексических, синтаксических, дейктических, формальных, графических и стилистических средств. Исследование основ теоретического аппарата современной лингвистики текста.
статья, добавлен 06.09.2015Порядок выявления общетеоретических основ сопоставления языков в процессе перевода текста. Процесс формирования концептуальной структуры в сознании переводчика в результате осмысления им исходного текста. Характеристика основных факторов влияния.
статья, добавлен 16.08.2013Специфика структурной организации рекламного текста. Анализ особенностей испаноязычного телевизионного рекламного текста. Соотношение языковых знаков, визуальных и аудиальных компонентов. Манипуляционный потенциал креолизованного или поликодового текста.
статья, добавлен 23.12.2018Анализ разных подходов к толкованию текста как компонента словарной статьи, как речевого произведения и как лингвистического термина. Рассмотрение и обоснование прагматической ориентации текста. Определение текста как лексемы и как специального термина.
статья, добавлен 13.07.2017Рассмотрение современного состояния исследований текста и периферийного текста в отечественной лингвистике. Содержание понятий "эпистемическая ситуация" и "эпистемический контекст", их распространение в культурноориентированных концепциях перевода.
статья, добавлен 07.01.2019Использование коммуникативно-прагматических возможностей отдельных языковых явлений в синтаксическом моделировании публицистического текста. Исследование форм и содержания в процессе перехода с одного языкового уровня на другой. Построение текста.
статья, добавлен 29.07.2013Анализ экспериментального массива текстов на присутствие в их содержании имплицитной информации. Денотативный анализ текста и денотатный граф в качестве инструмента экспликации глубинных структур. Метод компьютерной обработки экспериментальных данных.
автореферат, добавлен 02.09.2018Многофакторный анализ структурно-семантического наполнения текста-извинения. Тектоника и лексический состав текста, возможности применения точных методов измерения его характеристик. Особенности схемного представления семантики рассуждения текста.
статья, добавлен 01.12.2021Критический обзор современных школ, разрабатывающих синергетическую платформу в лингвистической теории художественного текста. Пути исследования, обогащающие теорию текста обращением к самоорганизации творческого дискурса в скольжении темпомиров.
статья, добавлен 19.07.2017Выделение в рамках лингвистики текста трех основных подходов к рассмотрению проблемы соотношения коммуникативного пространства и текста. Определение доминирующего элемента диады. Влияние пространства на структурную и семантическую организацию текста.
статья, добавлен 25.09.2018Учёт грамматических особенностей научно-технического текста в процессе перевода информации переводимого текста с иностранного языка на русский и наоборот. Характерные черты научно-технического текста, его морфологические и синтаксические особенности.
статья, добавлен 05.09.2018- 67. Метафора "Лондон-мир" как ключевая метафора в структуре лондонского текста английской лингвокультуры
Анализ метафоры "Лондон-мир" в составе лондонского текста английской лингвокультуры. Исследование актуализации важнейшего измерение лондонского текста. Анализ и характеристика социально значимых ментальных сущностей, стабильность лондонского текста.
статья, добавлен 29.04.2022 Характеристика сжатия текста как создания нового текста на основе исходного с максимально точной передачей смысла последнего при минимальной затрате речевых средств. Анализ актуальности проблемы языковой компрессии в теории и практики русского языка.
статья, добавлен 15.04.2019Исследование методики атрибуции текста на основе лексических, морфологических, синтаксических и фоносемантических параметров текста, получаемых, с помощью использования компьютерных программ. Главная особенность применения фоносемантических оценок.
статья, добавлен 01.11.2018Описание функциональных типов учебного текста, направленного на решение задачи обучения учащегося неродному языку как средству культуросообразного текстовосприятия и текстопроизводства. Использование иноязычного текста-объекта в учебной дискурсии.
статья, добавлен 09.11.2020Рассмотрение компрессии как основного вида переработки текста. Изучение процесса смысловой компрессии, в результате которого образуется минитекст, который содержит в себе основной смысл исходного текста. Обзор трех главных правил компрессии текста.
статья, добавлен 15.04.2019- 72. Полидискурсивность как преодоление линейности текста (на материале романа Е.Г. Водолазкина "Лавр")
Исследование вопроса о полидискурсивной природе современного прозаического текста. Наложение и взаимодействие различных дискурсивных форматов в современной прозе. Обзор фрактальности и метакоммуникативных актов как способов преодоления линейности текста.
статья, добавлен 30.12.2017 Возможности многофакторного анализа структурно-семантического наполнения текста-извинения. Изучение тектоники и лексического состава текста, характеристика некоторых лексико-синтаксических особенностей речи. Анализ содержательной стороны текста.
статья, добавлен 03.06.2022Функциональные возможности аннотации монографии как вторичного текста. Реализация убеждающей функции рассматриваемого вторичного научного текста посредством ряда персуазивных тактик, которые разделяются на эксплицитные (явные) и имплицитные (неявные).
статья, добавлен 16.01.2019Исследование проблемы делакунизации текста в процессе перевода. Выявление и описание основных переводческих приёмов, служащих ключом к пониманию специфики взаимодействия этнокультур, участвующих в переводе. Анализ смысловых изменений переводимого текста.
статья, добавлен 09.12.2018