К вопросу о токенизации текста
Описание инструментов обработки естественных языков, необходимых для токенизации текста. Исследование NLTK (Natural languagetoolkit) и регулярных выражений; возможности этих инструментов. Обоснование проблемы гибкости инструментов токенизации текста.
Подобные документы
Проблема среды существования текста и признание его коммуникативной природы. Культурологическое понятие текста в аспекте его лингвистической выраженности и прагматической значимости. Характеристика текста с точки зрения цели и исследование его прагматики.
статья, добавлен 25.06.2013Анализ особенностей передачи стилистических приемов англоязычного научного текста юридической тематики в русском языке. Сопоставление характеристик научного стиля двух языков. Типы переводческих трансформаций, их применения при переводе научного текста.
статья, добавлен 20.11.2018Анализируются лексические особенности текста медицинской тематики в аспекте перевода с английского на русский язык и обратно. Рассматриваются основные типы лексики, которые являются доминантами перевода медицинского текста, и переводческие решения.
статья, добавлен 27.03.2021Характеристика рекламного текста как фактора гендерных различий. Анализ женского и мужского гендерных стереотипов. Сравнительный анализ языковых особенностей гендерно-ориентированного рекламного текста на материале английского и итальянского языков.
дипломная работа, добавлен 25.07.2017Исследование особенностей устного перевода и синхронной деятельности переводчика. Анализ разделения текста на единицы для правильного выбора варианта. Редактирование текста, устранение смысловых ошибок, буквализмов, нормативных и узуальных погрешностей.
статья, добавлен 11.09.2012Основные характеристики, дифференциальные признаки текста и дискурса. Изучение лексических, синтаксических, дейктических, формальных, графических и стилистических средств. Исследование основ теоретического аппарата современной лингвистики текста.
статья, добавлен 06.09.2015Порядок выявления общетеоретических основ сопоставления языков в процессе перевода текста. Процесс формирования концептуальной структуры в сознании переводчика в результате осмысления им исходного текста. Характеристика основных факторов влияния.
статья, добавлен 16.08.2013Специфика структурной организации рекламного текста. Анализ особенностей испаноязычного телевизионного рекламного текста. Соотношение языковых знаков, визуальных и аудиальных компонентов. Манипуляционный потенциал креолизованного или поликодового текста.
статья, добавлен 23.12.2018Анализ разных подходов к толкованию текста как компонента словарной статьи, как речевого произведения и как лингвистического термина. Рассмотрение и обоснование прагматической ориентации текста. Определение текста как лексемы и как специального термина.
статья, добавлен 13.07.2017Рассмотрение современного состояния исследований текста и периферийного текста в отечественной лингвистике. Содержание понятий "эпистемическая ситуация" и "эпистемический контекст", их распространение в культурноориентированных концепциях перевода.
статья, добавлен 07.01.2019Использование коммуникативно-прагматических возможностей отдельных языковых явлений в синтаксическом моделировании публицистического текста. Исследование форм и содержания в процессе перехода с одного языкового уровня на другой. Построение текста.
статья, добавлен 29.07.2013Анализ экспериментального массива текстов на присутствие в их содержании имплицитной информации. Денотативный анализ текста и денотатный граф в качестве инструмента экспликации глубинных структур. Метод компьютерной обработки экспериментальных данных.
автореферат, добавлен 02.09.2018Многофакторный анализ структурно-семантического наполнения текста-извинения. Тектоника и лексический состав текста, возможности применения точных методов измерения его характеристик. Особенности схемного представления семантики рассуждения текста.
статья, добавлен 01.12.2021Критический обзор современных школ, разрабатывающих синергетическую платформу в лингвистической теории художественного текста. Пути исследования, обогащающие теорию текста обращением к самоорганизации творческого дискурса в скольжении темпомиров.
статья, добавлен 19.07.2017Выделение в рамках лингвистики текста трех основных подходов к рассмотрению проблемы соотношения коммуникативного пространства и текста. Определение доминирующего элемента диады. Влияние пространства на структурную и семантическую организацию текста.
статья, добавлен 25.09.2018Учёт грамматических особенностей научно-технического текста в процессе перевода информации переводимого текста с иностранного языка на русский и наоборот. Характерные черты научно-технического текста, его морфологические и синтаксические особенности.
статья, добавлен 05.09.2018- 67. Метафора "Лондон-мир" как ключевая метафора в структуре лондонского текста английской лингвокультуры
Анализ метафоры "Лондон-мир" в составе лондонского текста английской лингвокультуры. Исследование актуализации важнейшего измерение лондонского текста. Анализ и характеристика социально значимых ментальных сущностей, стабильность лондонского текста.
статья, добавлен 29.04.2022 Характеристика сжатия текста как создания нового текста на основе исходного с максимально точной передачей смысла последнего при минимальной затрате речевых средств. Анализ актуальности проблемы языковой компрессии в теории и практики русского языка.
статья, добавлен 15.04.2019Исследование методики атрибуции текста на основе лексических, морфологических, синтаксических и фоносемантических параметров текста, получаемых, с помощью использования компьютерных программ. Главная особенность применения фоносемантических оценок.
статья, добавлен 01.11.2018Описание функциональных типов учебного текста, направленного на решение задачи обучения учащегося неродному языку как средству культуросообразного текстовосприятия и текстопроизводства. Использование иноязычного текста-объекта в учебной дискурсии.
статья, добавлен 09.11.2020Рассмотрение компрессии как основного вида переработки текста. Изучение процесса смысловой компрессии, в результате которого образуется минитекст, который содержит в себе основной смысл исходного текста. Обзор трех главных правил компрессии текста.
статья, добавлен 15.04.2019- 72. Полидискурсивность как преодоление линейности текста (на материале романа Е.Г. Водолазкина "Лавр")
Исследование вопроса о полидискурсивной природе современного прозаического текста. Наложение и взаимодействие различных дискурсивных форматов в современной прозе. Обзор фрактальности и метакоммуникативных актов как способов преодоления линейности текста.
статья, добавлен 30.12.2017 Возможности многофакторного анализа структурно-семантического наполнения текста-извинения. Изучение тектоники и лексического состава текста, характеристика некоторых лексико-синтаксических особенностей речи. Анализ содержательной стороны текста.
статья, добавлен 03.06.2022Исследование проблемы делакунизации текста в процессе перевода. Выявление и описание основных переводческих приёмов, служащих ключом к пониманию специфики взаимодействия этнокультур, участвующих в переводе. Анализ смысловых изменений переводимого текста.
статья, добавлен 09.12.2018Функциональные возможности аннотации монографии как вторичного текста. Реализация убеждающей функции рассматриваемого вторичного научного текста посредством ряда персуазивных тактик, которые разделяются на эксплицитные (явные) и имплицитные (неявные).
статья, добавлен 16.01.2019