Машинное Обучение Для Синтаксического И Морфологического Анализа Текста На Казахском Языке

EasyChair Preprint 8101

Abstract

В статье описывается возможность анализа текстов на казахском языке при помощи машинного обучения. Машинное обучение используется при распознании машинного и рукописного текста, речи и изображений. В связи с проблемой определения смысла слов, применяется синтаксический и морфологический анализ текста, которые имеют взаимосвязь и позволяют разделить текст на токены, образуются словоформы. Реализация задачи осложняется большим числом альтернативных вариантов, возникающих в процессе разбора, связанных как с многозначностью входных данных (одна и та же словоформа может быть получена от разных типичных форм), так и неоднозначностью самих правил разбора. Работа проводится с целью расширения задач и возможностей использования, связанных с текстом: улучшение перевода с казахского языка на другие, в том числе на язык жестов.

Keyphrases: Artificial Intelligence, Tokenization, lemmatization, machine learning

@booklet{EasyChair:8101,
  author    = {Saule Kudubayeva and Botagoz Zhusupova and Meruyert Salkenova},
  title     = {Machine Learning for Syntactic and Morphological Analysis of Text in the Kazakh Language},
  howpublished = {EasyChair Preprint 8101},
  year      = {EasyChair, 2022}}