Лекция № 8 Тема: Назначение систем машинного перевода.

Назначение машинного перевода

Машинный перевод (МП), или автоматический перевод (АП),-интенсивно развивающаяся область научных исследований, экспериментальных разработок и уже функционирующих систем (СМП), в которых к процессу перевода с одного естественного языка (ЕЯ) на другой привлекается ЭВМ. СМП открывают быстрый и систематический доступ к информации на иностранном языке, обеспечивают оперативность и единообразие в переводе больших потоков текстов, в основном научно-технических. Работающие в промышленном масштабе СМП опираются на большие терминологические банки данных и, как правило требуют привлечения человека в качестве пред-, интер- или постредактора. Современные СМП, в особенности те, которые опираются при переводе на базы знаний в определенной предметной области, относят к классу систем искусственного интеллекта (ИИ).

Основные сферы использования МЦ

1. В отраслевых службах информации при наличии большого массива или постоянного потока иноязычных источников. Если СМП используются для выдачи сигнальной информации, постредактирование не требуется.

2. В крупных международных организациях, имеющих дело с многоязычным политематическим массивом документов. Таковы условия работы в Комиссии Европейских сообществ в Брюсселе, где вся документация должна появляться одновременно на девяти рабочих языках. Поскольку требования к переводу здесь высоки, МП нуждается в постредактировании.

3. В службах, осуществляющих перевод технической документации, сопро­вождающей экспортируемую продукцию. Переводчики не справляются в требуемые сроки с обширной документацией (так, спецификации к самолетам и другим сложным объектам могут занимать до 10000 и более страниц). Структура и язык технической документации достаточно стандартны, что облегчает МП и даже делает его предпочтительным перед ручным переводом, так как гарантирует единый стиль
всего массива. Поскольку перевод спецификаций должен быть полным и точным, продукция МП нуждается в постредактировании.

4. Для синхронного или почти синхронного перевода некоторого постоянного потока однотипных сообщений. Таков поток метеосводок в Канаде, который должен появляться одновременно на английском и французском языках.

Помимо практической потребности делового мира в СМП, существуют и чисто научные стимулы к развитию МП: стабильно работающие экспериментальные системы МП являются опытным полем для проверки различных аспектов общей теории понимания, речевого общения, преобразования информации, а также для создания новых, более эффективных моделей самого МП.

С точки зрения масштаба и степени разработанности СМП можно разбить на три основных класса: промышленные, развивающиеся и экспериментальные.

Лингвистическое обеспечение систем машинного перевода

Процесс МП представляет собой последовательность преобразований, при­меняемых к входному тексту и превращающих его в текст на выходном языке, который должен максимально воссоздавать смысл и, как правило, структуру исходного текста, но уже средствами выходного языка. К лингвистическому обеспечению СМП относится весь комплекс собственно лингвистических, металингвистических и так называемых «экстралингвистических» знаний, которые используются при таком преобразовании.

В классических СМП, осуществляющих непрямой перевод по отдельным предложениям (пофразный перевод), каждое предложение проходит последо­вательность преобразований, состоящую из трех частей (этапов): анализ -> трансфер (межъязыковые операции)->синтез. В свою очередь, каждый из этих этапов представляет собой достаточно сложную систему промежуточных преобразований.

Цель этапа анализа построить структурное описание (промежуточное представление, внутреннее представление) входного предложения, | Задача этапа трансфера (собственно перевода)-преобразовать структуру входного предложения во внутреннюю структуру выходного предложения. К этому этапу относятся и замены лексем входного языка их переводными эквивалентами (лексические межъязыковые преобразования). Цель этапа синтеза-на основе полученной в результате анализа структуры построить правильное предложение выходного языка.

Лингвистическое обеспечение стандартной современной СМП включает:

1) словари;

2) грамматики;

3) формализованные промежуточные представления единиц анализа на разных этапах преобразований.

Помимо стандартных, в отдельных СМП могут иметься и некоторые нестандартные компоненты. Так, экспертные знания о ПО могут задаваться с помощью специальных концептуальных сетей, а не в виде словарей и грамматик.

Механизмы (алгоритмы, процедуры) оперирования с имеющимися словарями, грамматиками и структурными представлениями относят к математико-алгоритмическому обеспечению СМП.

Одно из необходимых требований к современным СМП-высокая модульность. С лингвистически содержательной точки зрения это означает, что анализ и следующие за ним процессы строятся с учетом теории лингвистических уровней. В практике создания СМП различают такие уровни анализа:

Досинтаксический анализ (в него входит морфологический анализ - МорфАн, анализ оборотов, неопознанных элементов текста и др.);

Синтаксический анализ СинАн (строит синтаксическое представление предложения, или СинП); в его пределах может выделяться ряд подуровней, обес­печивающих анализ разных типов синтаксических единиц;

Семантический анализ СемАн, или логико-семантический анализ (строит аргументно-предикатную структуру высказываний или другой вид семантического
представления предложения и текст);

Концептуальный анализ (анализ в терминах концептуальных структур,отражающих семантику ПО). Этот уровень анализа используется в СМП, ориен­тированных на очень ограниченные ПО. По сути дела, концептуальная структура является проекцией схем ПО на лингвистические структуры, часто даже не на семантические, а на синтаксические. Только для очень узких ПО и ограниченных классов текстов концептуальная структура совпадает с семантической; в общем случае полного совпадения не должно быть, так как текст подробнее любых
концептуальных схем.

Синтез теоретически проходит те же уровни, что и анализ, но в обратном направлении. В работающих системах обычно реализован только путь от СинП до цепочки слов выходного предложения.

Лингвистическое разграничение разных уровней может проявляться также в разграничении используемых в соответствующих описаниях формальных средств (набор этих средств задается для каждою уровня отдельно). На практике часто задаются отдельно лингвистические средства МорфАн и совмещаются средства СинАн и СемАн. Но разграничение уровней может оставаться только содержательным при использовании в их описаниях единого формализма, пригодного для представления информации всех выделяемых уровней.

С технической точки зрения модульность лингвистического обеспечения означает отделение структурного представления фраз и текстов (как текущих, временных знаний о тексте) от «постоянных» знаний о языке, а также языковых знаний от знаний ПО; отделение словарей от грамматик, грамматик - от алгоритмов их обработки, алгоритмов « от программ. Конкретные соотношения различных модулей системы (словари-грамматики, грамматики - алгоритмы, алгоритмы - программы, декларативные - процедурные знания и др.), включая распределение лингвистических данных по уровням,- это то основное, что определяет специфику СМП.

Словари. Словари анализа, как правило, одноязычные. Они должны содержать всю информацию, необходимую для включения данной лексической единицы (ЛЕ) в структурное представление. Часто разделяют словари основ (с морфолого-синтаксической информацией: часть речи, тип словоизменения, подкласс, характеризующий синтаксическое поведение ЛЕ и т. п.) и словари словозначений, содержащие семантическую и концептуальную информацию: семантический класс ЛЕ, семантические надежи (валентности), условия их реализации во фразе и т. д.

Во многих системах разделены словари общеупотребительной и терминоло­гической лексики. Такое разделение дает возможность при переходе к текстам другой предметной области ограничиваться лишь сменой терминологических словарей. Словари сложных ЛЕ (оборотов, конструкций) образуют обычно от­дельный массив, словарная информация в них указывает на способ «собирания» такой единицы при анализе. Часть словарной информации может задаваться в процедурной форме, например, многозначным словам могут сопоставляться алгоритмы разрешения соответствующего типа неоднозначности. Новые виды организации словарной информации для целей МП предлагают так называемые «лексические базы знаний». Наличие разнородной информации о слове (называемой лексическим универсумом слова) приближает такой словарь, скорее к энциклопедии, чем к традиционным лингвистическим словарям.

Грамматики и алгоритмы. Грамматика и словарь задают лингвистическую модель, образуя основную часть лингвистических данных. Алгоритмы их обработки, 1. е. соотнесения с текстовыми единицами, относят к математико-алгоритмическому обеспечению системы.

Разделение грамматик и алгоритмов важно в практическом смысле тем, что позволяет менять правила грамматики, не меняя алгоритмов (и соответственно программ), работающих с грамматиками. Но далеко не всегда такое разделение возможно. Так, для системы с процедурным заданием грамматики и тем более С процедурным представлением словарной информации такое разделение нерелевантно. Алгоритмы принятия решений в случае недостаточной (неполнота входных данных) или избыточной (вариантность анализа) информации в больший мере эмпиричны, их формулировка требует лингвистической интуиции. Задание общего управляющего алгоритма, ведающего порядком вызова разных грамматик (если их несколько в одной системе), также требует лингвистического обоснования. Тем не менее существующая тенденция - отделить грамматики от алгоритмов так, чтобы все лингвистически содержательные сведения задавались в статической форме грамматик, а алгоритмы сделать настолько абстрактными, что они смогут вызывать и обрабатывать разные лингвистические модели.

Наиболее четко разделение грамматик и алгоритмов наблюдается в системах, работающих с контекстно-свободными грамматиками (КСГ), где модель языка- грамматика с конечным числом состояний, а алгоритм должен обеспечить для произвольно взятого предложения дерево его вывода по правилам грамматики, и если таких выводов несколько, то перечислить их. Такой алгоритм, представляющий собой формальную (в математическом смысле) систему, называется анализатором. Описание грамматики служит для анализатора, обладающее универсальностью, таким же входом, как и анализируемое предложение. Анализаторы строятся для классов грамматик, хотя учет специфических особенностей грамматики может повысить эффективность анализатора.

Грамматики синтаксического уровня - наиболее разработанная часть и с точки зрения лингвистики, и с точки зрения их обеспечения формализмами.

Основные типы грамматик и реализующих их алгоритмов:

Цепочечная грамматика фиксирует порядок следования элементов, т. е, ли­нейные структуры предложения, задавая их в терминах грамматических классов слов (артикль+существительное+предлог} или в терминах функциональных элементов (подлежащее+сказуемое);

Грамматика составляющих (или грамматика непосредственно составляющих- НСГ) фиксирует лингвистическую информацию о группировке грамматических элементов, например, именная группа (состоит из существительного, артикля,
прилагательного и других модификаторов), предложная группа (состоит из предлога и именной группы) и т. д. до уровня предложения. Грамматика строится как набор правил подстановки, или исчисление продукций вида А-»В...С. НСГ
представляют собой грамматики порождающего типа и могут использоваться как при анализе, так и при синтезе: предложения языка порождаются многократным применением таких правил;

Грамматика зависимостей (ГЗ) задает иерархию отношений элементов предложения (главное слово определяет форму зависимых). Анализатор в ГЗ основан на идентификации хозяев и их зависимых (слуг). Главным в предложении является глагол в личной форме, так как он определяет число и характер зависимых существительных. Стратегия анализа в ГЗ- сверху вниз: сначала идентифицируются хозяева, затем слуги, или снизу вверх: хозяева определяются процессом подстановки;

Категориальная грамматика Бар-Хиллела-это версия грамматики состав­ляющих, в ней только две категории - предложения S и имени п. Остальные определяются в терминах способности комбинироваться е этими главными в структуре НС. Так, переходный глагол определен как n\S, так как он сочетается с именем и слева от него, образуя предложение S.

Существует много способов учета контекстных условий: грамматики ме­таморфозы и их варианты. Все они являются расширениями КС-правил. В общем виде это значит, что правила продукций, переписываются так: А [а]->В[Ь], ... ,С [с], где малыми буквами обозначены условия, тесты, инструкции и т. д., расширяющие исходные жесткие правила и дающие грамматике гибкость и эффективность.

В грамматике обобщенных составляющих-ТСС введены метаправила, являющиеся обобщением закономерностей правил КС1.

В грамматиках расширенных сетей переходов-РСП предусмотрены тесты и условия к дугам, а также инструкции, которые надо выполнить в случае, если анализ пошел по данной дуге. В разных модификациях РСП дугам может приписываться вес, тогда анализатор может выбирать путь с наибольшим весом. Условия могут разбиваться на две части: контекстно-свободные и контекстно-зависимые.

Разновидностью РСПГ являются каскадные РСПГ. Каскад-это РСП, снабженная действием 1шшш1. Это действие вызывает остановку процесса в данном каскаде, запоминание информации о текущей конфигурации в стеке и переход к более глубокому каскаду с последующим возвратом в исходное состояние. РСП обладает рядом возможностей трансформационных грамматик. Она может использоваться и как генерирующая система.

Метод анализа с помощью граф-схемы позволяет сохранить частичные результаты и представить варианты анализа.

Новым и сразу завоевавшим популярность методом грамматического описания является лексшо-фунщиональная грамматика (ЛФГ). Она устраняет необходимость трансформационных правил. Хотя ЛФГ основывается на КСГ, проверочные условия в ней отделены от правил подстановки и «решаются» как автономные уравнения.

Унификационные грамматики (УГ) представляют собой следующий после граф-схем этап обобщения модели анализа: они способны воплощать грамматики различных видов. УГ содержит четыре компонента: пакет унификации, интерпретатор для правил и лексических описаний, программы обработки на­правленных графов, анализатор с помощью граф-схемы. УГ объединяют грамматические правила со словарными описаниями, синтаксические валентности с семантическими.

Центральной проблемой любой системы анализа ЕЯ является проблема выбора вариантов. Для ее решения грамматики синтаксического уровня дополняются вспомогательными грамматиками и методами разбора сложных ситуаций. В НС-грамматиках применяют фильтровый и эвристический методы. Фильтровый метод состоит в том. что сначала получают все варианты анализа предложения, а затем отбраковывают те, которые не удовлетворяют некоторой системе условий-фильтров. Эвристический метод с самого начала строит лишь часть вариантов, более правдоподобных с точки зрения заданных критериев. Использование весов для отбора вариантов является примером применения эвристических методов в анализе.

Семантический уровень гораздо меньше обеспечен теорией и практическими разработками. Традиционной задачей семантики считается снятие неоднозначности синтаксического анализа - структурной и лексической. Для этого используется аппарат селективных ограничений, который привязан к рамкам предложений, т. е. вписывается в синтаксическую модель. Наиболее распространенный тип СемАн основан на так называемых падежных грамматиках. В основе грамматики-понятие глубинного, или семантического, падежа. Падежная рамка глагола является расширением понятия валентность: это набор смысловых отношений, которые могут (обязательно или факультативно) сопровождать глагол и его вариации в тексте. В пределах одного языка один и тот же глубинный падеж реализуется разными поверхностными предложно - падежными формами. Глубинные падежи в принципе позволяют выходить за рамки предложения, а выход в текст означает переход к семантическому уровню анализа.

Поскольку семантическая информация в отличие от синтаксической, опирающейся в первую очередь на грамматики, сосредоточена в основном в словарях, в 80-е годы интенсивно разрабатываются грамматики, позволяющие «лексикализовать» КСГ. Ведется разработка грамматик, основанных на исследовании свойств дискурса.

Докладчики: Ирина Рыбникова и Анастасия Пономарёва.

Мы расскажем про историю машинного перевода и про то, как мы используем его в Яндексе.

Еще в XVII веке ученые размышляли о существовании какого-то языка, который связывает между собой другие языки, и наверное, это слишком давно. Давайте поближе вернемся. Все мы хотим понимать людей вокруг - неважно, куда мы приехали, - мы хотим видеть, что написано на вывесках, мы хотим читать объявления, информацию о концертах. Идея вавилонской рыбки бороздит умы ученых, встречается в литературе, кинематографе - везде. Мы хотим сократить то время, за которое мы получаем доступ к информации. Мы хотим читать статьи о китайских технологиях, понимать любые сайты, которые мы видим, и хотим это получать здесь и сейчас.

В разрезе этого невозможно не говорить про машинный перевод. Это то, что помогает решать указанную задачу.

Отправной точкой считается 1954 год, когда в США на машине IBM 701 было переведено 60 предложений по общей тематике органической химии с русского на английский, и в основе всего этого лежало 250 терминов глоссария и шесть грамматических правил. Это называлось Джорджтаунским экспериментом, и это настолько потрясло реальность, что газеты пестрили заголовками, что еще три-пять лет, и проблема будет полностью решена, все будут счастливы. Но как вы знаете, все пошло немного по-другому.

В 70-е годы появился машинный перевод на основе правил. В его основе тоже лежали двуязычные словари, но и те самые наборы правил, которые помогали описывать любой язык. Любой, но с ограничениями.

Требовались серьезные эксперты-лингвисты, которые прописывали правила. Это достаточно сложная работа, она все равно не могла учесть контекст, полностью покрыть какой бы то ни было язык, но они были экспертам, и высокие вычислительные мощности тогда не требовались.

Если говорить про качество, классический пример - цитата из Библии, которая переводилась тогда так. Пока недостаточно. Поэтому люди продолжали дальше работать над качеством. В 90-е годы возникла статистическая модель перевода, SMT, которая говорила о вероятностном распределении слов, предложений, и эта система принципиально отличалась тем, что она вообще ничего не знала про правила и про лингвистику. Она получала на вход огромное количество идентичных текстов, парных на одном языке и другом, и дальше сама принимала решения. Это было легко поддерживать, не нужны были кучи экспертов, не требовалось ждать. Можно было загружать и получать результат.

Требования к входящим данным были достаточно средние, от 1 до 10 млн сегментов. Сегменты - предложения, небольшие фразы. Но оставались свои трудности и не учитывался контекст, все было не очень легко. И в России, например, появились такие случаи.

Мне еще нравится пример переводов игр GTA, великолепный был результат. Все не стояло на месте. Достаточно важным майлстоуном был 2016 год, когда запустился нейронный машинный перевод. Это было достаточно эпохальное событие, которое сильно перевернуло жизнь. Моя коллега, посмотрев переводы и то, как мы их используем, сказала: «Круто, он говорит моими словами». И это было реально здорово.

Какие особенности? Высокие требования на входе, обучающий материал. Внутри компании это сложно поддерживать, но существенный рост качества - это то, ради чего это затевалось. Только качественный перевод позволит решить поставленные задачи и облегчит жизнь всем участникам процесса, тем же переводчикам, которые не хотят исправлять плохой перевод, они хотят делать новые творческие задачи, а рутинные шаблонные фразы давать машине.

В рамках машинного перевода есть два подхода. Экспертная оценка / лингвистический анализ текстов, то есть проверка реальными лингвистами, экспертами на соответствие смыслу, грамотности языка. В некоторых случаях еще сажали экспертов, давали вычитать переведенный текст и оценивали, насколько это эффективно с этой точки зрения.

Какие особенности этого метода? Не требуется образец перевода, мы смотрим на готовый переведенный текст сейчас и оцениваем объективно по любому разрезу. Но это дорого и долго.

Есть второй подход - автоматические референсные метрики. Их много, у каждой есть плюсы и минусы. Не буду углубляться, про эти ключевые слова потом можно почитать детальнее.

Какая особенность? По факту это сравнение переведенных машинных текстов с каким-то образцовым переводом. Это количественные метрики, которые показывают расхождение между образцовым переводом и тем, что получилось. Это быстро, дешево и можно сделать достаточно удобно. Но есть особенности.

По факту чаще всего сейчас используют гибридные методы. Это когда изначально оценивается что-то автоматически, потом анализируется матрица ошибок, потом на более мелком корпусе текстов проводится экспертный лингвистический анализ.

Последнее время еще распространена практика, когда мы туда не лингвистов зовем, а просто пользователей. Делается интерфейс - покажите, какой вам перевод больше нравится. Или когда вы ходите в онлайн-переводчики, вы вводите текст, и можете часто проголосовать, что вам больше нравится, подходит этот подход или нет. По сути, все мы сейчас обучаем эти движки, и все, что мы им даем на перевод, они используют для обучения и работают над своим качеством.

Хотелось бы рассказать, как мы в работе используем машинный перевод. Передаю слово Анастасии.

Мы в Яндексе в отделе локализации поняли достаточно быстро, что возможности у технологии машинного перевода большие, и решили попробовать использовать его в наших ежедневных задачах. С чего мы начали? Мы решили провести небольшой эксперимент. Мы решили перевести одни и те же тексты через обычный нейросетевой переводчик, а также собрать обученный машинный переводчик. Для этого мы подготовили корпуса текстов в паре русский-английский за те годы, что мы в Яндексе занимались локализацией текстов на эти языки. Далее мы пришли с этим корпусом текстов к нашим коллегам из Яндекс.Переводчика и попросили обучить движок.

Когда движок был обучен, мы перевели очередную порцию текстов, и как сказала Ирина, с помощью экспертов оценили полученные результаты. Переводчиков мы просили посмотреть на грамотность, стиль, правописание, передачу смысла. Но самый поворотный момент был, когда один из переводчиков сказал, что «я узнаю свой стиль, узнаю свои переводы».

Чтобы подкрепить эти ощущения, мы решили посчитать уже статистические показатели. Сначала мы посчитали коэффициент BLEU для переводов, сделанных через обычный нейросетевой движок, и получили такую цифру (0,34). Казалось бы, ее надо с чем-то сравнить. Мы снова пошли к коллегам из Яндекс.Переводчика и попросили объяснить, какой коэффициент BLEU считается пороговым для переводов, сделанных реальным человеком. Это от 0,6.

Потом мы решили проверить, какие результаты на обученных переводах. Получили 0,5. Результаты действительно обнадеживающие.

Привожу пример. Это реальная русская фраза из документации Директа. Потом она была переведена через обычный нейросетевой движок, а потом через обученный нейросетевой движок на наших текстах. Уже в первой же строчке мы замечаем, что традиционный для Директа, вид рекламы, не распознан. А уже в обученном нейросетевом движке появляется наш перевод, и даже аббревиатура практически верная.

Мы были очень воодушевлены полученными результатами, и решили, что наверное, стоит использовать машинный движок в других парах, на других текстах, не только на том базовом наборе технической документации. Дальше проводили несколько месяцев ряд экспериментов. Столкнулись с большим количеством особенностей и проблем, это самые частые проблемы, что нам приходилось решать.

Про каждую расскажу подробнее.

Если вы так же, как и мы, соберетесь сделать кастомизированный движок, вам понадобится достаточно большое количество качественных параллельных данных. Большой движок можно обучить на количестве от 10 тыс. предложений, в нашем случае мы подготовили 135 тыс. параллельных предложений.

Не на всех типах текста ваш движок покажет одинаково хорошие результаты. В технической документации, где есть длинные предложения, структура, пользовательская документация и даже в интерфейсе, где есть короткие, но однозначные кнопки, скорее всего, у вас все будет хорошо. Но возможно, как и у нас, вы столкнетесь с проблемами в маркетинге.

Мы проводили эксперимент, переводя плейлисты музыки, и получили такой пример.

Вот что думает машинный переводчик про звездных фабриканток. Что это ударники труда.

При переводе через машинный движок контекст не учитывается. Тут уже не такой смешной пример, а вполне реальный, из технической документации Директа. Казалось бы, тех - понятно, когда ты читаешь техническую документацию, тех - это техническое. Но нет, машинный движок не попал.

Еще придется учитывать, что качество и смысл перевода будет сильно зависеть от языка-оригинала. Переводим фразу на французский с русского, получаем один результат. Получаем похожую фразу с таким же смыслом, но с английского, и получаем другой результат.

Если у вас, как и в нашем тексте, большое количество тегов, разметки, каких-то технических особенностей, скорее всего вам придется их отслеживать, править и писать какие-то скрипты.

Вот примеры реальной фразы из браузера. В круглых скобках техническая информация, которая не должна переводиться, в частности множественные формы. В английском они на английском, и в немецком тоже должны остаться на английском, но они переведены. Вам придется отслеживать эти моменты.

Машинный движок ничего не знает про ваши особенности именования. Например, у нас есть договоренность, что Яндекс.Диск мы везде называем на латинице во всех языках. Но на французском он превращается в диск на французском.

Аббревиатуры иногда распознаются корректно, иногда нет. В данном примере BY, обозначая принадлежность к белорусским техническим требованиям по размещению рекламы, превращается в предлог в английском.

Один из моих любимых примеров - новые и заимствованные слова. Тут классный пример, слово дисклеймер, «исконно русский». Терминологию придется выверять для каждой части текста.

И еще одна, уже не такая значительная проблема - устаревшее написание.

Раньше интернет был новинкой, во всех текстах писался с большой буквы, и когда мы обучали наш движок, везде интернет был с большой буквы. Сейчас новая эра, интернет уже пишем с маленькой буквы. Если вы хотите, чтобы ваш движок продолжал писать интернет с маленькой буквы, вам придется его переобучать.

Мы не отчаивались, решали эти проблемы. Во-первых, меняли корпусы текстов, пробовали на других тематиках переводить. Мы передавали наши замечания коллегам из Яндекс.Переводчика, повторно обучали нейросеть и смотрели на результаты, оценивали, и просили доработать. Например, распознавание тегов, обработку HTML разметки.

Я покажу реальные варианты использования. У нас хорошо идет машинный перевод для технической документации. Это реальный кейс.

Вот фраза на английском и на русском. Переводчик, который занимался этой документацией, был очень воодушевлен адекватным выбором терминологии. Еще пример.

Переводчик оценил выбор is вместо тире, что тут поменялась структура фразы на английскую, адекватный выбор термина, которая является верным, и слово you, которого нет в оригинале, но он делает этот перевод именно английским, естественным.

Еще один кейс - переводы интерфейсов на лету. Один из сервисов решил не заморачиваться с локализацией и переводить тексты прямо во время загрузки. Но после изменения движка примерно раз в месяц слово «доставка» менялось по кругу. Мы предложили команде подключить не обычный нейросетевой движок, а наш, обученный на технической документации, чтобы использовался всегда один и тот же термин, согласованный с командой, который уже есть в документации.

Как это все действует на денежный момент? Исконно так сложилось, что в паре русский-украинский требуется минимальная редактура украинского перевода. Поэтому мы пару месяцев назад решили перейти на систему постэдитинга. Вот как растет наша экономия. Сентябрь еще не закончился, но мы прикинули, что мы сократили наши затраты на постэдитинг приблизительно на треть на украинском, и дальше собираемся редактировать практически все, кроме маркетинговых текстов. Слово Ирине для подведения итогов.

Ирина:
- Для всех становится очевидным, что пользоваться этим надо, это уже является нашей реальностью, и исключать это из своих процессов и интересов нельзя. Но нужно подумать о нескольких вещах.

Определитесь с тем типов документов, контекста, с которым вы работаете. Подходит ли эта технология конкретно для вас?

Второй момент. Мы разговаривали про Яндекс.Переводчик, потому что мы в хороших отношениях, у нас прямой доступ к разработчикам и так далее, но по факту вам нужно определиться - какой из движков будет наиболее оптимальным для вас конкретно, для вашего языка, вашей тематики. Этой теме будет посвящен следующий доклад . Будьте готовы, что пока еще есть трудности, разработчики движков все вместе работают над решением трудностей, но пока они еще встречаются.

Хотелось бы понять, что нас ждет в дальнейшем. Но по факту, это уже не дальнейшее, а наше нынешнее время, то, что происходит здесь и сейчас. Нам всем скорее нужна кастомизация под нашу терминологию, под наши тексты, и это то, что сейчас становится публичным. Теперь все работают над тем, чтобы вы не ходили внутрь компании, не договаривались с разработчиками конкретного движка, как бы это оптимизировать под вас. Вы сможете это получать в публичных открытых движках по API.

Кастомизация идет не только по текстам, но и по терминологии, по настройке терминологии под ваши собственные нужны. Это достаточно важный момент. Вторая тема - интерактивный перевод. Когда переводчик переводит текст, технология позволяет ему предсказывать следующие слова с учетом исходного языка, исходного текста. Это оже существенно может облегчать работу.

О том, что сейчас действительно дорого. Все думают, как меньшими объемами текста обучить какие-то движки гораздо более эффективно. Это то, что происходит везде и запускается повсеместно. Думаю, тема очень интересная, а дальше будет еще интереснее.

Машинный перевод: краткая история

Еще выдающийся математик XIX века Чарльз Бэббидж пытался убедить британское правительство в необходимости финансировать его исследования по разработке "вычислительной машины". В числе прочих благ он обещал, что когда-нибудь эта машина сможет автоматически переводить разговорную речь. Однако эта идея так и осталась нереализованной [Шаляпина 1996: 105].

Датой рождения машинного перевода как исследовательской области обычно считают март 1947 г. Именно тогда специалист по криптографии Уоррен Уивер в своем письме Норберту Винеру впервые поставил задачу машинного перевода, сравнив ее с задачей дешифровки.

Тот же Уивер после ряда дискуссий составил в 1949 г. меморандум, в котором теоретически обосновал принципиальную возможность создания систем машинного перевода. У. Уивер писал: "I have a text in front of me which is written in Russian but I am going to pretend that it is really written in English and that it has been coded in some strange symbols. All I need to do is strip off the code in order to retrieve the information contained in the text" ("У меня перед глазами текст, написанный по-русски, но я собираюсь сделать вид, что на самом деле он написан по-английски и закодирован при помощи довольно странных знаков. Все, что мне нужно, - это взломать код, чтобы извлечь информацию, заключенную в тексте") [Слокум 1989: 56-58].

Идеи Уивера легли в основу подхода к МП, основанного на концепции interlingva : стадия передачи информации разделена на два этапа. На первом этапе исходное предложение переводится на язык-посредник (созданный на базе упрощенного английского языка), а затем результат этого перевода представляется средствами выходного языка.

В те времена немногочисленные компьютеры использовались в основном для решения военных задач, поэтому неудивительно, что в США основное внимание уделялось русско-английскому, а в СССР - англо-русскому направлению перевода. К началу 50-х годов над проблемой автоматического перевода бился целый ряд исследовательских групп.

В 1952 г. состоялась первая конференция по МП в Массачусетском технологическом университете, а в 1954 г. была представлена первая полноценная система машинного перевода - IBM Mark II, разработанная компанией IBM совместно с Джорджтаунским университетом (это событие вошло в историю как Джорджтаунский эксперимент). Очень ограниченная в своих возможностях система великолепно переводила 49 специально подобранных предложений с русского языка на английский с использованием словаря на 250 слов и шести грамматических правил.

Одной из новых разработок 70-80-х годов стала технология TM (translation memory), работающая по принципу накопления: в процессе перевода сохраняется исходный сегмент (предложение) и его перевод, в результате чего образуется лингвистическая база данных; если идентичный или подобный исходному сегмент обнаруживается во вновь переводимом тексте, он отображается вместе с переводом и указанием совпадения в процентах. Затем переводчик принимает решение (редактировать, отклонить или принять перевод), результат которого сохраняется системой.

С начала 80-х годов, когда персональные компьютеры уверенно и мощно начали завоевывать мир, время их работы подешевело, и доступ к ним можно было получить в любую минуту. МП стал экономически выгодным. К тому же в эти и последующие годы совершенствование программ позволило достаточно точно переводить многие виды текстов, однако некоторые проблемы МП остались нерешенными и по сей день.

90-е годы можно считать подлинной эпохой возрождения в развитии МП, что связано не только с высоким уровнем возможностей персональных компьютеров, но и с распространением Интернет, что обусловило реальный спрос на МП. Он вновь стал привлекательной областью вложения капиталов, как для частных инвесторов, так и для государственных структур .

С начала 1990-х годов на рынок систем ПК выходят российские разработчики.

В июле 1990 г. на выставке PC Forum в Москве была представлена первая в России коммерческая система машинного перевода под названием PROMT (PROgrammer"s Machine Translation). В 1991 г. было создано ЗАО "ПРОект МТ", и уже в 1992 г. компания ПРОМТ выиграла конкурс NASA на поставку систем МП (ПРОМТ была единственной неамериканской фирмой на этом конкурсе) [Кулагин 1979: 324].

Что же касается самих систем машинного перевода, то следует отметить, что они прошли три стадии своего развития:

• 1. "Электронные переводчики" первого поколения - системы прямого перевода (СПП) - представляли собой программно-аппаратные комплексы и анализировали текст "слово за словом" (смысловые связи и нюансы при этом практически не учитывались). Возможности СПП определялись доступными размерами словарей, прямо зависящими от объема памяти компьютера. Именно к категории СПП относилась IBM Mark II, сделавшая принципиально возможным Джорджтаунский эксперимент.
• 2. На смену СПП со временем пришли Т -системы (от английского Transfer - "преобразование"), в которых перевод осуществлялся на уровне синтаксических структур (так учат языку в средней школе). Они выполняли набор операций, позволяющих путем анализа переводимой фразы определять ее синтаксическую структуру по правилам грамматики входного языка, а затем преобразовывать ее в синтаксическую структуру выходного предложения и синтезировать новую фразу, подставляя нужные слова из словаря выходного языка. Работы в этом направлении сейчас уже не ведутся: практикой доказано, что реальная система соответствий сложнее и адекватный перевод требует принципиально иного алгоритма действий.
• 3. Немногим позднее становящиеся все более многочисленными системы машинного перевода в зависимости от принципа их работы стали подразделять на МТ -программы (от Machine Translation - "машинный перевод") и ТМ -комплексы (от Translation Memory - "память переводов"). В качестве реально успешного примера МТ-программы назовем знаменитую канадскую систему METEO, выполняющую перевод метеопрогнозов с французского языка на английский и обратно (она была создана почти тридцать лет назад и эксплуатируется по сей день). Разработчики METEO сделали ставку на то, что действительно автоматизированный машинный перевод возможен только в условиях искусственно ограниченного (как по словарному запасу, так и по грамматике) языка. И добились успеха. Наиболее популярным в мире профессиональным TM -инструментом является пакет Translation"s Workbench фирмы TRADOS. Подобные программы используют в основном профессиональные переводчики, осознавшие выигрыш от частичной автоматизации своей работы с помощью компьютера при переводе повторяющихся текстов, сходных по тематике и структуре.

Основная идея Translation Memory - не переводить один и тот же текст дважды. Эта технология базируется на сравнении документа, который нужно перевести, с данными, хранящимися в предварительно созданной "входной" базе. Когда система находит фрагмент, соответствующий заранее определенным критериям, то его перевод берется из "выходной" базы. Получаемый в итоге текст подлежит интенсивному постредактированию человеком [Марчук 1997: 21-22].

Выводы по Главе 1

В 1 главе мы рассмотрела, что такое перевод. Выделили его виды, формы и жанры. Так же рассмотрели машинный перевод. Затронув тему машинного перевода, мы рассмотрели его краткую историю, а так же какое место он занимает в общей классификации перевода. Выяснили, как работает программа-переводчик.

Первые эксперименты по машинному переводу, подтвердившие принципиальную возможность его реализации, были проведены в 1954 году в Джорджтаунском университете (Вашингтон, США). Вскоре после этого в промышленно развитых странах мира были начаты исследования и разработки, направленные на создание систем машинного перевода. И хотя с тех пор прошло более полстолетия, проблема машинного перевода всё еще не решена на должном уровне. Она оказалась значительно сложнее, чем это представляли себе пионеры и энтузиасты машинного перевода в конце пятидесятых – начале шестидесятых годов. Поэтому, оценивая сегодняшнюю реальность приходится говорить как о достижениях, так и разочарованиях.

Мы уже говорили о том, что для того, чтобы научить машину переводу, на основе «порождающей семантики» и действующей языковой модели «смысл ↔ текст» была создана семантическая модель перевода. Задача состояла в том, чтобы снабдить электронный мозг достаточным количеством синонимов, конверсивов, синтаксических дериватов и семантических параметров, которыми он бы мог манипулировать в процессе перевода. А перевод в то время понимался лишь как процесс подстановки слов и словосочетаний одного языка вместо слов и словосочетаний другого языка.

Это было также время, когда лингвисты, работавшие в области машинного перевода, пытались описать естественный язык с помощью математических символов. В отличие от Ретцкера и Федорова, стремившихся установить имеющиеся закономерности на основе практических наблюдений, они ставили своей целью создание дедуктивной теории. Речь шла о разработке свода правил, применение которых к определенному набору языковых единиц могло бы привести к порождению осмысленного текста. Языковые единицы выступали в виде математических символов, которые в результате применения к ним названных правил, также выраженных математически, можно было расположить определенным образом. После декодирования комбинация символов превращалась в текст.

Ученые создали специальный язык, состоящий из математических символов, который мог быть использован машиной в качестве посредника при переходе от исходного текста к тексту перевода. Язык посредник это «метаязык» переводческой теории. В лингвистике под метаязыком обычно понимается «язык второго порядка», то есть язык на котором строятся рассуждения о естественном языке или каких либо других явлениях. Так, говоря о грамматике, мы пользуемся специальными словами, или терминами, и выражениями, а при обсуждении области медицины, применяем другой терминологический аппарат. Иными словами, метаязык, или «язык-посредник», перевода представляет собой комплекс структурно-лингвистических характеристик, позволяющих с достаточной полнотой описать процесс перевода.

По замыслу авторов теории машинного перевода в основе языка-посредника лежал концептуальный аппарат «порождающей семантики» и модели «смысл ↔ текст». Был подготовлен набор правил для преобразования поверхностных структур английского языка в ядерные предложения. Ученые далее ожидали, что с помощью языка-посредника машина легко преобразует глубинные структуры исходного языка в глубинные структуры переводящего языка, а затем и в его поверхностные структуры. Но полученные результаты не был полностью удовлетворительными. Качество машинного перевода оказалось очень низким и последующие попытки улучшит его к успеху на привели. В чем же была причина?

Как упоминалось ранее, ученые в то время, то есть в начале пятидесятых и середине шестидесятых годов прошлого века, ориентировались на лингвистическую теорию структурализма, основанную на описании и интерпретации языковых явлений строго в рамках внутриязыковых отношений и не допускающую выхода за пределы языковой структуры при анализе этих явлений. Они, конечно, знали то, что хорошо известно каждому переводчику-практику. А именно, важность учета конкретной обстановки, в которой протекает данный акт межъязыкового общения, а также ситуации, описываемой в переводимом сообщении. Эта информация с точки зрения качества переводного текста играет не меньшую роль, чем собственно языковые явления.

Для того, чтобы примирить это обстоятельство с требованием не выходить за рамки внутрилингвистических отношений, переводческую деятельность предлагалось разделить на два компонента - собственно перевод, осуществляемый по заданным правилам без обращения к внеязыковой действительности, отраженной в опыте или восприятии переводчика, и интерпретацию, включающую привлечение внелингвистических данных.

Но это явно идет в разрез с тем, что нам известно о реальных процессах обычного, то есть немашинного перевода. Для перевода, осуществляемого человеком характерно органическое и неразрывное единство собственно языковых и внеязыковых факторов. Дело в том, что в любом речевом произведении далеко не все выражено явно, или, как говорят лингвисты, эксплицитно. Многое обычно остается невыраженным, подразумеваемым. Всякое высказывание адресуется определенному лицу или определенной аудитории. Автор высказывания при этом исходит из того, что его слушатели или читатели обладают достаточными знаниями для того, чтобы однозначно интерпретировать то или иное сообщение без уточняющих подробностей.

Таким образом, машинный перевод, основанный только на анализе формально-структурных закономерностей исходного текста, не позволяет вскрыть взаимодействие лингвистических и внелингвистических факторов и, тем самым, оставляет без внимания важнейшую составляющую межъязыкового общения. В этом и заключалась основная причина его неудовлетворительного качества.

Многими исследователями признают, что и по состоянию на настоящее время в машинном переводе не произошло каких-либо прорывов в деле реализации иных моделей, несмотря на то, что возможности компьютеров по сравнению с началом работ по машинному переводу многократно возросли, и возникли новые языки программирования, гораздо более удобные для реализации программ по созданию машинного перевода. Все дело, по-видимому, в том, что интерпретация языковых знаков по отношению к внеязыковой действительности во многих отношениях носит интуитивный характер и осуществляется бессознательно, или, как говорят, «на подкорке», а то, что делается бессознательно не может быть формализовано и передано машине в виде программного обеспечения. Поэтому машинный перевод до сих пор требует после себя человеческого редактора и служит источником многочисленных переводческих шуток.

Так, однажды машине было предложено перевести на английский язык, а затем тут же обратно на русский пословицу «С глаз долой из сердца вон». Окончательный вариант был таким: «Невидимый идиот». Почему? Потому, что соответствующая английская пословица гласит: «Outofsight- outofmind». Машина нашла её без труда. Но при обратном переводе этой пословицы на русский язык она пошла по неправильному пути. Дело в том, что в русском языке имеются прямые соответствия обоим компонентам английской фразы: Out of sight - передается словом «невидимый», тогда как английскому outofmindсоответствует русские слова «сумасшедший, безумный, идиот». Машина этими соответствиями и воспользовалась. Она просто не догадалась, что обе названные составляющие английской фразы должны передаваться не по отдельности, а как единое целое. По причине отсутствия у нее «человеческого фактора».

В целом уровень качества машинного перевода сугубо информативных текстов, контрактов, инструкций, научных докладов и т.п. значительно выше, чем текстов публицистического характера. Приведемнесколькопримеров:

Payments under this contract for the equipment listed in supplement 1 to the contract shall be effected as follows.

Платежи согласно этому контракту на оборудование, перечисленное в добавлении 1 к контракту должны быть произведены следующим образом.

Yet plenty of traps await Mr. Bush if he tries to do it alone.

Все же множество трапециевидных мышц ждет г. Буша, если он пробует идти это один.

The markets, given more and sooner than they had any reason to expect, were surprised all right.

Рынки, данные больше и скорее, чем они имели причину ожидать, удивленный хорошо.

Всё сказанное ранее позволяет сделать вывод и том, что пионеры машинного перевода и их ближайшие последователи достигли значительных успехов этой области. Но многие важнейшие проблемы им всё же решить не удалось. В этой связи представляет интерес высказывание руководителя японской государственной программы по машинному переводу профессора Макото Нагао из университета Киото. В одной из своих статей, опубликованных в 1982 году, он сделал такое заявление: «Всякая разработка систем машинного перевода рано или поздно зайдет в тупик. Наша разработка также зайдет в тупик, но мы постараемся, чтобы это случилось как можно позже».

В том же году профессор Нагао опубликовал статью, в которой предложил новую концепцию машинного перевода. Согласно этой концепции тесты должны переводиться по аналогии с другими текстами, ранее переведенными вручную, то есть не машиной, а переводчиком. Для этой цели должен быть сформирован большой массив тематически сходных текстов и их переводов (билингвов), которые затем будут введены в сверхмощную многопроцессорную ЭВМ. В процессе перевода новых текстов из массива билингвов должны выбираться аналоги фрагментов этих текстов, которые можно будет использовать для формирования конечного текста. М.Нагао назвал свой подход к машинному переводу «Examplebasedtranslation» (перевод, основанный на примерах), а традиционный подход - «Rulebasedtranslation» (перевод по правилам).

Концепция Макото Нагао перекликается с получившей в последнее время широкое распространение концепцией «TranslationMemory» (память переводов), именуемой иногда как «SentenceMemory» (накопитель предложений). Сущность этой концепции заключается в следующем. При подготовке иноязычных вариантов каких-либо документов (например, эксплуатационной документации на продукцию машиностроительного завода) сначала их перевод выполняется вручную переводчиками высшей квалификации. Затем оригиналы документов и их переводы на иностранный язык вводятся в ЭВМ, расчленяются на отдельные предложения или фрагменты предложений, и из этих элементов строится база данных, которая далее загружается в поисковую систему. При переводе новых текстов поисковая система отыскивает в них предложения и части предложений, аналогичные тем, которые у неё имеются и вставляет их в нужные места переводимого текста. Таким образом в автоматическом режиме получается качественный перевод тех фрагментов нового текста, которые имеются в базе данных.

Не опознанные фрагменты текста переводятся на иностранный язык вручную. При этом можно воспользоваться процедурой приближенного поиска этих фрагментов в базе данных, а результаты поиска использовать как подсказку. Результаты ручного перевода новых фрагментов текстов снова вводятся в базу данных. По мере перевода все новых и новых документов, «память переводов» постепенно обогащается, и её эффективность возрастатет.

Бесспорным достоинством технологии «память переводов» является высокое качество переводов того класса текстов, для которого она создавалась. Но база переводных соответствий, построенная для однородных текстов одного предприятия, пригодна лишь для однородных текстов близких по профилю предприятий, так как предложения и большие фрагменты предложений, извлекаемые из текстов одних документов, как правило, не встречаются или очень редко встречаются в текстах других документов.

На преодоление этого ограничения «памяти переводов» и, что особенно важно, выход из того тупика, куда, судя по всему, зашла семантическая теория, направлена новая концепция машинного перевода, названная «фразеологической теорией машинного перевода». Главной особенностью этой концепции является мысль о том, что при переводе в качестве основных и наиболее устойчивых единиц смысла следует рассматривать не семантические компоненты, являющиеся неотъемлемой частью языка, а понятия, связанные с языком через языковые значения, но при этом выступающие в качестве самостоятельной формы осмысления человеком окружающего материального мира. Таким образом делается первый шаг к тому, чтобы научить машину оперировать не только языковыми, но и внеязыковыми аспектами перевода.

Напомню, что сознание человека способно отражать окружающий мир в форме двух сигнальных систем, Первая сигнальная система воспринимает окружающий мир через органы чувств. В результате воздействия на один из органов чувств (зрение, слух, осязание, обоняние, вкус) возникает ощущение. На основе совокупности ощущений, связанных с определенным объектом, у человека возникает целостное восприятие этого объекта. Воспринятый объект может храниться в памяти в виде соответствующего представления о нем уже без непосредственного чувственного контакта.

Вторая сигнальная система, позволяет человеку, абстрагируясь от конкретных объектов, формировать обобщенные понятия об окружающем мире. В понятии различается его объем, то есть класс объектов, обобщенных в понятии, и содержание понятия - признаки объектов, через которые осуществлено обобщение. Понятиями люди оперируют в процессе общения. Для этого за каждым понятием закрепляются определенные ярлыки - их наименования в виде отдельных слов или (что значительно чаще) словосочетаний. Причем в разных языках для обозначения одних и тех же понятий могут использоваться разные признаки (snowdrop- подснежник, eye- dog- собака-поводырь, vacuumcleaner- пылесос).

С учетом изложенных принципов, система фразеологического машинного перевода в общих чертах выглядит следующим образом. Как уже было сказано, наиболее устойчивыми элементами текста являются наименования понятий. В процессе перевода производится замена наименования понятий исходного текста на наименования этих единиц смысла на переводящем языке и оформление полученного таким образом нового текста в соответствие с грамматическими нормами переводящего языка. Как и в системах «Translationmemory», используется принцип аналогии - слова, словосочетания и фразы, отображающие типовые ситуации, переводятся по аналогии с ранее выполненными переводами этих единиц. Различие между ними состоит в том, что в системах типа «память переводов» используются не такие устойчивые отрезки текста, как понятия и типовые ситуации, а все предложения, встречающиеся в исходном тексте.

Из сказанного следует, что машинные словари являются наиболее важным компонентом систем фразеологического машинного перевода. Количество различных слов в таких языках, как русский и английский, превосходит один миллион, а количество относительно устойчивых фразеологических словосочетаний исчисляется сотнями миллионов. Фразеологические словари такого объёма быстро создать не удастся. Так, объём словаря одной из современных систем «RetransVista» составляет 3 млн. 300 тыс. словарных статей.

Составление фразеологических словарей больших объёмов потребует значительных временных затрат, поэтому в системах машинного перевода постоянным спутником фразеологических словосочетаний будут и отдельные слова. Для их перевода, как говорилось, используются положения семантической модели, качество машинного перевода при этом вызывает много нареканий.

Это, безусловно, так, но пословный перевод текстов значительно лучше, чем

отсутствие всякого перевода.

Отсюда, как считают многие специалисты в этой области, единственная разумная перспектива для систем машинного перевода в XXI веке - это сочетание фразеологического и пословного семантического перевода. При этом удельный вес удельный вес фразеологического перевода, по-видимому, должен постоянно возрастать, а удельный вес семантического перевода - постоянно уменьшаться.

Как показывает опыт, системы машинного перевода должны быть ориентированы прежде всего на перевод деловых текстов в области науки, техники, политики и экономики. Перевод художественных текстов - более сложная задача. Но и здесь в будущем можно достичь определённого успеха, если найдутся энтузиасты типа Владимира Даля, которые с помощью современных технических средств возьмут на себя нелёгкий труд по составлению мощных фразеологических словарей для этого типа текстов.

Дополнительная литература.

1. Белоногов Г.Г. Об использовании принципа аналогии при автоматической обработке текстовой информации. Сб. «Проблемы кибернетики», № 28, 1974.

2. Убин И.И. Современные средства автоматизации перевода: надежды, разочарования и реальность. Сб. «Перевод в современном мире», М., ВЦП, 2001, стр. 60-69.

В настоящее время различают три вида систем машинного перевода:

Системы на основе грамматических правил (Rule-Based Machine Translation, RBMT);

Статистические системы (Statistical Machine Translation, SMT);

Гибридные системы;

Системы на основе грамматических правил производят анализ текста, который используется в процессе перевода. Перевод производится на основе встроенных словарей для данной языковой пары, а так же грамматик, охватывающих семантические, морфологические, синтаксические закономерности обоих языков. На основе всех этих данных исходный текст последовательно, предложение за предложением, преобразуется в текст на требуемом языке. Основной принцип работы таких систем - связь структур исходного и конечного текстов.

Системы на основе грамматических правил часто разделяют еще на три подгруппы - системы пословного перевода, трансфертные системы и интерлингвистические системы.

Преимуществами систем на основе грамматических правил являются грамматическая и синтаксическая точность, стабильность результата, возможность настройки на специфическую предметную область. К недостаткам систем на основе грамматических правил относят необходимость создания, поддержки и обновления лингвистических баз данных, трудоемкость создания такой системы, а так же ее высокая стоимость.

Статистические системы при своей работе используют статистический анализ. В систему загружается двуязычный корпус текстов (содержащий большое количество текста на исходном языке и его «ручной» перевод на требуемый язык), после чего система анализирует статистику межъязыковых соответствий, синтаксических конструкций и т. д. Система является самообучаемой - при выборе варианта перевода она опирается на полученную ранее статистику. Чем больший словарь внутри языковой пары и чем точнее он составлен, тем лучше результат статистического машинного перевода. С каждым новым переведенным текстом улучшается качество последующих переводов.

Статистические системы отличаются быстротой настройки и легкостью добавления новых направлений перевода. Среди недостатков наиболее значительными являются наличие многочисленных грамматических ошибок и нестабильность перевода.

Гибридные системы сочетают в себе подходы, описанные ранее. Ожидается, что гибридные системы машинного перевода позволят объединить все преимущества, которыми обладают статистические системы и системы, основанные на правилах.

1.3 Классификация систем машинного перевода

Системы машинного перевода - программы, осуществляющие полностью автоматизированный перевод. Главным критерием программы является качество перевода. Кроме этого, для пользователя важными моментами является удобство интерфейса, лёгкость интеграции программы с другими средствами обработки документов, выбор тематики, утилита пополнения словаря. С появлением Internet основные поставщики систем машинного перевода включили в свои продукты Web-интерфейсы, обеспечив при этом их интеграцию с остальным программным обеспечением и электронной почтой, что позволило применять механизмы МП для перевода Web-страниц, электронной корреспонденции и онлайновых разговорных сеансов.

Новые члены форума по иностранным языкам компании CompuServe зачастую задают вопрос о том, не мог ли бы кто-нибудь посоветовать им хорошую программу машинного перевода за умеренную цену.

Ответом на этот вопрос неизменно является "нет". В зависимости от отвечающего, ответ может содержать два основных аргумента: либо о том, что машинам перевод не под силу, либо, что машинный перевод стоит слишком дорого.

Оба эти аргумента в определенной степени справедливы. Однако ответ далеко не так прост. Изучая проблему машинного перевода (МП), следует рассмотреть отдельно различные подразделы этой проблемы. Следующее разделение основано на лекциях Лари Чайлдса, проведенных в рамках Международной Конференции по Техническим Коммуникациям 1990 года:

Полностью автоматический перевод;

Автоматизированный машинный перевод при участии человека;

Перевод, осуществляемый человеком с использованием компьютера.

Полностью автоматизированный машинный перевод. Этот вид машинного перевода и подразумевается большинством людей, когда они говорят о машинном переводе. Смысл здесь прост: в компьютер вводится текст на одном языке, этот текст обрабатывается и компьютер выводит этот же текст на другом языке. К сожалению, реализация такого вида автоматического перевода сталкивается с определенными препятствиями, которые еще предстоит преодолеть.

Основной проблемой является сложность языка как такового. Возьмем, к примеру, значения слова "can". Помимо основного значения модального вспомогательного глагола, у слова "can" имеется несколько официальных и жаргонных значений в качестве существительного: "банка", "отхожее место", "тюрьма". Кроме этого, существует архаичное значение этого слова - "знать или понимать". Если предположить, что у выходного языка для каждого из этих значений имеется отдельное слово, каким образом может компьютер их различить?

Как оказалось, определенные успехи были достигнуты в сфере разработки программ перевода, различающих смысл основываясь на контексте. Более поздние исследования при анализе текстов опираются больше на теории вероятности. Тем не менее, полностью автоматизированный машинный перевод текстов с обширной тематикой все еще является невыполнимой задачей.

Автоматизированный машинный перевод при участии человека. Этот вид машинного перевода теперь вполне осуществим. Говоря о машинном переводе при участии человека, обычно подразумевают редактирование текстов как до, так и после их обработки компьютером. Люди-переводчики изменяют тексты так, чтобы они были понятны машинам. После того, как компьютер сделал перевод, люди опять-таки редактируют грубый машинный перевод, делая текст на выходном языке правильным. Помимо такого порядка работы, существуют системы МП, во время перевода требующие постоянного присутствия человека-переводчика, помогающего компьютеру делать перевод особенно сложных или неоднозначных конструкций.

Машинный перевод с помощью человека применим в большей степени к текстам с ограниченным вокабуляром узко-ограниченной тематики.

Экономичность использования машинного перевода с помощью человека - вопрос все еще спорный. Сами программы обычно достаточно дорогостоящи, а для работы некоторых из них требуется специальное оборудование. Предварительному и последующему редактированию необходимо обучаться, да и работа эта не из приятных. Создание и поддержание в рабочем состоянии баз данных слов - процесс трудоемкий и зачастую требует специальных навыков. Однако для организации, переводящей большие объемы текстов в четко-определенной тематической сфере, машинный перевод с помощью человека может оказаться достаточно экономичной альтернативой традиционному человеческому переводу.

Перевод, осуществляемый человеком с использованием компьютера. При этом подходе человек-переводчик ставится в центр процесса перевода, в то время как программа компьютера расценивается в качестве инструмента, делающего процесс перевода более эффективным, а перевод - точным. Это обычные электронные словари, которые обеспечивают перевод требуемого слова, возлагая на человека ответственность за выбор нужного варианта и смысл переведенного текста. Такие словари значительно облегчают процесс перевода, но требуют от пользователя определенного знания языка и затрат времени на его осуществление. И все же сам процесс перевода значительно ускоряется и облегчается.

Среди систем, помогающих переводчику в работе, важнейшее место занимают так называемые системы Translation Memory (TM).Системы ТМ представляют собой интерактивный инструмент для накопления в базе данных пар эквивалентных сегментов текста на языке оригинала и перевода с возможностью их последующего поиска и редактирования. Эти программные продукты не имеют целью применение высокоинтеллектуальных информационных технологий, а наоборот, основаны на использовании творческого потенциала переводчика. Переводчик в процессе работы сам формирует базу данных (или же получает ее от других переводчиков или от заказчика), и чем больше единиц она содержит, тем больше отдача от ее использования.

Вот список наиболее известных систем ТМ:

Transit швейцарской фирмы Star,

Trados (США),

Translation Manager от IBM,

Eurolang Optimizer французской фирмы LANT,

DejaVu от ATRIL (США),

WordFisher (Венгрия).

Системы ТМ позволяют исключить повторный перевод идентичных фрагментов текста. Перевод сегмента осуществляется переводчиком только один раз, а затем каждый следующий сегмент проверяется на совпадение (полное или нечеткое) с базой данных, и, если найден идентичный или похожий сегмент, то он предлагается в качестве варианта перевода.

В настоящее время ведутся разработки по усовершенствованию систем ТМ. Например, ядро системы Transit фирмы Star реализовано на основе технологии нейронных сетей.

Несмотря на широкий ассортимент систем TM, они имеют несколько общих функций:

Функция сопоставления (Alignment). Одно из преимуществ систем ТМ – это возможность использования уже переведенных материалов по данной тематике. База данных ТМ может быть получена путем посегментного сопоставления файлов оригинала и перевода.

Наличие фильтров импорта – экспорта. Это свойство обеспечивает совместимость систем ТМ с множеством текстовых процессоров и издательских систем и дает переводчику относительную независимость от заказчика.

Механизм поиска нечетких или полных совпадений. Именно этот механизм и представляет собой основное достоинство систем ТМ. Если при переводе текста система встречает сегмент, идентичный или близкий к переведенному ранее, то уже переведенный сегмент предлагается переводчику как вариант перевода текущего сегмента, который может быть подкорректирован. Степень нечеткого совпадения задается пользователем.

Поддержка тематических словарей. Эта функция помогает переводчику придерживаться глоссария. Как правило, если в переводимом сегменте встречается слово или словосочетание из тематического словаря, то оно выделяется цветом и предлагается его перевод, который можно вставить в переводимый текст автоматически.

Средства поиска фрагментов текста. Этот инструмент очень удобен при редактировании перевода. Если в процессе работы был найден более удачный вариант перевода какого-либо фрагмента текста, то этот фрагмент может быть найден во всех сегментах ТМ, после чего в сегменты ТМ последовательно вносятся необходимые изменения.

Конечно, как и любой программный продукт, системы ТМ имеют свои достоинства и недостатки, и свою область применения. Однако в отношении систем TM,основным недостатком является их дороговизна.

Особенно удобно использовать системы ТМ при переводе таких документов, как руководства пользователя, инструкции по эксплуатации, конструкторская и деловая документация, каталоги продукции и другой однотипной документации с большим количеством совпадений.