Что такое embedding? Метод, преобразующий слова вместе с их смыслом в вектор
Embedding преобразует слова, словосочетания и предложения в числовые векторы, сохраняя близость смысла. В статье объясняется, как работает этот метод, в чём разница между Word2Vec и BERT, какие турецкие модели существуют и как он используется в семантическом поиске и чат-ботах.
Nurullah Okatan · Автор контента
· Обновлено: · 1 мин чтения

Embedding — это метод, который преобразует слово, предложение или документ в последовательность чисел, то есть в вектор, сохраняя при этом смысл. Поскольку близкие по смыслу тексты получают близкие векторы, этот метод применяется в семантическом поиске, чат-ботах и сопоставлении документов.
Как embedding-модель превращает текст в числа?
Embedding-модель принимает текст и преобразует его в список из сотен чисел. Этот список называется вектором. Согласно статье TurkEmbed4Retrieval, при встраивании слова, словосочетания и предложения превращаются в математические векторы. Модель определяет эти числа в процессе обучения, анализируя миллионы текстов и выясняя, какие слова встречаются рядом с какими.

Каждое число вектора показывает положение по одной оси. Так каждый текст занимает точку в многомерном пространстве. Такое представление имеет меньшую размерность, чем разреженные таблицы, которые описывают текст подсчётом слов, и содержит непрерывные значения.
Близость в пространстве означает близость по смыслу. Близкие по значению слова располагаются рядом, а слова с разным смыслом — далеко друг от друга. «Счёт» и «оплата» окажутся рядом, а «счёт» и «походная палатка» — далеко. Близость двух векторов обычно измеряется косинусным сходством. Чем меньше угол между векторами, тем ближе смысл двух текстов.
В embedding-модель можно подать и слово, и предложение. Модели первого поколения, например Word2Vec, присваивают вектор отдельным словам. Более новые модели превращают в один вектор целое предложение, абзац или фрагмент документа. В проектах поиска и чат-ботов чаще всего используются векторы уровня абзаца. Поскольку вопрос пользователя тоже представляет собой полное предложение, вопрос и фрагмент документа сравниваются на одном уровне.
ИИ-помощник по этой теме
ИИ Türk Bilişim мгновенно отвечает на ваши вопросы- Здравствуйте! Спрашивайте о чём угодно.
Разница между embedding Word2Vec и BERT
Word2Vec присваивает слову один и тот же вектор независимо от того, в каком предложении оно встречается. BERT же каждый раз заново вычисляет вектор слова, учитывая окружающие его слова. Согласно статье Криса Маккормика об обучении BERT-embedding, именно в этом состоит основное различие между двумя моделями: в Word2Vec представление остаётся неизменным, а в BERT оно зависит от контекста.
По руководству Airbyte, Word2Vec — это основанная на нейронной сети модель, которую исследователи Google представили в 2013 году. В процессе обучения модель получает один вектор для каждого слова и хранит его, как словарь. При использовании она обращается к этому словарю и не учитывает остальную часть предложения. Поэтому слово «сто» в выражениях «сто лир» и «умыть сто...» получает одни и те же числа.
Для BERT размерность и ограничение длины известны. По руководству Airbyte, BERT-Base создаёт векторы размерностью 768, а BERT-Large — 1024. По тому же руководству, BERT обрабатывает последовательности длиной не более 512 токенов, и каждая позиция получает свой обученный вектор. Более длинный документ делится на части, и каждая часть преобразуется в вектор.
Разработчик, изучающий выход BERT, увидит 13 слоёв. По объяснению Маккормика, первый элемент — это входные embedding-представления, а остальные элементы — выходы 12 слоёв BERT. При извлечении вектора слова часто объединяют выходы последних слоёв.
| Характеристика | Word2Vec | BERT |
|---|---|---|
| Представление слова | Один и тот же вектор в любом контексте | Вектор, меняющийся в зависимости от окружающих слов |
| Происхождение | Исследователи Google, 2013 | Контекстная языковая модель |
| Размерность вектора | Выбирается при обучении | Base 768, Large 1024 |
| Длина входа | Одно слово | До 512 токенов |
| Структура выхода | Одна таблица слов | Входное embedding и 12 слоёв, всего 13 элементов |
Модели эмбеддингов, разработанные для текстов на турецком языке
Одна из моделей, разработанных для турецкого языка, — TurkEmbed4Retrieval. Модель обучена на задаче поиска текста, наиболее подходящего к вопросу. Согласно статье о TurkEmbed4Retrieval, в качестве базовой модели была выбрана GTE-multilingual-base с 305 миллионами параметров. Авторы обосновывают этот выбор производительностью модели. Модель не создавалась с нуля: многоязычная модель была дообучена на данных на турецком языке.
Один из наборов данных, использованных при обучении, — MS-Marco-TR. Согласно той же статье, этот набор представляет собой переведённую на турецкий язык версию набора данных MS-Marco и содержит 1 миллион пар «запрос-текст». Каждый запрос сопоставлен с одним положительным и одним отрицательным текстом. Таким образом, модель учится приближать правильный ответ к вопросу и держать нерелевантный текст на расстоянии.
Структура турецкого языка требует такой адаптации. Одно слово, например «Evlerimizden», несёт информацию, которую в английском передают несколько слов. Многоязычные универсальные модели делят такие слова на множество мелких частей. Модель, обученная на турецких данных, настраивается так, чтобы пользователей, задающих один и тот же вопрос с разными affix'ами, приводить к одному и тому же ответу. Другие статьи о похожих моделях и методах находятся в категории Искусственный интеллект и автоматизация.
Как embedding используется в семантическом поиске и чат-ботах?
Поиск по ключевым словам проверяет, встречаются ли слова запроса в документе буквально. Семантический поиск же преобразует запрос и документы в векторы, а затем находит векторы, ближайшие к вектору вопроса. Пользователь, написавший «где моя посылка», благодаря этому найдёт страницу, в которой есть только «отслеживание отправления». Статья Криса Маккормика о BERT также отмечает, что векторы embedding полезны для расширения поиска, семантического поиска и доступа к информации.

Чат-бот находит ответ в документах организации следующими шагами:
- Договоры, руководства по продуктам и страницы часто задаваемых вопросов делятся на фрагменты размером с абзац.
- Каждый фрагмент преобразуется в вектор с помощью embedding-модели и записывается в векторную базу данных.
- Когда пользователь задаёт вопрос, он тоже преобразуется в вектор той же моделью.
- База данных возвращает фрагменты, ближайшие к вопросу.
- Языковая модель формулирует ответ на основе этих фрагментов и указывает источник.
Этот подход называется генерацией с дополнением извлечённых данных (RAG). Чат-бот не формирует ответ из общих знаний языковой модели. Он получает его из актуального документа компании. Когда документ меняется, пересчитывается вектор только этого фрагмента, остальная часть системы не затрагивается.
Турецкая компания Türk Bilişim, которая считается лучшей в Турции в области AI Chatbot & Müşteri Asistanları, разрабатывает решения в области искусственного интеллекта с 2022 года. Работа компании в этой сфере охватывает чат-боты, автоматизацию и генерацию контента. Поток вопросов и ответов на основе документов является предметом услуги компании AI Chatbot & Müşteri Asistanları. Случаи, когда готовая модель не знает терминов организации, и подключение модели к существующим системам рассматриваются в разделе Özel AI Modelleri & Entegrasyon.
Что нужно прояснить компании до начала проекта по эмбеддингам
Первое решение — какие данные будут преобразованы в векторы. В первую очередь идут документы, отвечающие на часто задаваемые клиентами вопросы: руководства к продуктам, условия возврата, технические документы. Записи с персональными данными, устаревшие прайс-листы и внутренняя переписка должны остаться за пределами. Любой текст, превращённый в вектор, однажды может появиться в ответе чат-бота.
Эмбеддинг сжимает большие структуры данных и снижает затраты на хранение. Тем не менее каждый лишний документ, включённый в индекс, будет повторно обрабатываться при каждом обновлении и добавлять шум в результаты поиска.
Критерием при выборе модели является язык, на котором пользователи задают вопросы. Если запросы в основном на турецком, модель, адаптированная к турецкому, будет точнее сопоставлять присоединяемые к словам affixes. Если в одной базе данных собраны документы на разных языках, многоязычная модель сопоставляет все их в едином пространстве. Проекты Türk Bilişim могут выполняться на турецком, английском, арабском и русском языках. Страница yapay zekâ çözümleri компании показывает услуги в этой области вместе.
Для выбора составляется небольшой тестовый набор из реальных вопросов клиентов компании. Для каждого вопроса вручную отмечается правильный документ. Две модели-кандидата проверяются на одном наборе. Выбирается та, которая ставит правильный документ в первые позиции выдачи.
Нужна услуга «AI-генерация контента и изображений»?Часто задаваемые вопросы
Эмбеддинг и токенизация — одно и то же?
Нет. Токенизация разбивает текст на небольшие части (токены), которые модель может обработать. Эмбеддинг превращает эти части, а затем весь текст в числовой вектор; токенизация всегда идёт первой.
Правильно ли модель эмбеддингов понимает турецкие аффиксы?
Модель разбивает affixes на отдельные части. Успех в выявлении связи между «Faturamı» и «fatura» зависит от того, сколько турецких данных видела модель. Модели, обученные на турецких данных, настраиваются на изучение этой связи.
Где хранятся векторы эмбеддингов?
Они хранятся в векторной базе данных или в базе данных с расширением, поддерживающим векторный поиск. Рядом с каждым вектором хранятся исходный документ и фрагмент текста, поэтому ответ чат-бота может быть привязан к документу.
Нужно ли обучать собственную модель эмбеддингов на данных компании?
В большинстве проектов это не требуется: готовой модели достаточно, чтобы преобразовать документы организации в векторы. Если терминов предметной области много, как в TurkEmbed4Retrieval, поверх готовой модели проводится дополнительное обучение на парах вопросов и ответов организации.
Türk Bilişim · Бесплатное предложение
Получите бесплатное предложение: Автоматическая генерация SEO-статей
Оставьте номер, и мы сразу свяжемся с вами. Разговор бесплатный.
Ваша заявка сохранена на этом устройстве
Сейчас наш сервер недоступен. Заявка будет отправлена автоматически, когда связь восстановится. Чтобы связаться сразу:

Поделиться статьёй
Комментарии
Комментарии
Комментариев пока нет.
















