Перейти к содержанию

**Message Queue (Mesaj Kuyruğu)** – bu, uygulamalar, sistemler veya hizmetler arasında mesajların (verilerin) asenkron olarak iletilmesi için kullanılan bir yazılım bileşenidir. Mesajlar geçici olarak bir kuyrukta depolanır ve alıcı tarafından işlenmeye hazır olana kadar bekletilir. Bu, gönderen ve alıcının aynı anda çalışmasına gerek kalmadan veri alışverişi yapmasına olanak tanır.

Message queue — это асинхронный промежуточный слой, который сохраняет сообщение, оставленное одним приложением, чтобы другое приложение забрало и обработало его, когда будет готово. В статье объясняется, как работает очередь, какие протоколы она использует, в чём разница между RabbitMQ и Kafka и какие реальные рабочие сценарии существуют.

Nurullah Okatan · Автор контента
· Обновлено: · 1 мин чтения

Что такое Message Queue? Принцип работы очереди сообщений, протоколы и сферы применения

Message queue (очередь сообщений) — это промежуточный слой, который задерживает сообщение, оставленное одним приложением, до тех пор, пока другое приложение не будет готово его получить и обработать. Отправитель и получатель не обязаны работать одновременно. Поэтому, когда один сервис замедляется или останавливается, остальные сервисы не встают, а данные не теряются.

Как работает message queue?

Очередь сообщений — это зона ожидания между двумя приложениями. По определению IBM, message queue — это компонент промежуточного слоя обмена сообщениями, который позволяет независимым приложениям и сервисам обмениваться информацией. Приложения не вызывают друг друга напрямую, а используют очередь.

Взаимосвязь между очередью сообщений и микросервисной архитектурой

Производитель и потребитель

В очереди есть две роли. Производители (producer) создают сообщение и отправляют его в очередь. Потребители (consumer) забирают сообщения из очереди и обрабатывают их. Например, веб-форма помещает в очередь сообщение «новая заявка». Отдельный сервис получает его и отправляет письмо с подтверждением. Форма отвечает пользователю, не дожидаясь, отправлено ли письмо.

Порядок выхода сообщений

В зависимости от источника потока очереди чаще всего используют FIFO (первым пришёл — первым вышел). Сообщение, поступившее в очередь первым, первым выдаётся потребителю. Такое поведение ожидается в процессах, где нельзя нарушать порядок, например в заказах или платежах. Если несколько потребителей читают одну очередь параллельно, порядок обработки может сбиться; если порядок важен, архитектура должна учитывать это.

Точка-точка обмена сообщениями

По определению IBM, message queue использует модель «точка-точка» (point-to-point). Приложение-отправитель помещает сообщение в очередь, а одно приложение-получатель забирает его и использует. Каждое сообщение потребляется один раз одним получателем. Если одно и то же сообщение нужно разослать многим сервисам, применяется шаблон «публикация-подписка» (pub/sub). Подобные архитектурные решения принимаются, когда определяют, как сервисы будут обмениваться данными в проектах веб-разработки.

ИИ-помощник по этой теме

ИИ Türk Bilişim мгновенно отвечает на ваши вопросы
Онлайн
  1. Здравствуйте! Спрашивайте о чём угодно.

Что происходит с сообщениями, если сервис в системе с очередью падает?

Когда сервис падает, сообщения остаются в очереди и продолжают обрабатываться после его восстановления. По заметкам об архитектуре микросервисов на GitBook, пока потребитель недоступен, данные остаются в очереди. Когда сервис снова доступен, он продолжает потреблять очередь без потери данных.

Асинхронная связь и независимость

По источнику потока, очередь сообщений — это механизм асинхронной связи, который не требует прямого соединения или немедленной обработки. Отправляющий сервис не ждёт ответа. Он оставляет сообщение и занимается своими делами. По сравнению RabbitMQ и Kafka, сделанному Фатихом Сойсалом, такая структура позволяет приложениям работать независимо друг от друга. Ошибка одного не останавливает другого напрямую.

Где ждут данные, когда получатель отключён?

Данные ждут в самой очереди. По источнику потока, очередь — это временный буфер, который хранит сообщения до тех пор, пока получатель не будет готов. IBM также отмечает, что даже при сбоях в сети или у принимающего приложения сообщения в очереди не теряются. Для надёжности очередь и сообщения должны быть настроены на запись на диск (durable). Очередь, которая хранится только в памяти, потеряет содержимое при перезапуске брокера.

Масштабирование

Когда очередь накапливает сообщения, к ней подключают новых потребителей. Код производителя при этом не меняется. В пиковые периоды, например во время кампаний, количество потребителей увеличивают, а в спокойное время уменьшают. О том, как этот шаблон применяется в индивидуальной разработке, подробнее написано в статьях о разработке индивидуального программного обеспечения.

Нужна услуга «Разработка Android-приложений»?

AMQP, MQTT и гарантии доставки сообщений

AMQP (Advanced Message Queuing Protocol) — это открытый стандарт, описывающий, как очереди сообщений должны взаимодействовать между собой. По данным обзора arXiv о умных пространствах, AMQP — это протокол связи с открытым стандартом, поддерживаемый OASIS. Сервисы, написанные на разных языках, обмениваются сообщениями через один брокер, следуя общим правилам.

Что определяет AMQP?

Согласно заметкам об архитектуре микросервисов на GitBook, основные возможности AMQP таковы: маршрутизация сообщений, очереди, routing (p2p и pub/sub), надёжность и безопасность. MQTT — более лёгкий протокол. Его часто используют в датчиках и IoT-устройствах, где узка полоса пропускания.

Хранение и пересылка

Согласно обзору arXiv, AMQP для повышения надёжности сообщений включает механизм «хранения и пересылки» (store-and-forward). В том же источнике говорится, что брокер может помещать сообщения в очередь и сохранять их. Когда клиент становится активным, сообщения передаются ему. Устройство или сервис, отключённые в момент отправки, получат ожидающие сообщения, когда вернутся в сеть.

At-least-once и повторяющееся сообщение

Гарантии доставки обычно упоминают в трёх режимах: at-most-once, at-least-once и exactly-once. Согласно заметкам в GitBook, в режиме at-least-once издатель отправляет сообщение как минимум один раз. Если при получении подтверждения от потребителя возникает ошибка, издатель считает, что сообщение не дошло. Он отправляет его повторно, и потребитель получает одно и то же сообщение дважды. Поэтому в системах, использующих at-least-once, потребитель пишется так, чтобы распознавать повторы.

Разница между RabbitMQ и Apache Kafka

RabbitMQ доставляет сообщение и удаляет его; Apache Kafka хранит сообщение на диске в течение некоторого времени и позволяет читать его повторно. Согласно сравнению Kafka и RabbitMQ Ахмета Джана Оналa, RabbitMQ — это традиционный message broker на основе очередей. Тот же источник определяет Kafka как распределённую платформу потоковой передачи событий на основе журнала. Kafka предназначена для потоков данных и аналитики в реальном времени.

Самые популярные решения для очередей сообщений и их характеристики

Что происходит с сообщением после потребления?

Согласно сравнению Ахмета Джана Оналa, в RabbitMQ сообщение удаляется из очереди после того, как оно потреблено. Kafka же хранит сообщения на диске в течение заданного срока хранения. По умолчанию этот срок составляет 7 дней. Потребитель может перечитывать прошлые сообщения в этот период (replay). Недавно добавленный сервис отчётности может заново обработать события за последнюю неделю.

Обменники и правила маршрутизации

По тому же сравнению, RabbitMQ работает по протоколу AMQP. Производитель отправляет сообщение не непосредственно в очередь, а в exchange. Exchange по правилам direct, fanout, topic и headers направляет сообщение в одну или несколько очередей. Например, сообщение с меткой "siparis.iptal" может попасть и в очередь склада, и в очередь бухгалтерии. По заметкам о микросервисной архитектуре на GitBook, RabbitMQ также поддерживает протоколы MQTT и STOMP.

КритерийRabbitMQApache Kafka
СтруктураБрокер сообщений на основе очередейПлатформа потоковой передачи событий на основе журнала
Потребленное сообщениеУдаляется из очередиОстается на диске в течение срока хранения (по умолчанию 7 дней)
МаршрутизацияПравила обмена и маршрутизацииТопик и партиция
Перечитывание историиНетVar (повтор)
Подходящая задачаОчередь заданий, запрос/ответПотоки данных, аналитика в реальном времени

Что для какой задачи?

Для одноразовых задач, таких как отправка электронной почты, генерация PDF или подтверждение заказа, RabbitMQ требует меньше настройки. Если клики, данные датчиков или журналы операций будут читаться несколькими сервисами с разной скоростью, подходит Kafka. Управление кластером Kafka требует больше знаний об инфраструктуре. Для небольших команд эта нагрузка по обслуживанию также учитывается при выборе.

Использование очередей сообщений в бизнес-приложениях

В бизнес-приложениях очередь используется для разделения связанных, но работающих с разной скоростью операций. Заказ принимается, а следующие шаги запускаются последовательно через очередь.

Заказ, склад и счет

На сайте электронной коммерции, когда клиент нажимает кнопку "купить", система публикует одно сообщение "заказ создан". Сервис склада списывает товар. Сервис счетов готовит документ. Сервис доставки открывает запись об отправке. Если сервис счетов в данный момент работает медленно, клиент не ждет; сообщение сохраняет свою очередь. В часы акций даже при поступлении сотен заказов одновременно каждый попадает в очередь и обрабатывается по отдельности.

Интеграции с ERP, CRM и платежными системами

Прямые вызовы внешних систем при отключенной стороне-получателе выдают ошибку и приводят к потере данных. Карточка контрагента, отправленная во время обслуживания ERP, или запись клиента, которую не удалось записать в CRM, именно поэтому теряются. Очередь удерживает запись. Когда целевая система снова доступна, запись повторно отправляется. Уведомления от платежного провайдера также сначала помещаются в очередь и проверяются на защиту от двойной обработки.

Ведущая в Турции компания по AI-чатботам и клиентским ассистентам Türk Bilişim занимается разработкой чатботов и решений автоматизации с 2022 года. Компания работает как цифровое агентство с 1998 года и рассматривает эти связи в рамках услуг разработки API и интеграции и интеграции систем. Перед началом интеграции необходимо перечислить часы обслуживания и коды ошибок каждой внешней системы. Так заранее становится ясно, какой вызов будет поставлен в очередь.

Нужна услуга «Публикация и ASO»?

Часто задаваемые вопросы

В чем разница между очередью сообщений и базой данных?

База данных постоянно хранит данные и обеспечивает возможность их выборки. Очередь же временно удерживает сообщение, чтобы доставить его получателю. В RabbitMQ доставленное сообщение удаляется.

Нужна ли очередь сообщений для небольшого проекта?

На сайте с одним приложением и одной базой данных это обычно не требуется. Если есть соединения с внешними системами, длительные фоновые процессы или резкие всплески трафика, добавление очереди оправдано.

Сколько времени сообщения хранятся в очереди?

В RabbitMQ сообщение остаётся в очереди до тех пор, пока его не обработают, а после обработки удаляется. В Kafka срок хранения можно настроить; по сравнению Ахмета Джана Önal, значение по умолчанию составляет 7 дней.

Как предотвратить двойную обработку одного и того же сообщения?

Каждому сообщению присваивается уникальный идентификатор, и потребитель запоминает обработанные идентификаторы. Если тот же идентификатор приходит снова, операция пропускается. Этот подход называется идемпотентным потребителем.

Есть проект?

Türk Bilişim · Бесплатное предложение

Получите бесплатное предложение: Мобильный UI/UX дизайн и прототип

Оставьте номер, и мы сразу свяжемся с вами. Разговор бесплатный.

Прочитать уведомление о конфиденциальности

Nurullah Okatan Автор контента

Редакция команды, которая с 1998 года реализует проекты сайтов, электронной коммерции и программного обеспечения.

LinkedInInstagramFacebook

Поделиться статьёй

Комментарии

Комментарии

Комментариев пока нет.

Оставьте комментарий

Ваша оценка (необязательно)

Уведомление о конфиденциальности

Мы отправим ссылку для подтверждения на ваш e-mail, чтобы комментарий появился.

Другие наши услуги

Все услуги

Вам также может понравиться

Все статьи

Türk Bilişim · Консультант по цифровой трансформации

Онлайн
Здравствуйте! Напишите проект или идею, и начнём вместе.
Спросите что угодно — ИИ Türk Bilişim ответит мгновенно.