ChatGPT держится на одном сервере PostgreSQL

OpenAI наконец-то раскрыли архитектурную подноготную ChatGPT, и она разрывает шаблоны современной разработки. Сервис с 900 миллионами пользователей работает на одном мастере PostgreSQL, без шардирования.

Пока стартапы с сотней юзеров городят сложные распределенные системы, OpenAI просто подняли около 50 реплик для чтения и один царь-сервер для записи, который умудряется переваривать миллион запросов в секунду с минимальными задержками.

Чтобы мастер не лёг, инженерам приходится натурально выкручивать руки оптимизации: изменения схемы строго по таймеру (не успел за 5 секунд — откат), индексы создаются только в фоне, а любые блокирующие операции под строжайшим запретом. Чтение же просто размазывается по репликам, где критический трафик жестко отделен от тяжелого аналитического мусора, чтобы не тормозить ответы пользователям.

Автор публикации

не в сети 32 минуты

E-tec

1 010

Комментарии: 19Публикации: 456Регистрация: 29-07-2018