Доброго дня!
К сожалению употребление "Высоконагруженный сервис" и "Защиты на стороне веб сервера" не очень корректны.
Во-первых: Учитывая, что вы все еще на VDS и проект реализован как standalone, а запросы выполняются по Ajax - понимание об высокой нагрузке у нас разное, однако высокая нагрузка это не только запросы, это вся фоновая активность проекта. Если у вас высоконагруженный проект висит на VDS со всем "фаршем", то это скорее среднестатистический проект, по крайней мере на данный момент.
Во-вторых: DDoS - это распределенная атака суть которой вывести из строя ПО/Железо жертвы тем самым приведя проект в не рабочее состояние. У данной атаки существует много уровней и достаточно типов, и к сожалению модуль limit_req, тем более на одном сервере с проектом не эффективен. Предназначение модуля совсем другое, он необходим чтобы ограничить скорость обработки запросов по заданному ключу или, как частный случай, скорость обработки запросов, поступающих с одного IP-адреса, да он может защитить от HTTP Flood атаки, но это самая примитивная атака. Т.е. защищать сервер на стороне веб сервера на том же сервере - как защищать голову каской при ударах битой... Содержимое головы в любом случае содрогнётся и сотрясение будет получено, другой вопрос во что выльется вам это "сотрясение".
Использование прокси-сервера один из основных на данный момент способов защиты от DDoS, который позволяет в случае атаки отсечь ее на внешнем сервере минимизировав ее последствия на сервере самого приложения. Если вы все-таки хотите отказаться от услуг стороннего прокси провайдера который сейчас предоставляет вам защиту, вы можете поступить следующим образом:
- Арендовать отдельный VPS/VDS сервер
- Установить nginx + iptables
- Настроить обратный прокси (reverse proxy) на сервер проекта
- Настроить модули limit_req
- Закрыть все порты которые не требуются для работы, в идеале оставить 80,443 порты.
- Избегать публикации оригинального IP адреса приложения, все запросы, по крайней мере HTTP должны происходить ТОЛЬКО через проксирующий сервер.
Из плюсов, в период роста нагрузки на проекте, вы сможете прокси сервер переквалифицировать в балансировщик и балансировать нагрузку с его помощью, так же прокси сервер будет отсекать большинство других типов DDOS атак - SYN, UDP, ICMP.
Если по теме, отделить AJAX запросы вы можете на уровне все того же веб сервера путем проверки $http_x_requested_with
