Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Limites de fréquences de requêtes HTTP

nicolas

On a en ce moment un problème de Performance de la coloration syntaxique de cgit (git.club1.fr) #217. Lorsqu’un crawler ou autre bot scanne git.club1.fr, un très grand nombre de colorations syntaxiques doivent être effectuées, cgit a un cache pour ne pas avoir à les générer deux fois, mais ce n’est pas suffisant dans notre cas.

Je me dit que, de la même manière que pour Une limite pour les envois d'emails ? #212, on pourrait configurer une rate limit pour ce genre de site un peu coûteux. L’idée serait de renvoyer une erreur 429 Too many requests pour que les bots pas trop méchants puissent ajuster d’eux-même leur vitesse de requête.

J’ai commencé à lire cet article qui parle de configurer ça avec Nginx, mais je ne l’ai pas encore fini. Bref à creuser: https://blog.nginx.org/blog/rate-limiting-nginx

Voir aussi la doc Nginx à propos de ce module : https://nginx.org/en/docs/http/ngx_http_limit_req_module.html

nicolas

Je viens d’appliquer des limites sur quasiment tous les sites Web à partir de Nginx. C’est le plus malin puisque c’est lui qui est en amont de toutes les requêtes.

J’ai mis une config plutôt restrictive mais différenciée en fonction des sites. J’ai surtout mis une grosse limite sur git.club1.fr. Normalement vous ne devriez pas voir de ralentissement sur vos sites, sauf si vous chargez plus de 15 ressources à partir de sites CLUB1 dans vos pages.

Je garde ce ticket ouvert pour le moment, le temps de voir ce que ça donne.

Je vais peut-être aussi ajouter d’autres exceptions dans les fréquences, par exemple très peu limiter static.club1.fr, puisque c’est très peu coûteux pour le serveur.

Bon il ne faut pas voir ça comme une solution au problème des bots peu consciencieux mais plus comme une mitigation. Ça ne nous protégera pas de DDoS non plus mais c’est déjà ça.

vincent

nicolas Normalement vous ne devriez pas voir de ralentissement sur vos sites, sauf si vous chargez plus de 15 ressources à partir de sites CLUB1 dans vos pages.

J’ai une page qui peut charger jusqu’à 300 ressources qui est bien mise en galère par ce réglage 😅 :

https://vincent.club1.fr/carnet-video/clip/

nicolas

Haha, effectivement, bon je vais faire des règles plus différenciées en fonction des sites. En fait c’était surtout pour le service de dépôts Git que je voulais mettre ces limites. J’avais mis les limites à tout club1.fr dans un premier temps parce que les configs étaient en commun, mais maintenant que je les ai séparées on peut faire un truc un peu plus précis.

nicolas

OK, je viens d’enlever la limite pour les sous-domaines par défaut mais je l’ai gardé pour le forum, le site principal et le service de dépôts Git.

nicolas

Je pense que ce n’est pas la peine de mettre des limites de fréquence sur les sites des membres. Le plus important était de limiter le service Git et le forum. Du coup je vais fermer ce ticket. On pourra en ouvrir d’autres si on veut en rajouter sur certains services.

Je pense aussi limiter le service WebDAV, meme si ensoi il est déjà bien limité par l’authentification.

nicolas

@vincent m’a fait remarquer que les médias étaient un peu trop limités, en particulier sur la page d’administration de gestion des médias. Du coup j’ai modifié la configuration pour servir les médias de manière statique directement depuis Nginx, et sans limites de fréquence de requêtes.