Throttle/cnav endpoints

[Samuelfaure]

CNAV data provider limit API use per endpoint to 100 req/min/final user or we might get banned.

This PR ensures the correct rates are documented / enforced

[skelz0r]

D'où cela vient ? Il n'y a aucun contexte.

(je request changes pour éviter que ça parte en prod. J'ai ma petite idée de où ça vient mais du coup 1. j'aimerais une confirmation 2. c'est beaucoup trop haut du coup 3. faut analyser l'impact sur l'usage actuel)

[Samuelfaure]

1. ça vient du FD (faut que Miryad valide la PR, je l'ai ajoutée au repo)
2. Beaucoup trop haut? On passe de 20 req/secondes à 100/min (1.6 req/secondes) (par endpoint certes mais nos FDs consomment rarement plus de 5 endpoints CNAV à la fois)
3. A priori aucun user ne dépasse parce que sinon la CNAV nous remonte les bretelles (ils checkent attentivement)

[skelz0r]

1. ça vient du FD (faut que Miryad valide la PR, je l'ai ajoutée au repo)
2. Beaucoup trop haut? On passe de 20 req/secondes à 100/min (1.6/secondes) (par endpoint certes mais nos FDs consomment rarement plus de 5 endpoints CNAV à la fois)
3. A priori aucun user ne dépasse parce que sinon la CNAV nous remonte les bretelles (ils checkent attentivement)

Je me doute que ça vient du FD 😅
C'est ce qui a dans le contrat ? Miryad a demandé une confirmation (le 07/07) parce que ce n'est pas clair (aucune réponse dans ma mailbox pour le moment), il faut creuser aussi notre usage pour voir les pics qu'on a et double-check si c'est vrai.
De plus, t'as mis 100 req/min pour tout le monde, donc en gros on a 2 usagers qui tape à la limite sur QF on fait tomber notre prod.

Il faut à mon sens:

1. Une confirmation du FD des limites
2. Une analyse de notre usage
3. Avec 1. et 2. on peut ensuite ajuster notre rate limit (et non au doigt mouillé)

[Samuelfaure]

De plus, t'as mis 100 req/min pour tout le monde, donc en gros on a 2 usagers qui tape à la limite sur QF on fait tomber notre prod.

C'est 100 req/min/par utilisateur final (pas API part.) la limite demandée par la CNAV, j'ai mal compris la config? 🤔

[skelz0r]

De plus, t'as mis 100 req/min pour tout le monde, donc en gros on a 2 usagers qui tape à la limite sur QF on fait tomber notre prod.

C'est 100 req/min/par utilisateur final (pas API part.) la limite demandée par la CNAV, j'ai mal compris la config? 🤔

Source ?

[Samuelfaure]

Discuté avec Miryad aujourd'hui à ce sujet, mais effectivement vaut mieux check si c'est specifié dans le contrat

[skelz0r]

Pas de retour précis avant fin du mois.

De ce fait, on a 3 options:

1. on tape nous sur une API pour empiriquement sortir la limite (genre 60/60 avec 2 X-APIPART-FSFINAL distinct, si OK -> 101 avec X-APIPART-FSFINAL)
2. il faut creuser avec l'hypothèse la plus conservatrice c'est à dire 100req/min pour nous, vérifier qu'on ne dépasse au global, et analyser les plus gros usagers voir quels sont leurs pics.
3. on touche à rien d'ici là

[Samuelfaure]

go 3. clairement pour le moment; cette PR est une demande de data sport (ils veulent les headers de rate limiting corrects) donc c'est pas important de merger avant la fin du mois

[skelz0r]

ils veulent les headers de rate limiting corrects

nos headers sont corrects, vu que ce sont nos propres headers.

J'aurais tendance à faire 1. perso parce que j'ai aucune confiance aux documentations.
Par ailleurs y'a peut-être des headers de rate limiting aussi, à creuser.
A valider avec Miryad imo avant de faire les cowboys