Quotas Earth Engine

Types de quotas

La plate-forme Earth Engine comporte un certain nombre de limites de quota pour garantir que les ressources sont distribuées équitablement entre les utilisateurs. Étant donné qu'il existe de nombreux types de ressources différents dans Earth Engine (calcul, stockage, etc.), il existe de nombreux types de limites de quota.

La principale différence entre les différents types de quotas est de savoir s'ils sont ajustables. Pour certains types de quotas, nous pouvons modifier les limites par utilisateur ou par projet, tandis que d'autres types sont des limites à l'échelle du système qui ne peuvent pas être modifiées.

Limites de quota ajustables

Les limites suivantes peuvent être ajustées pour chaque projet. Consultez la page d'aide pour savoir comment demander un quota supplémentaire.

Requêtes interactives simultanées

Chaque projet peut effectuer des requêtes interactives en parallèle, dans la limite d'un quota. Si la limite est dépassée, Earth Engine renvoie des erreurs"HTTP 429 : Too Many Requests". En général, ces erreurs sont gérées par la bibliothèque cliente Earth Engine, qui encapsule les requêtes dans un intervalle exponentiel et relance la requête jusqu'à ce qu'elle aboutisse. La bibliothèque cliente Earth Engine relancera la requête jusqu'à cinq fois.

Pour éviter de recevoir ces erreurs 429, vous pouvez activer la mise en cache pour votre application, par exemple en utilisant memcache, afin d'éviter les requêtes redondantes lorsque cela est possible. Si vous utilisez une ancienne version de la bibliothèque cliente Earth Engine qui ne relance pas automatiquement les requêtes, ou si une requête n'est toujours pas terminée après cinq tentatives, vous devrez peut-être implémenter un intervalle exponentiel entre les requêtes.

Taux de requêtes (RPS)

En plus des limites de simultanéité, Earth Engine limite le taux de requêtes interactives au niveau du projet et de l'utilisateur. Vous pouvez ajuster ces paramètres dans la console Cloud.

Tâches par lot simultanées

Les tâches par lot sont limitées à un faible niveau de parallélisme, car elles utilisent plus de ressources que les requêtes interactives.

Lorsque vous utilisez Earth Engine à des fins non commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est défini sur la valeur par défaut, sauf si vous avez bénéficié d'une augmentation de quota.

Lorsque vous utilisez Earth Engine à des fins commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est déterminé par le forfait, mais il peut être encore réduit en définissant la limite de simultanéité des tâches par lot par projet. Par défaut, la limite de simultanéité des tâches par lot dans un projet est définie sur la valeur maximale autorisée par le forfait configuré dans le compte de facturation du projet. Pour afficher ou modifier cette limite dans un projet, consultez la documentation de l'outil de ligne de commande.

Quota de stockage des composants

Chaque ressource Earth Engine possède une taille de stockage de données correspondante, mesurée en octets. Les éléments peuvent appartenir à des projets Cloud ou à des personnes (anciens éléments). Chaque élément est comptabilisé dans la limite Earth Engine de son propriétaire en termes de stockage global et de nombre d'éléments.

Temps d'EECU par jour

Si vous souhaitez contrôler les coûts, vous pouvez limiter la quantité de temps de calcul d'unité d'exécution Earth Engine qu'un projet est autorisé à consommer par jour. Par défaut, ce quota est illimité. Les administrateurs de quotas peuvent définir cette limite dans la console Cloud en filtrant la métrique de quota earthengine.googleapis.com/daily_eecu_usage_time. Une fois défini, ce quota cumule le temps d'EECU consommé par les requêtes Earth Engine réussies de tous les utilisateurs d'un projet. Lorsque le quota est dépassé, les requêtes échouent jusqu'à ce qu'il soit réinitialisé le lendemain ou que la limite soit augmentée. Pour en savoir plus sur la définition de ce quota, consultez le guide sur les contrôles des coûts.

Licences utilisateur

Lorsque vous utilisez Earth Engine à des fins commerciales, chaque niveau d'abonnement est associé à un certain nombre de postes utilisateur. Il est également possible d'acheter des postes supplémentaires.

Les administrateurs de service doivent acheter un nombre de licences correspondant au nombre d'utilisateurs de l'éditeur de code au cours d'un cycle de facturation donné.

Questions fréquentes

Q : Qui est comptabilisé comme utilisateur ?
R : Seuls les utilisateurs humains distincts qui utilisent le calcul Earth Engine à l'aide de l'éditeur de code (affichage des tuiles de carte, envoi de requêtes de calcul, etc.) sont comptabilisés dans la limite de sièges.

Q : Que se passe-t-il si le nombre d'utilisateurs change d'un mois à l'autre ?
R : Les sièges ne sont pas attribués à des personnes spécifiques. Il ne s'agit pas d'emplacements nominatifs. Tant que vous ne dépassez pas le nombre d'utilisateurs au cours d'un mois donné, les identités individuelles des utilisateurs n'ont pas d'importance.

Q : Qu'en est-il des comptes de service ?
R : Les comptes de service sont exemptés du nombre de postes. Ils ne sont pas considérés comme des utilisateurs humains effectuant des calculs.

Q : Qu'en est-il des utilisateurs qui accèdent à Earth Engine via Python ?
R : Les utilisateurs qui n'accèdent à Earth Engine que par le biais de l'API Python et qui n'utilisent pas l'éditeur de code ne sont pas comptabilisés dans l'utilisation des sièges. Le nombre de sièges est lié à l'utilisation de l'éditeur de code.

Q : Où sont comptabilisées les places ?
R : Le nombre de sièges s'applique au niveau du compte de facturation. Tous les utilisateurs humains de votre organisation qui utilisent l'éditeur de code contribuent au nombre total de sièges de votre compte de facturation.

Q : Que se passe-t-il si nous dépassons notre limite de sièges ?
R : Nous surveillons les cas de non-respect répétés et appliquons des limites au niveau du compte de facturation.

Q : Comment acheter plus ou moins de licences ?
R : Pour en savoir plus, consultez la page Tarifs d'Earth Engine.

Limites de quota fixes

Ces types de limites de quota sont définis au niveau de la plate-forme. Par conséquent, vous ne pouvez pas les ajuster par utilisateur ni par projet. Il est peu probable qu'ils changent de manière significative au fil du temps.

Temps de calcul

La durée maximale des différents types de requêtes varie. Pour en savoir plus, consultez la documentation sur les environnements de traitement.

Pour obtenir de l'aide sur la résolution des erreurs de délai avant expiration, consultez le guide de débogage.

Espace mémoire utilisé par requête

Lorsqu'une requête échoue avec le message "Limite de mémoire utilisateur dépassée", cela signifie qu'Earth Engine n'a pas pu calculer la réponse dans l'empreinte mémoire autorisée. La plate-forme de calcul EE dispose d'une quantité limitée de RAM. Pour garantir la stabilité du système, chaque requête ne peut utiliser qu'une certaine quantité de RAM. La quantité maximale de mémoire disponible dépend du type de requête (par exemple, plus pour une tâche par lot que pour un bloc de carte), mais il s'agit de limites à l'échelle du système.

Pour obtenir de l'aide afin de corriger les erreurs de mémoire, consultez le guide de débogage.

Agrégations

Lorsque nous traitons les requêtes Earth Engine, nous séparons certains types de sous-calculs qui sont connus pour être intensifs en termes de calcul. Ces sous-calculs sont appelés "agrégations" et sont traités de manière spéciale dans le système EE. Les résultats des agrégations sont mis en cache pour éviter d'avoir à les recalculer.

Agrégations simultanées

Pour éviter une expansion de calcul incontrôlée, nous limitons le nombre d'agrégations qu'un utilisateur individuel peut exécuter simultanément. Cette limite est immuable. Lorsqu'une requête échoue avec le message "Trop d'agrégations simultanées", cela signifie que le demandeur avait trop d'agrégations en cours d'exécution en même temps.

Pour obtenir de l'aide sur la résolution des erreurs d'agrégation simultanée, consultez le guide de débogage.

Résultats d'agrégation volumineux

Lorsqu'une requête échoue avec le message "Valeur calculée trop grande", cela signifie que l'agrégation a renvoyé un résultat trop volumineux pour tenir dans notre cache. La taille limite des résultats calculés est de 100 Mio. Il s'agit d'une limite à l'échelle du système.

Limites d'importation de tableaux

Les limites d'importation de tableaux sont expliquées dans le guide d'importation des données de tableau.

Taille de la charge utile de la requête

La taille d'une requête unique envoyée à Earth Engine est limitée à 10 Mo. Cette limite n'est généralement dépassée que lorsqu'une grande quantité de données supplémentaires est incluse directement dans la requête, comme un fichier de formes ou une structure GeoJSON intégrés à la requête. Ces objets doivent plutôt être importés et transformés en un élément FeatureCollection, puis référencés par l'ID de l'élément.

Longueur de la file d'attente des tâches

Les tâches en attente de planification (à l'état READY) forment la "file d'attente des tâches". La file d'attente de chaque projet peut contenir jusqu'à 3 000 tâches. Cela signifie qu'il n'est pas possible d'avoir plus de 3 000 tâches à l'état READY.

Limites de quota des fonctions raster BigQuery

Les quotas suivants s'appliquent aux appels à Earth Engine depuis BigQuery, par exemple lorsque vous utilisez la fonction SQL ST_REGIONSTATS.

Temps d'emplacement BigQuery par jour

Le quota de temps d'emplacement BigQuery par jour est un quota personnalisé qui vous permet de limiter la quantité de temps d'emplacement que les fonctions raster BigQuery sont autorisées à consommer sur Earth Engine au cours d'une journée donnée pour un projet donné. Le quota quotidien cumule le temps total passé sur toutes les requêtes, même celles qui échouent. Vous pouvez consulter le quota dans la console Cloud sous la métrique earthengine.googleapis.com/bigquery_slot_usage_time. Un administrateur de quotas peut ajuster la valeur à la hausse ou à la baisse. Pour augmenter la valeur au-delà de la valeur par défaut, créez une demande d'augmentation de quota, qui sera approuvée automatiquement. La modification devrait prendre effet dans les 10 minutes.

Si vous dépassez ce quota, BigQuery renvoie le message d'erreur suivant :

From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.

Une fois le quota dépassé, les appels ST_REGIONSTATS échouent jusqu'à ce que le quota soit réinitialisé le lendemain ou que la limite soit augmentée par un administrateur.