Что такое задержка P99?

Это 99-й процентиль. Это означает, что 99% запросов должны выполняться быстрее заданной задержки. Другими словами, только 1% запросов может быть медленнее.

Мы можем объяснить это по аналогии: если 100 студентов участвуют в забеге, то 99 студентов должны завершить забег за «латентное» время.

Представьте, что вы собираете данные о производительности своего сервиса, а таблица ниже представляет собой набор результатов (значения задержки вымышлены, чтобы проиллюстрировать идею).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

Задержка P99 вашего сервиса составляет 7 с. Только 1% запросов занимает больше времени. Таким образом, если вы можете уменьшить задержку P99 вашего сервиса, вы повысите его производительность.

Возьмем пример из здесь

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Таким образом, мы можем сказать, что для 99 процентов веб-запросов средняя обнаруженная задержка составила 1,3 мс (миллисекунды/микросекунды зависят от настроенных мер задержки вашей системы). Как сказал @tranmq, если мы уменьшим задержку службы P99, мы сможем повысить ее производительность.

И также стоит отметить p95, так как из-за небольшого количества запросов p99 может быть более дорогостоящим, чем p95, например) начальные запросы, которые создают кеш, объекты класса прогреваются, потоки инициализируются и т. д. Таким образом, p95 может отсекать эти 5% худших сценарии кейсов. Тем не менее из этих 5% мы не знаем процентили реальных случаев шума по сравнению с входными данными наихудшего случая.

Наконец; мы можем иметь примерно 1% шума в наших измерениях (например, перегрузки сети , перебои в работе, снижение качества обслуживания), поэтому задержка p99 является хорошим показателем практически наихудшего случая. И почти всегда наша цель — уменьшить задержку p99.