Squeak.ru - шаблоны программирования

Почему GAE не распределяет нагрузку на другие доступные экземпляры?

Прежде всего, вот мой app.yaml:

runtime: nodejs10
env: standard
instance_class: F1
handlers:
  - url: /.*
    script: auto
automatic_scaling:
  min_instances: 1
  max_instances: 20
inbound_services:
  - warmup

Я использую Apache Benchmark для этого:

ab -c30 -n100000 "${URL}"

Что я заметил в консоли GAE, так это то, что у меня есть 8 доступных экземпляров, но только 3 берут на себя 99% работы. Остальное обслуживает либо без запроса, либо очень маленькую порцию.

введите здесь описание изображения

Любая идея, что проблема может быть здесь?

google-app-engine
23.01.2020

Ответы:


1

Я бы рекомендовал использовать элемент "max_concurrent_requests". в вашем файле «app.yaml», так как этот элемент представляет собой количество одновременных запросов, которые экземпляр автоматического масштабирования может принять, прежде чем планировщик создаст новый экземпляр (имейте в виду, что максимальное ограничение составляет 80).

Кроме того, вы также можете установить "max_pending_latency", указывает максимальное количество времени, в течение которого App Engine должен позволить запросу находиться в очереди ожидания, прежде чем запускать дополнительные экземпляры для обработки запросов, чтобы уменьшить задержку ожидания. Если вы достигнете предела, это будет сигналом к ​​масштабированию, поэтому количество экземпляров будет увеличено.

23.01.2020
  • Мне кажется, что у меня есть много доступных экземпляров для выполнения работы, поэтому мне действительно не нужно создавать больше в моей ситуации. Что касается максимальной задержки ожидания, я могу добавить, что я выполняю этот нагрузочный тест в течение длительного времени: 15-30 минут, поэтому я думаю, что у меня достаточно времени для масштабирования. И действительно масштабируется, просто трафик как-то не распределяется должным образом. Эти дополнительные 5 экземпляров просто справляются с нагрузкой ‹1% в течение 15-30 минут, что довольно стабильно. 26.01.2020

    • 2

    Тот факт, что нагрузка неравномерно распределяется между запущенными экземплярами, является нормальным и фактически желательным, если количество экземпляров, все еще обрабатывающих запросы, достаточно для обработки текущего уровня нагрузки с удовлетворительным уровнем производительности — это позволяет другим экземплярам быть простаивает достаточно долго, чтобы автоматически отключиться (из-за бездействия).

    Это часть логики динамического управления экземплярами, используемой с автоматическим и базовым планированием.

    24.01.2020
  • См. также stackoverflow.com/questions/37188781/ 25.01.2020
  • Хм, я действительно не думаю, что 3 экземпляра, которые обрабатывают 99%, не справляются с нагрузкой. Насколько я понимаю, с 30 одновременными запросами каждый экземпляр может обрабатывать 1 запрос за раз (F1 -> 1 процессор). Так что кажется, что есть много работы, которую нужно взять на себя другим экземплярам. Также это наблюдение не изменится, если я приведу количество одновременных запросов к 50 или 100. 26.01.2020
  • Попробуйте установить одновременные запросы на 1 (это то, что заставляет ваше приложение обрабатывать только 1 запрос за раз, а не один процессор). Также следите за задержкой/время ответа вашего запроса (что является наиболее заметным индикатором способности запущенных экземпляров справляться с нагрузкой). 26.01.2020
  • Да, вы абсолютно правы насчет 1 запроса за раз, я должен использовать max_concurrent_requests. На самом деле сегодня у меня снова не было этой проблемы, я не переустанавливал, поэтому я не уверен, что изменилось. Я повторю попытку и закрою это, если не смогу воспроизвести. Спасибо за помощь! 27.01.2020
    • Новые материалы
    Угловая структура архитектуры
    Обратите внимание, что эта статья устарела, я решил создать новую с лучшей структурой и с учетом автономных компонентов: https://medium.com/@marekpanti/angular-standalone-architecture-b645edd0d54a..
    «Данные, которые большинство людей используют для обучения своих моделей искусственного интеллекта, поставляются со встроенным…
    Первоначально опубликовано HalkTalks: https://hacktown.com.br/blog/blog/os-dados-que-a-maioria-das-pessoas-usa-para-treinar-seus-modelos-de-inteligencia-artificial- ja-vem-com-um-vies-embutido/..
    Сильный ИИ против слабого ИИ: различия парадигм искусственного интеллекта
    В последние годы изучению и развитию искусственного интеллекта (ИИ) уделяется большое внимание и прогресс. Сильный ИИ и Слабый ИИ — две основные парадигмы в области искусственного интеллекта...
    Правильный способ добавить Firebase в ваш проект React с помощью React Hooks
    React + Firebase - это мощная комбинация для быстрого и безопасного создания приложений, от проверки концепции до массового производства. Раньше (знаете, несколько месяцев назад) добавление..
    Создайте API с помощью Python FastAPI
    Создание API с помощью Python становится очень простым при использовании пакета FastAPI. После установки и импорта вы можете создать приложение FastAPI и указать несколько конечных точек. Каждой..
    Веселье с прокси-сервером JavaScript
    Прокси-серверы JavaScript — это чистый сахар, если вы хотите создать некоторую общую логику в своих приложениях, чтобы облегчить себе жизнь. Вот один пример: Связь клиент-сервер Мы..
    Получить бесплатный хостинг для разработчиков | Разместите свой сайт за несколько шагов 🔥
    Статические веб-сайты — это веб-страницы с фиксированным содержанием и его постоянным содержанием. Но теперь статические сайты также обрабатывают динамические данные с помощью API и запросов...