Как быстро ваши тома AWS EBS? – CloudSavvy IT

Скорость диска является важной частью измерения производительности сервера. В AWS есть много разных типов томов EBS, и для определения общей скорости вашего диска используется модель пакетного сегмента, аналогичная экземплярам T2.

Большинство серверных рабочих нагрузок, вероятно, включают в себя какое-то кэширование памяти, поэтому, если у вас много оперативной памяти, скорость вашего диска может не иметь большого значения; После прочтения файла он может некоторое время оставаться в памяти. Но для рабочих нагрузок с большой скоростью записи скорость диска становится ограничивающим фактором и может снизить или снизить производительность вашего сервера.

Объяснение производительности IOPS и SSD

AWS перечисляет и измеряет скорость SSD с использованием операций ввода-вывода в секунду (IOPS). Это в основном всего лишь показатель скорости чтения и записи в 4K устройства.

SSD работают по-разному при различных нагрузках, поэтому есть несколько способов измерить, насколько они быстры. Первый – это скорость последовательного чтения и записи, которая измеряет, насколько быстро они читают один большой файл с диска. Скорость имеет значение, особенно при работе с большими данными, но это идеальный сценарий, и в реальном мире твердотельные накопители обычно должны извлекать данные из нескольких мест одновременно.

Лучшим показателем является случайная производительность. Этот тест считывает и записывает файлы из 4096 байт в случайные места, отсюда и название «4K Random». Он более точно имитирует реальную нагрузку, с которой может столкнуться SSD.

Случайные тесты могут варьироваться в зависимости от глубины очереди – мера того, сколько SSD в настоящее время должен обрабатывать. Когда SSD запрашивается для набора файлов, глубина очереди будет высокой, что повышает производительность. Но базовая производительность измеряется на глубине очереди 1, что, как представляется, AWS измеряет на своих SSD.

IOPS – это показатель того, сколько реальных операций происходит. Формула для нахождения IOPS от МБ / с:

IOPS = (MBps / KB Per Operation) * 1024

И поскольку мы читаем 4 КБ за раз, формула становится:

IOPS = MBps * 256

Настольный SSD на приведенном выше снимке экрана будет иметь более 13 000 операций ввода-вывода в секунду, что довольно неплохо для 2 ТБ NVME SSD.

Модель взрыва ведра

Главное, что усложняет тома AWS EBS, – это взрывная производительность. Это работает очень похоже на то, как работают экземпляры T2 / T3 – когда диск простаивает, он накапливает IO-кредиты со скоростью, определяемой размером тома.

Эти кредиты идут в «ведро», которое собирает их максимум до 5,4 миллиона, что достаточно для полной производительности в течение 30 минут. Корзина начинает заполняться, чтобы обеспечить быструю загрузку приложений и запуск экземпляров.

Кредиты истощаются из ведра, чтобы использовать производительность. gp2 имеет максимальную производительность 3000 IOPS, поэтому вы можете использовать только 3000 в секунду.

Тома зарабатывают IO кредиты со скоростью 3 за ГБ в секунду. Это означает, что если у вас объем больше 1 ТБ, ваша корзина всегда будет заполнена, и вам не придется беспокоиться о быстродействии. Что-нибудь ниже этого, и вы ограничены базовой эффективностью, основанной на том, сколько кредитов вы заработали.

Если вам нужна более стабильная производительность, вы можете арендовать больший том или использовать выделенный том IOPS (io1). Хотя они дороже за ГБ, они позволяют вам покупать IOPS напрямую. Вы можете приобрести от 100 до 64 000 IOPS по цене 0,065 долл. США за выделенный IOPS. Это действительно экономически эффективно, если вы хотите более 3000 IOPS. За все, что под этим, вы будете платить двойную цену за объем. Например, если вам нужен объем 3000 IOPS объемом 64 ГБ, вы можете просто выделить 1 ТБ gp2 Объем за полцены. Но, если вы хотите дополнительную скорость, вы можете заплатить за нее.

Производительность жесткого диска (st1 и sc1)

Тома EBS на жестких дисках AWS также используют модель пакетного сегмента, но жесткие диски работают несколько иначе, чем твердотельные накопители, поэтому в IOPS это не измеряется. Поскольку жесткий диск использует вращающуюся головку диска, скорость чтения и записи будет фиксированной. Выполнение случайного чтения и записи значительно замедлит этот процесс (один из основных недостатков жестких дисков). AWS использует последовательные скорости чтения здесь.

За st1базовая скорость увеличивается на 40 МБ / с на ТБ, начиная с 20 при минимальном объеме тома 500 ГБ.

Скорость серийной съемки возрастает на 250 МБ / с на ТБ до максимум 500 МБ / с. Если объем превышает 12 ТБ, вы можете работать на максимальной скорости 100% времени. Что-нибудь меньшее, и вы ограничены вашим всплеском кредитного баланса.

За sc1базовая скорость увеличивается на 12 МБ / с на ТБ, начиная с 6 для минимального объема тома 500 ГБ. Это делает его намного медленнее, и он никогда не достигнет 100% -ной взрывной способности (но это дешевле).

Скорость серийной съемки также ограничена и увеличивается на 80 МБ / с на ТБ до максимум 250 МБ / с. Это равняется примерно 8000 операций ввода-вывода в секунду, но, опять же, это, вероятно, последовательная скорость, и вы не увидите случайных скоростей такого высокого уровня на любом жестком диске.

Как найти свою реальную скорость диска

Вы можете использовать такой инструмент, как dd однако, чтобы измерить скорость последовательной записи, этого недостаточно, чтобы нагрузка на диск была достаточно полезной, и это не указывает ни на один реальный случай использования.

Чтобы получить что-то лучше, вам нужно установить инструмент для тестирования дисков под названием fio от менеджера пакетов вашего дистрибутива:

sudo apt-get install fio

Затем запустите его с помощью следующей команды:

fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=4k --iodepth=64 --size=250M --readwrite=randrw --rwmixread=80

Он создаст файл размером 250 МБ и выполнит произвольные тесты на чтение и запись с соотношением чтения на 80% и записи на 20%, что даст вам гораздо более точное представление о том, как на самом деле работает ваш диск.

Быстрый тест с размером файла 25 МБ показывает преимущества модели AWS. Громкость gp2 может разогнаться до высокой скорости, чтобы плавно справиться с передачей. При таком небольшом размере SSD способен эффективно преодолеть ограничение в 3000 IOPS, но только на секунду.

Более длительный тест с файлом размером 250 МБ позволяет лучше понять, как SSD будет работать при больших нагрузках. В этом случае проверка длится дольше секунды, поэтому скорость ограничивается скоростью пакетной IOPS, которая составляет 2600 IOPS.

Конечно, если бы мы позволили этому тесту работать более 30 минут, том gp2 исчерпал бы кредиты и замедлился бы до 24 IOPS для тома 8 ГБ. Но вы, скорее всего, не столкнетесь с нагрузками, которые будут использовать 100% вашего диска, и если вы это сделаете, вы всегда можете использовать больший диск с гарантированной производительностью или обеспечить IOPS напрямую.