Амазон је такође ушао у технолошки сектор, и то не само у онлајн продају. И то су учинили снажно, са AWS-ом (Amazon Web Services), једном од најконкурентнијих cloud платформи, а желели су и да креирају сопствени хардвер, са одељењем AWS Анапурна Лабс, посвећен дизајнирању чипова за своје сервере. Па, овде ћемо вам представити ове чипове који се зову Гравитон.
У ствари, мора се рећи да су Гравитон чипови за сервере чипови На бази руке са тренутно највећим обимом сервера, што је веома индикативно. Па хајде да анализирамо шта су тачно.
Arm осваја тржиште сервера и HPC-а
Избор Аннапурна Лабс Arm ISA није случајност. Већ је постојало процватно тржиште за мале, нискоенергетске Arm сервере, иако нису могли да се такмиче са најмоћнијим процесорима.
Међутим, то се променило последњих година, када су се појавили веома моћни Arm чипови. сервери и HPCНа пример, Altra од Ampere Computing-а, ThunderX од Marvell Technologies-а, па чак и Fujitsu A64FX. Потоњи су успели да се позиционирају на првом месту листе 1 најбољих по перформансама захваљујући јапанском суперрачунару Fugaku за RIKEN лабораторију.
Придружио им се и AWS са Graviton-ом, који је био веома добро прихваћен на тржишту, посебно за оне који су желели да експериментишу са високо-перформансним Arm-ом ангажовањем AWS услуга, с обзиром на недостатак Чипови за руке Високоперформансни рачунари. Осим Qualcomm Snapdragon-а и Apple M-серије, тренутно нема много чему да се радујемо…
С обзиром на успех Гравитон процесора из 2018. године (16 језгара и 5.000 милијарди транзистора), стигла је друга генерација под називом Гравитон 2 из 2019. године (64 језгра и 30.000 милијарди транзистора), а тренутно... трећа генерација са Гравитоном 3Веома моћан Arm чип са 64 језгра и 55.000 милијарди транзистора.
Такође, треба додати да ако желите да тестирате ове чипове, то можете учинити у C7g инстанце EC2 сервиса које можете уговорити преко Амазоновог AWS-а. Према AWS-у, ови чипови су постигли побољшање односа цене и перформанси од 40% у односу на исту генерацију M5, C5 и R5 инстанци, поред смањења потрошње енергије од 72%.
Мора се рећи да AWS има обавезу која превазилази коришћење занимљиве Arm архитектуре, због своје однос перформанси/вати, а такође могу добити јефтиније сервере него ако купују процесоре од других као што су Intel, AMD, IBM итд. Поред тога, нуде другачију понуду од Xeon-а или EPYC-а, односно за оне клијенте који не желе x86 облак.
AWS инстанце
AWS има више од 475 типова EC2 инстанци разликују се између њихових услуга, јер можете бирати из низа различитих процесора, меморије, складишта, умрежавања, конфигурације акцелератора итд. Тачно је да су инстанце засноване на Гравитону тренутно мали део, али полако добијају на значају.
Ове инстанце могу да се покрећу различито Линук оперативни системи, као што су RHEL, Ubuntu, SUSE итд., и све више компанија је заинтересовано за развој за ову платформу.
Што се тиче инстанци које користе ове чипове, имамо:
- Гравитација 1EC2 A1
- Гравитација 2EC2 M6g, M6gd, C6g, C6gd, C5gn, R6g, R6gd, T4g, X2gd, G5g, Im4gn, Is4gen.
- Гравитација 3EC2 C7g, C7gn, HPC7g.
Као што знате, друге AWS инстанце такође користе AMD EPYC и Intel Xeon процесоре. Конкуренти попут Microsoft Azure и Oracle OCI, који такође нуде ARM чипове, засновани су на Ampere Altra.
Гравитон архитектура
Као што смо рекли, AWS Graviton, дизајниран од стране одељења Anapurna Labs, заснован је на ARM архитектура, они су 64-битни и имају следеће значајне карактеристике:
- ГравитонУ питању је 16-језгарни Cortex A72 CPU, са ARMv8-A ISA и Neon, crc и crypto екстензијама. Користе NUMA меморијску шему и могу да раде на 2.3 GHz. Такође, инстанце укључују наменски хардвер за убрзање за операције са покретним зарезом, SIMD и за AES, SHA-1, SHA-256, GCM и CRC-32 алгоритме.
- Гравитација 2То је прилагођени 64-језгарни процесор, за разлику од Graviton 1. У овом случају, за језгра се користи Arm Neoverse-N1 архитектура. Заснован је на ARMv8.2-A ISA и укључује Neon (2×128-битни), LSE, FP16, RCPC, DOTPROD и CRYPTO екстензије. Такође користе NUMA и могу да раде на 2.5 GHz.
- Гравитација 3: процесор базиран на 64 Arm Neoverse-V1 језгра, са ARMv8.4-A ISA, и са Neon (4×128-битним), LSE, SVE (2×256-битним), RNG, BF16, INT8, CRYPTO екстензијама. Користе NUMA организацију и раде на 2.6 Ghz. У поређењу са Graviton 2, трећа генерација је 25% снажнија, до двоструко снажнија у операцијама са помичним зарезом, 2 пута бржа у радним оптерећењима шифровања и до 3 пута бржа у машинским учењима, као и 60% ефикаснија и са 50% већим пропусним опсегом меморије.
У следећем одељку, детаљније ћемо погледати нови Гравитон 3…
Гравитон3 у детаље
Док су Гравитон 1 и 2 били монолитни чипови, Гравитон 3 је био базиран на чиплет дизајнуДизајнирала га је компанија Annapurna Labs, одељење компаније Amazon AWS. Произведен је у TSMC-у, користећи 7nm чвор. Овај чип се први пут појавио у мају 2022. године и био је први ARM серверски процесор који је увео SVE инструкције.
- ДизајнерАнапурна Лабс
- Чвор за производњу7 nm од TSMC-а
- Број транзистора: КСНУМКС
- ПацкагингMCM или чиплети
- Породица: Алпине
- ИСАARM (ARMv8.4-A) + Neon Extensions (4×128-битни), LSE, SVE (2×256-битни), RNG, BF16, INT8, CRYPTO.
- МикроархитектураМодификована рука Neoverse-V1
- Број језгара: КСНУМКС
- Фреквенција сата: КСНУМКС Гхз
Микроархитектура
Као што видимо, Микроархитектура Гравитона 3 није потпуно иста као код Arm Neoverse-V1., као што се може видети на следећем дијаграму:
Predictor
Међу стварима које се могу видети на овим дијаграмима је побољшање које је ARM направио у V1 у поређењу са N1 у предиктор грана, како у тачности тако и у брзини, што омогућава предиктору да у више случајева исправно уради ствари и убрза процес, без потребе за честим чишћењем цевовода у случају квара, јер то смањује број изгубљених циклуса такта. Изгледа да се Гравитон 3 определио за дизајн сличнији оном код Intel Ice Lake SP. У поређењу са AMD Zen 3 (Milan), нешто је мање способан (користи само један ниво, а не два, иако може да препозна веома дугачке обрасце, са до 512 грана), али је бржи.
Гравитон 3 такође има један Веома брзо подешавање BTB-а (Branch Target Buffer), што омогућава руковање гранама са врло малом казном у тактним циклусима. У ствари, омогућава обраду две гране по тактном циклусу, могућност коју смо до сада видели само у микроархитектурама Intel Golden Cove и Rocket Lake. Иако вреди напоменути да није тако брз на Интелу.
Такође постоји веома велики главни BTB, са око 4 хиљаде уноса, и наводно L2 BTB који би могао имати до 10 хиљада уноса. Ово омогућава већи капацитет за руковање гранама или рачвањима. без увођења толико „мехурића“ у цевовод.
Предњи крај
Такође бих желео да истакнем да су користили Предњи крај прилично слично Интеловим и АМД микроархитектурама, као што се може видети на следећој слици:
Ако упоредимо Неоверс Н1 са Неоверсом В1 на којем је базиран Гравитон 3, видимо да декодери V1 процесори су много бољи у обради инструкција. Коришћен је сличан приступ као код x86 процесора. Такође је укључена микро-оперативна кеш меморија. Све ово даје Graviton 3 могућности преузимања инструкција, или пропусни опсег инструкција, слично AMD Zen 3, са до 6 IPC-ова.
С друге стране, видимо како је Гравитон 3 креирао дубље редове за преузимање како би агресивније преузимао инструкције, и L3 кеш меморија Гравитон 3 постиже мању латенцију у поређењу са Ампер Алтра и Гравитон 2. Међутим, још увек није упоредив са Интеловим и АМД дизајном, али Арм напредује у том погледу.
Рекордна слава
El рекордна репутација Ово је још једна уобичајена пракса у модерним микроархитектурама, а Graviton 3 делује веома слично језгрима Zen 3 у том погледу. Arm је направио побољшања V1 у односу на N1, иако и даље заостаје за AMD-ом и Intel-ом у неким аспектима, јер су обе компаније увеле значајна побољшања у том погледу како би убрзале процесе.
| Гравитација 3 | Ампер Алтра (Неоверс Н1) | Интел Ајс Лејк (Суни Коув) | АМД Зен КСНУМКС | |
| Независни MOV r,r | 3.81 | 2.86 | 4.77 | 5.72 |
| MOV зависно од r,r | 1.36 | 1.38 | 4.76 | 5.7 |
| XOR/EOR r,r | 1.00 | 1.00 | 3.81 | 5.72 |
| MOV r, 0 | 5.71 | 3.63 | 3.82 | 3.81 |
| СУБ р, р | 1.00 | 1.00 | 3.81 | 5.7 |
Гравитон 3 не може да уради исте ствари као његови Интелови и АМД конкуренти. Јасно је да су перформансе изгледа да је ограничен бројем ALU портоваКао и Neoverse N1, Graviton 3 понекад може прекинути зависности између MOV-ова од регистра до регистра, али има веома ограничене могућности у тој области.
Међутим, мора се рећи да Гравитон 3 има предност над Леденим језером У том смислу, Интелов преименовач може да прекине зависности када се не открију никакви идиоми, али их не може уклонити. Стога је Гравитон 3 сличнији Зену 3 у том погледу.
OoOE
Наравно, као и већина високоперформансних процесора, Гравитон 3 користи извршење ван редоследа или извршавање ван редоследа (OoOE). У том смислу, чини се да је величина ROB-а (Reorder Buffer) или бафера за преуређивање усклађена са бројем микрооперација које предњи извршни механизам процесора може да обради. Стога би, према неким тестовима, могло бити 512 уноса, јер Амазон није пружио детаље о овоме. Међутим, чини се да је прозор за преуређивање већи него код Интелових и АМД дизајна.
Дневници и ред за отпремање
Равитон 3 такође изгледа да има прилично велики регистар датотека, што је уобичајено у RISC дизајнима. Конкретно, изгледа да има 125 256-битних векторских регистара ширине сваког, према тестовима реверзног инжењеринга. На овај начин можете радити и са NEON (128-битним) и са SVE (256-битним) дужинама.
Неке чудне ствари су такође примећене у лог фајлу Гравитона 3, јер је његова величина прикладнија за ROB са 256 уноса него за онај са 512 уноса. Такође је приметно да капацитет реда за учитавање Гравитона 3, мање-више у складу са АМД Зен 2 и Зен 3.
Планер
Још једна важна компонента процесора је распоред или планерИако Анапурна Лабс није пружила никакве детаље, чини се да су тестови открили неке тајне.
| Уноси у Планер Гравитона 3 | ||
| Збир целих бројева | 81 | |
| Множење целих бројева | 44 | |
| Грана (није заузета) | 43 | |
| Множење и гранање наизменичних целих бројева | 82 | |
| FP скаларни сабирач | 54 | |
| Помножите скаларни FP | 54 | |
| Наизменично сабирање и множење ФП | 54 | |
| 256-битни SVE FP збир | 56 | |
| Претвори цео број у број са покретним зарезом (FP) | 22 | |
| Продавница, Одељење за управљање | 28? | |
| Зависност продавнице од података | 28? | |
| Оптерећење | 54? | |
| Алтернативно учитавање/чување, зависност адресе | 54? |
Гравитон 3 има много уноса у планер да обавља уобичајене операције, што је велики скок у односу на Neoverse N1. На први поглед, изгледа отприлике упоредиво са Zen 3 и Ice Lake-ом, барем у погледу доступних програмских уноса за уобичајене операције.
Функционалне извршне јединице (Back-End)
С друге стране, и не мање важно, постоје извршне јединице Гравитона 3, односно ALU и FPU јединица, између осталог, где се прорачуни врше на подацима које показују обрађене софтверске инструкције. Будући да је језгро високих перформанси, очекују се значајне ствари у том погледу.
У Гравитону 3 имамо четири АЛУ (аритметичко-логичке јединице) за целе бројеве, у поређењу са 3 код Neoverse N1. Такође су приметна 3 меморијска канала у поређењу са 2 код Neoverse N1.
Као извршавање покретних тачака и вектораТакође смо видели промене у ресурсима додељеним за ову сврху. С једне стране, имамо јединице за извршавање сабирања и множења са покретним зарезом за 256-битне SVE инструкције, које се могу извршити за само два тактна циклуса. Такође постоје значајна побољшања у FPU-у за обраду операција са покретним зарезом у поређењу са Neoverse N2, а латенција је смањена.
Побољшања су помогла Гравитону да стекне предност у агилности над Интелом и АМД-ом у том погледу. На пример, можемо видети да захтева мање тактних циклуса да заврши ове задатке:
| Операција | Гравитација 3 | Неоверсе Н1 | АМД Зен КСНУМКС | Интел Ајс Лејк СП (Сани Коув) |
| Збир FP | 2 | 2 | 3 | 4 |
| Множење FP | 3 | 3 | 3 | 4 |
| FP спојено множење+сабирање (FMA) | 4 | 4 | 5 | 4 |
| Збир векторских целих бројева | 2 | 2 | 1 | 1 |
| Множење векторских целих бројева | 4 | 5 | 3 | 10 |
Није ни чудо што Интел користи толико циклуса на вектору, с обзиром на то да користи АВКС-КСНУМКС, који су вектори дужине 512 бита, што их отежава померање. Међутим, и у AMD-у и у Graviton-у 3, најдуже операције су дугачке 256 бита.
Приступ кешу и меморији
Наравно, поред кеш меморије од 3 МБ Л32 и 2 МБ Л1, ова језгра су опремљена и са 1KB података L64 и 1KB инструкција L64У случају L2 и L3, оне су обједињене, и док су L1 и L2 за свако језгро, L3 се дели између свих језгара.
С друге стране, мора се рећи да и Graviton 3 и Intel Ice Lake користе кеш приступе Уједињени L3 слично, док AMD користи другачији приступ, делећи L3 на блокове који се деле само између језгара у сваком кластеру, чинећи L3 бржим.
Али поред капацитета, што није најважнија ствар, морамо видети и латенција приступа овој меморијиУ овом случају, Гравитон 3 може приступити L1D са 4 циклуса казне. Ово је супериорније за L2, а још више за L3, који има највећу казну, иако је срећом боље од ужасне L3 латенције на Ampere Altra.
Што се тиче приступа главној меморији, RAM-у, Graviton 3 има лошије бројке од свог претходника и Altre, то је вероватно зато што користи DDR5, која има лошије латенције од DDR4. Штавише, Graviton је такође поставио контролере меморије на одвојене ИО чипове унутар паковања, што би такође могло утицати на ову латенцију.
Имајте на уму да Intel користи меморијске контролере на монолитном чипу, што побољшава латенцију. Насупрот томе, дизајн чиплета АМД-ов је сличнији Гравитону 3, иако је у случају Гравитона 3 приступ меморији 10 ns спорији него у случају АМД-а.
Подршка за електронске службе (EVS)
На крају, да прокоментаришемо Подршка за електронски превозник у Graviton 3, јер је то први ARM-базирани серверски CPU који укључује ова проширења дужине инструкција од 256 бита (2x256). Истина је да је Fujitsu A64FX први укључио SVE (тачније 1x512), али то је био процесор посебно дизајниран за суперрачунарство, а не за сервере.
Međutim, to se mora reći усвајање ЕВС-а са стране компајлера и софтвера је веома ограничено, тако да ће бити потребно неко време да се сазна да ли је то заиста предност или не, слично као када се AVX-512 појавио на Интелу.
SVE подржавају компајлери као што су GNU GCC, као и LLVM и Clang. Arm је такође креирао сопствени дериват LLVM-а који их подржава. Они се могу користити за компајлирање софтвера који користи предности ових векторских инструкција.
Скалабилно векторско проширење (SVE), је опционо проширење ARMv8 архитектуре за побољшање научних радних оптерећења. Ове инструкције, за разлику од фиксних које користе Intel, AMD и други, омогућавају имплементацију променљивих дужина вектора од 128 бита до 2048 бита.
Сада имате шири поглед на ову велику непознаницу, и није све у Интелу и АМД-у, има много више од тога...