WSC и облачни архитектури

4.2 WSC и облачни архитектури

Warehouse-Scale компютрите като клас компютърни системи
В наши дни целта пред компютърните инженери е да се осигури с информационни технологии целия свят, а не само научните и изследователски среди. Затова и Warehouse-Scale Computers (WSC) имат много по-голяма роля за обществото днес, отколкото суперкомпютрите в миналото. Без съмнение WSC изпълняват все повече заявки за все повече потребители представлявайки по този начин все по-голяма част от IT-пазара. Доста от изискванията пред WSC са аналогични на тези за сървъри:
Цена-производителност – изключително критична величина, поради огромните мащаби на работа. Намаляването на капиталовите разходи може да спести милиони долари от крайната цена.
Енергийна ефективност – Точното изчисление на изградените захранващи и охладителни системи спрямо производителността е ключова за цялостната ефективност на системата.
Надеждност чрез повторяемост – Непрекъснатата работа като характеристика на интернет услугите означава, че WSC хранилищата трябва да осигуряват почти 100% достъпност, инсталациите се изключват за по-малко от час на година. Повторяемостта е ключова както за WSC. Разчита се на множество ценово-ефективни сървъри, свързани със сравнително евтина комуникация, за да бъдат замаскирани събития, които могат да извадят от строя цял WSC например. Множество инсталации намаляват също така и забавянето за широко разпространените услуги.
Мрежова среда – Подходящият интернет интерфейс с външния свят е жизненоважен както за връзката между множеството WSC така и за връзка с множеството потребители.
Интерактивни натоварвания и пакетна обработка на данни. Високо интерактивните натоварвания от социални мрежи например са комбинирани с широко паралелни пакетни обработки за изчисляване на метаданните за тези услуги като например преобразуването на локални търсения в индекси на търсачки.
За разлика от сървърите при WSC имаме:
Повсеместен паралелизъм – Паралелизмът на ниво данни използван от пакетните приложения изисква независимо изчисление, като милиардите търсения в мрежата например. Този паралелизъм се реализира в хранилището за данни, а не в основната памет. На второ място интерактивните приложения на интернет услугите, известни още като „софтуер като услуга“ (SaaS – Software as a service), могат да се възползват от милионите независими потребители на интернет. Четенето и писането са малко зависими при SaaS, затова и нуждата от синхронизация е малка, затова и паралелизмът тук е лесно постижим и се нарича паралелизъм на ниво заявки – request level parallelism.
Поддръжка на мощностите – WSC имат сравнително дълъг живот – сградите, енергозахранването и охлаждането често се амортизират след 10 и повече години. Така разходите по поддръжката се изразяват основно в енергия, електропреносна среда и охлаждане, което представлява повече от 30% от стойността на WSC за 10 години.
Мащаб и предизвикателства или проблеми свързани с него – Често най-добрите компютри имат най-висока цена, защото изискват специален хардуер, а и те рядко работят достатъчно дълго. Поръчка на 50 000 сървъра и инфраструктурата за изграждане на един WSC център е толкова голяма, че отстъпките в цената са значителни дори и да няма много WSC. Тези икономии от мащаба водят до клауд компютинг, тъй като ниската единична цена за компютър, позволява на големите компании да ги отдават под наем на приемлива за по-малките цена. С големите мащаби един компютърен инженер трябва да умее да се справя и с повече повреди. Така при 50 000 сървъра на ден се очаква да се повредят 5, ако сървър оперира със 4 хард диска, се очаква повреда на хард диск всеки час.

Предшественици на WSC центровете са компютърните клъстери. Клъстерите са групи от независими компютри, свързани в стандартна LAN. За натоварвания, които не изискват интензивна комуникация, клъстерите предлагат много повече ценово-ефективни решения от мултипроцесорите със споделена памет (които от своя страна са предшественици на многоядрените компютри). Популярни са през 90-те години на миналия век за научни изчисления, а по-късно и за интернет услуги. Разликите между WSC центровете и съвременните клъстери за сложни изчисления са няколко. Приложенията за клъстерите комуникират много по-често, тъй като са с по-голяма вътрешна зависимост. Използват много висок клас процесори и комуникации, за които не могат да се правят толкова отстъпки в цената. Например един IBM Power микропроцесор може да струва повече и да използва повече енергия от цял един възел в Google WSC. При клъстерите се цени повече паралелизмът на ниво нишки, за разлика от паралелизма на ниво данни при WSC, съответно забавяне за единична задача от една страна и широчина на лентата за независими задачи от друга. Клъстерите обикновено работят на пълна мощнот с дни и седмици без прекъсване, за разлика от WSC центровете, където натоварването е средно между 10% и 50%.
Разликите между WSC и обикновените дейтацентрове също са значителни. Операторите в дейтацентъра главно концентрират много услуги на няколко машини, изолирани една от друга за защита на чувствителната информация. Затова и тук много важни са виртуалните машини. За разлика от WSC, конвенционалните дейта центрове са характерни с хардуерно многообразие и за задоволяване на своите разнородни потребители стартират най-различни приложения. При WSC центровете хардуера е хомогенен и работи като единичен компютър, който по принцип работи с много приложения. Често най-големи разходи в дейта център се правят за персонала, който го поддържа, докато при WSC хардуера е с по висока стойност на разходите.

2. Програмен модел и натоварване на WSC
Днес най-популярната рамка за пакетни изчисления във WSC е MapReduce и неговият аналог с отворен код Hadoop. (Facebook изпълнява Hadoop на 2000 сървъри за обработка на пакети от общо 60 000 през 2011 г.). Map първо прилага програмирана функция за всеки логически въведен запис. Това се изпълнява на хиляди компютри, за да се изчисли междинен резултат с ключова стойност. Reduce събира изходния резултат от тези разпределени задачи и ги подрежда вертикално използвайки друга програмирана функция. С подходяща софтуерна поддръжка двете функции са изключително паралелни, лесни за разбиране и употреба. За да се справи с непостоянството в производителността на хиляди компютри, MapReduce разпределителя назначава новите задачи на базата на статистика за справянето с предходните. Една бавна задача тук може да задържи изпълнението на значително количество от работата на MapReduce. Във един WSC решението за бавните задачи е да се осигурят софтуерни механизми за справяне с изменчивост, присъща за тези мащаби. Този подход силно се различава от решението за сървър при конвенционалните дейта центрове, където традиционно при бавно изпълнение хардуера е повреден и трябва да се замени нещо или сървърният софтуер се нуждае от настройка или подновяване. Хетерогенноста в производителността е нормална за 50 000 сървъра във WSC. Например към края на една MapReduce програма системата започва да изпълнява архивиране на други възли от задачата, които още не са завършили изпълнението и ще вземе резултата от този, който е завършил пръв. В замяна на повишеното използване на ресурсите се постига ускоряване на някои големи задачи от порядъка на 30 %.
Друга специфична черта на WSC е използването на репликация на информацията за преодоляване на грешки. Имайки количеството оборудване на WSC не е учудващо, че грешките са обикновено явление и за достигане на 99.99% достъпност, системният софтуер трябва да се справя с тези реалности във WSC. За намаляване на оперативните разходи, всички WSC използват автоматизиран мониторингов софтуер, за да може един оператор да е отговорен за повече от 1000 сървъра. За реализирането на програмните рамки като например MapReduce за пакетна обработка и външни заявки като търсене разчитат на вътрешни софтуерни услуги за постигането на успех. Например MapReduce разчита на Google File System (GFS) за доставянето на файлове до всеки компютър, като по този начин MapReduce може да бъде планиран навсякъде. В допълнение на GFS, примери за такива мащабни системи за съхранение са системата на Amazon за съхранение Dynamo, както и Google системата за записи Bigtable. Някои от тези системи често се нагдраждат една друга. Например Bigtable запазва своята статистика и информация в GFS, дори релационна база данни може да използва файловата система на централната операционна система. Тези вътрешни услуги често вземат различни решения от подобен софтуер на единични сървъри. Например приемайки, че носителят на данните е надежден, както при използването на RAID сървъри за съхранение, тези системи често правят пълна реплика на данните. Репликите могат да помогнат при работата по четенето, както и при достъпността. С подходящо местоположение репликите могат да преодоляват много системни грешки. Някои системи използват кодиране на изтриването вместо пълни реплики, но постоянството е в повторяемост на междусървърно ниво, а не в рамките на един сървър или в рамките на масив от носители на данни. По този начин повреда на цял сървър или масив за данни не засяга негативно достъпността на данните. [5,6]
Друг пример за различен подход е релаксираната консистенция (съвместимост), позволяваща системите за съхранение да са много по-лесни за мащабиране – основно изискване за WSC. Изискването за товароносимост за публични интерактивни услуги варира значително. Пазаруване преди Коледа, споделяне на снимки след празници и в края на седмицата или почивни дни определят различната интензивност на работа за различните услуги. По-важно за услугите наWSC е да работят добре, когато няма много работа, вместо да работят ефикасно в своя пик, тъй като те рядко работят на краен лимит.
В обобщение WSC хардуера трябва да се справя с многообразието по отношение на изискванията на потребителите и с производителността и достъпността по отношение на капризите на техниката в такива мащаби. Спрямо мащаба с който софтуера трябва да се справя с грешки, остава малко смисъл в закупуване на скъп хардуер, който да намали честотата на грешките. При налична разлика от порядъка на 20 в отношението цена/производителност за HP мултипроцесор със споделена памет и обикновен HP сървър относно TPC-C бенчмарка за база данни, не е учудващо че Google избират сървъра от нисък клас. За WSC услугите е присъщо да развиват свой собствен софтуер, вместо да купуват комерсиален такъв, както за да се справят с огромните мащаби, така и за да спестят средства. Дори най-добрата спрямо цената си платформа за TPC-C през 2011 г. включваща база данни Oracle и OS Windows е два пъти по-скъпа от Dell Powerage 710 server. Google използва Bigtable и Linux за своите сървъри, за които нищо не се заплаща.

Структура на хардуера
19 инчова (48.28 см) рамка или rack все още е стандартна структура за поместване на сървърите (фиг.1). Сървърите се измерват с брой места (U) в рамката, които заемат. Едно място е 1.75 инча или 4.45 см високо и това е минималното място, което един сървър може да заема в рамката. Рамка с височина 7 фута или 213.36см предлага 48 такива места, затова и най-популярният суич за такава рамка е 48 портов Ethernet. Този продукт е