klapaucius

Джеминягата казва, че щяло да може да стане със six 256 GB LPDDR6 memory packages. Самия M7 щял да е една голяма фаянсова плочка, покрай която можеш да си лепиш тези очаквани модули памет, вързани към многобройните канали на М7-цата и постигащи над терабайт за секунда.

Не виждам LPDDR6 да е готова навреме за М7, освен ако не излезе през 2028-а.

waldorf

Абе то и M5 Ultra е уж 1.2ТБ/с ама забелязвам, че удвояват Max (600 MB/s) който пък на свой ред е удвоен Pro (300) който пък е удвоен М5 (150). А базовия M6 го дават 160 т.е. Ултра-та ще е 1.3 ТБ/с - да видим M7 колко ще скочи.

Но мен по ме притеснява щом удвояват, да не е закачен процесор с памет и да ги удвояват т.е. тая unified memory да не е разбита на малки сегменти с по един процесор и достъпа между процесорите да е нещо отгоре т.е. там някакво техно си MMU.

Има повече канали затова има по-голям throughput. Иначе в Ultra-та май процесорите са в няколко чиплета. Но това няма нищо общо с паметта.

Абе да не се окаже някакво вътрешно процесорно RDMA накрая. То ако си работи читаво не е драма де. Ама може да обясни що уж паметта бърза пък инференса бавен.

waldorf

Абе да не се окаже някакво вътрешно процесорно RDMA накрая. То ако си работи читаво не е драма де. Ама може да обясни що уж паметта бърза пък инференса бавен.

Нямам никаква идея какво би трябвало да означава "вътрешно процесорно RDMA". Подозирам, че и ти не знаеш.

Подозренията са ти повече от основателни.

Но все пак ако имаш затруднения с разбирането мога да накарам някой ИИ да го обясни като за твоето ниво на разбиране и терминология?

waldorf

Но все пак ако имаш затруднения с разбирането мога да накарам някой ИИ да го обясни като за твоето ниво на разбиране и терминология?

Виж сега, припомни си, че правя много детайлен модел на многопроцесорна система, включително RDMA мрежови карти и DRAM. След това си припомни колко разбираш ТИ от тези неща.

И накрая се запитай, НАИСТИНА ли искаш да продължаваш да се излагаш в тази тема?

|

Има повече канали затова има по-голям throughput. Иначе в Ultra-та май процесорите са в няколко чиплета. Но това няма нищо общо с паметта.

Е как да няма, на един канал не можеш да закачиш безкрайно памет, защото ще го претовариш. Не е само заради throughput. За да можеш да адресираш много памет ти трябват много канали, защото си физически ограничен от капацитивния товар. Теоретично може и на един канал да закачиш терабайт, но само ако смъкнеш клока много под това, което паметта реално поддържа.

klapaucius

Е как да няма, на един канал не можеш да закачиш безкрайно памет, защото ще го претовариш. Не е само заради throughput. За да можеш да адресираш много памет ти трябват много канали, защото си физически ограничен от капацитивния товар. Теоретично може и на един канал да закачиш терабайт, но само ако смъкнеш клока много под това, което паметта реално поддържа.

Последното изречение е "но" за изречението преди него.

|

Последното изречение е "но" за изречението преди него.

Не се измъквай, няма "но". Никой не смъква клока. Искаш много памет - слагаш много канали. Нямаш много канали - нямаш много памет. И не се измъквай по тъчлинията с някой отвлечен от темата пример.

|

Виж сега, припомни си, че правя много детайлен модел на многопроцесорна система, включително RDMA мрежови карти и DRAM. След това си припомни колко разбираш ТИ от тези неща.

И накрая се запитай, НАИСТИНА ли искаш да продължаваш да се излагаш в тази тема?

Евалата! И всичките процесори едновременно могат да пипат всякаква памет без да се изчакват и синхронизират и паметта не е разделена по отделни шини и като един процесор вижда всичко линейно то някак магически се разделя по отделните блокове памет? И като започнат да бондват отделни силикони един с друг скоростта не пада? И няма никакво забавяне заради тези неща. И разбира се аналогията с RDMA ти идва трудна за осмисляне? Сигурно щото говоря глупости.

klapaucius

Не се измъквай, няма "но". Никой не смъква клока. Искаш много памет - слагаш много канали. Нямаш много канали - нямаш много памет. И не се измъквай по тъчлинията с някой отвлечен от темата пример.

Абе, ти можеш ли да четеш? Никъде не съм казал, че можеш да имаш много памет с малко канали. "Но това няма нищо общо с паметта" е свързано с "Иначе в Ultra-та май процесорите са в няколко чиплета".

Да повторя, в колко чиплета са ядрата няма нищо общо с паметта.

waldorf

Евалата! И всичките процесори едновременно могат да пипат всякаква памет без да се изчакват и синхронизират и паметта не е разделена по отделни шини и като един процесор вижда всичко линейно то някак магически се разделя по отделните блокове памет? И като започнат да бондват отделни силикони един с друг скоростта не пада? И няма никакво забавяне заради тези неща. И разбира се аналогията с RDMA ти идва трудна за осмисляне? Сигурно щото говоря глупости.

Виждам, че не са ти много ясни нещата с кохерентността на паметта и процесорите. :) Връзката между паметта и процесорите се осъществява чрез интерконект, да кажем CMN който се грижи да interleave различните канали до паметта и да организират синхронизирането.

За неграмотните като теб, RDMA има ако данни се местят от една памет в друга. Такива неща в рамките на една машина няма, защото НИКОЙ не е толкова глупав за да направи такава идиотщина.

Абе, ти за NUMA чувал ли си? Питай ИИ ако не си. Подозирам, че това се опитваш да измислиш. :)

waldorf

Абе то и M5 Ultra е уж 1.2ТБ/с ама забелязвам, че удвояват Max (600 MB/s) който пък на свой ред е удвоен Pro (300) който пък е удвоен М5 (150). А базовия M6 го дават 160 т.е. Ултра-та ще е 1.3 ТБ/с - да видим M7 колко ще скочи.

Но мен по ме притеснява щом удвояват, да не е закачен процесор с памет и да ги удвояват т.е. тая unified memory да не е разбита на малки сегменти с по един процесор и достъпа между процесорите да е нещо отгоре т.е. там някакво техно си MMU.

Някаква NUMA е физически, но епъл го крият от софтуера с някаква супер-дупер технология.

klapaucius

Някаква NUMA е физически, но епъл го крият от софтуера с някаква супер-дупер технология.

И защо трябва да е NUMA? :)

|

И защо трябва да е NUMA? :)

Защото производителността на софтуера зависи от това, къде физически са разположени данните.

Със супер-дупер епълската технология, ако пуснем две виртуалки, локнати да вървят всяка на по един чиплет, според теб кога ще има по-добър пърформанс:

1. Ако всяка от виртуалките може да алокира във физически закачената за чиплета памет. 2. Ако всяка от виртуалките вярва на ябъл и алокира безразборно.

Е, ако пуснем memory-intensive задачи на тези две виртуалки едновременно, ще има ли разлика в производителността при горните две ситуации?

klapaucius

Защото производителността на софтуера зависи от това, къде физически са разположени данните.

Със супер-дупер епълската технология, ако пуснем две виртуалки, локнати да вървят всяка на по един чиплет, според теб кога ще има по-добър пърформанс:

1. Ако всяка от виртуалките може да алокира във физически закачената за чиплета памет. 2. Ако всяка от виртуалките вярва на ябъл и алокира безразборно.

Е, ако пуснем memory-intensive задачи на тези две виртуалки едновременно, ще има ли разлика в производителността при горните две ситуации?

Питам защо непременно Апъл би трябвало да са направили NUMA. Не само знам МНОГО ДОБРЕ какво е NUMA, но и съм се занимавал с NUMA-aware placement доста дълго време.

Чиплети не означава задължително NUMA.

Нума ли е, пума ли е, мму ли е, (р)дма ли е - въпрос на терминология. Извинявам се, че правя аналогии дето те затрудняват. Толкова си мога. Това, че процесорите са повторили архитектурата на компютрите отпреди няколко десетилетия използвайки нова терминология уж за да няма аналогия ни най малко не променя същината която все се надявах да я видиш. Фокуса не беше в това а дали този bandwidth с който Apple се хвалят се отразява и на търкалянето на ИИ т.е. дали M5 Max дава двойно по малко токъни в секунда от M5 Ultra като паметта му е двойно по бавна?

waldorf

Нума ли е, пума ли е, мму ли е, (р)дма ли е - въпрос на терминология. Извинявам се, че правя аналогии дето те затрудняват. Толкова си мога. Това, че процесорите са повторили архитектурата на компютрите отпреди няколко десетилетия използвайки нова терминология уж за да няма аналогия ни най малко не променя същината която все се надявах да я видиш. Фокуса не беше в това а дали този bandwidth с който Apple се хвалят се отразява и на търкалянето на ИИ т.е. дали M5 Max дава двойно по малко токъни в секунда от M5 Ultra като паметта му е двойно по бавна?

Нормално е когато някой е неграмотен да прави неграмотни аналогии. :) Просто не знаех, че си толкова неграмотен. А аз пускам разни съкращения като MESI и MOESI и си мисля, че някой знае за какво говоря... :)

Bandwidth-а на Апъл може да се ИЗМЕРИ. Е, от хора, които знаят как, не от такива като теб. :) Ако си мислиш, че някой може да скрие такива неща от екипа на C&C значи си доста по-тъп отколкото си мислех.

|

Питам защо непременно Апъл би трябвало да са направили NUMA. Не само знам МНОГО ДОБРЕ какво е NUMA, но и съм се занимавал с NUMA-aware placement доста дълго време.

Чиплети не означава задължително NUMA.

Е, отговорих ти, защото няма как да е UMA. Има ограничен брой шини и съотвено това, къде са разположени данните ти, влияе на производителността, защото може да се наложи в даден момент ядра да ползват една и съща шина, дори да ползват различни физически чипове. Не е обикновена ccNUMA, но не е и UMA. Скрили са го от софтуера, което всъщност е добре, защото всяка NUMA, включително и ccNUMA е нишова и граничи с академизъм. На практика огромната част от софтуера не трябва да се интересува от това.