bvbfan

Не не си наясно, че може да бъде също толкова бързо, колкото и другото. Регулира се с кеша, който може да се бъде достатъчно голям, т.е. резултатите са в паметта. Но това ти не го знаеш и бълваш плява, която е напълно некомпетентна.

Абе, смешник, в моят случай резултатите ВИНАГИ са в паметта. Честно, нямам идея защо продължаваш с "да, ама..." :)

Пайп, едитнах си няколко пъти коментара, да не спамя нови. На AMD лаптопа ми 256 е по- бърз. На xeon-а на сървъра 512 е по- бърз... Да, много зависи от процесора.

Courvoisier

Пайп, едитнах си няколко пъти коментара, да не спамя нови. На AMD лаптопа ми 256 е по- бърз. На xeon-а на сървъра 512 е по- бърз... Да, много зависи от процесора.

Това са резултатите на Intel 8260

type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
sha256           91975.18k   204680.85k   376242.01k   470218.75k   506153.64k
sha512           65061.65k   260300.01k   434282.24k   643373.74k   748986.37k

На моя лаптоп с i9:

type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
sha256          103189.53k   224778.35k   383491.84k   471576.92k   502824.96k   501453.82k
sha512           69811.34k   254862.95k   386273.19k   556929.71k   633577.47k   609430.37k

Мързи ме да се логвам на Франкенщайн клъстъра да пробвам други архитектури. Той има дори Power8 :)

|

Абе, смешник, в моят случай резултатите ВИНАГИ са в паметта. Честно, нямам идея защо продължаваш с "да, ама..." :)

Уник, не са. Когато спираш програмата ги записваш някъде и после ги четеш. Същото прави и дб-то, кешира, когато чете от диска.

bvbfan

|

Абе, смешник, в моят случай резултатите ВИНАГИ са в паметта. Честно, нямам идея защо продължаваш с "да, ама..." :)

Уник, не са. Когато спираш програмата ги записваш някъде и после ги четеш.

Смешник, тази програма е използвам само ВЕДНЪЖ на всеки комплект данни.

Аз смятам дали the trie се събира в L3 cache-a, той ми разказва как sqlite кеширало диска в DRAM. :)

|

bvbfan

|

Абе, смешник, в моят случай резултатите ВИНАГИ са в паметта. Честно, нямам идея защо продължаваш с "да, ама..." :)

Уник, не са. Когато спираш програмата ги записваш някъде и после ги четеш.

Смешник, тази програма е използвам само ВЕДНЪЖ на всеки комплект данни.

Ти си идиот на идиотите. Комплекта данни го четеш от небето.

bvbfan

Ти си идиот на идиотите. Комплекта данни го четеш от небето.

Чета го от csv файл веднъж. Данните от етера ли се появяват в sqlite?

|

bvbfan

Ти си идиот на идиотите. Комплекта данни го четеш от небето.

Чета го от csv файл веднъж. Данните от етера ли се появяват в sqlite?

Ти си програмно импотентен, запомни го това.

bvbfan

Ти си програмно импотентен, запомни го това.

Мда, всеки път когато трябва да кажеш "сгреших", го заменяш с "да, ама..." :) Жалка история. :)

Четенето, както и да го правиш, отнема по-малко от секунда. Сметките отнемат седмица.

|

bvbfan

Ти си програмно импотентен, запомни го това.

Мда, всеки път когато трябва да кажеш "сгреших", го заменяш с "да, ама..." :) Жалка история. :)

Четенето, както и да го правиш, отнема по-малко от секунда. Сметките отнемат седмица.

Сериозно ти го пиша, нямаш нищо общо с програмирането. Кажи, че файлът се уголемява и ти зареждаш всеки път едно и също дърво с малки модификации. За да докажеш, че не 10, а 100 пъти ти е по-бавна програмата от това, което трябва да бъде. За мен темата приключи, ти си не си програмист, Рабин 2. Ум царува, ум робува, ум зарежда csv в trie.

bvbfan

|

bvbfan

Ти си програмно импотентен, запомни го това.

Мда, всеки път когато трябва да кажеш "сгреших", го заменяш с "да, ама..." :) Жалка история. :)

Четенето, както и да го правиш, отнема по-малко от секунда. Сметките отнемат седмица.

Сериозно ти го пиша, нямаш нищо общо с програмирането. Кажи, че файлът се уголемява и ти зареждаш всеки път едно и също дърво с малки модификации. За да докажеш, че не 10, а 100 пъти ти е по-бавна програмата от това, което трябва да бъде. За мен темата приключи, ти си не си програмист, Рабин 2.

Още веднъж, бавничко, като за идиот...

Файла не се уголемява. Програмата се изпълнява само ВЕДНЪЖ са колекции А и Б. I/O-то няма НИКАКВО значение за скоростта на програмата (секунда vs. 48 МИЛИОНА секунди).

Конструкцията на trie отнема по-малко от секунда. Използването му прави програмата ПОНЕ 1.5 пъти по-бърза.

Та, можеш да си говориш празни приказки колкото си искаш, но те няма как да променят ФАКТИТЕ. :)

|

Абе, смешник, в моят случай резултатите ВИНАГИ са в паметта. Честно, нямам идея защо продължаваш с "да, ама..." :)

Това не е особен проблем - SQlite поддържа бази данни в паметта. И е очевидно, че за твоята задача следва да се използва именно такава, ако сета се събира в паметта.

Флеймчето е добро, малко сухо откъм епитети и цветисти изрази ма за без пари толкова...

johnfound

|

Абе, смешник, в моят случай резултатите ВИНАГИ са в паметта. Честно, нямам идея защо продължаваш с "да, ама..." :)

Това не е особен проблем - SQlite поддържа бази данни в паметта. И е очевидно, че за твоята задача следва да се използва именно такава, ако сета се събира в паметта.

Т.е. да набутам данните в sqlite, за да получа по-ниска производителност? Интересна идея! :)

|

Т.е. да набутам данните в sqlite, за да получа по-ниска производителност? Интересна идея! :)

Както вече няколко пъти ти написах (и bvbfan също) твърдението, че ще получиш непременно по-ниска производителност изисква доказателство. NIH синдромът не е доказателство.

johnfound

|

Т.е. да набутам данните в sqlite, за да получа по-ниска производителност? Интересна идея! :)

Както вече няколко пъти ти написах (и bvbfan също) твърдението, че ще получиш непременно по-ниска производителност изисква доказателство. NIH синдромът не е доказателство.

Вече казах. Сравняването на един стринг с 100К стринга на C с Levenstein distance от

https://en.wikibooks.org/wiki/Algorithm_Implementation/Strings/Levenshtein_distance#C

(вторият, леко модифициран защото знам дължината и не трябва да викам strlen всеки път), отнема 2.1 секунди. Имплементацията на Go с trie отнема 1.4 секунди. При това с дивашката рекурсия, която трябва да оправя в един момент.

Наистина ли твърдиш, че sqlite ще е по-бързо от C?

Между другото, ако искате честно сравнение, дайте същото нещо имплементирано с sqlite и ще го пробвам.

P.S. Версията ми с trie на С е по-бавна от Go (но все пак по-бърза от сравняването с всеки стринг), но сравнението не е честно защото кода е направен да работи и на GPU.

Golden Gega

Флеймчето е добро, малко сухо откъм епитети и цветисти изрази ма за без пари толкова...

Втори чипс зимам, хем рядко ям джънк, пък има и програмиска тангента

Ама личи си културата, нАучните титли и прочее, пак псуене ама някак си с академично излъчване...

Golden Gega

Флеймчето е добро, малко сухо откъм епитети и цветисти изрази ма за без пари толкова...

Пссст, гега, дай ми права да си редактирам мненията.

Евлампи

Golden Gega

Флеймчето е добро, малко сухо откъм епитети и цветисти изрази ма за без пари толкова...

Втори чипс зимам, хем рядко ям джънк, пък има и програмиска тангента

Не е зле, но ми се струва че има едно избиване на комплекси от страна на чертата. Спокич черта, на всички е ясно че Big O, worst case, average case и real world performance са различни неща(надявам се и за теб вече). Ти ся това че се изложи за тая хаш таблица дето я знаеше как работи, толкова навътре го прие, че взе да големееш как си смятал структурата от данните дали ти се събира в L3 кеша. Нема нужда сега, случва се на всеки да каже някоя глупост. Аз на твое място щях да пусна едно апологетично писмо до студентчитата, с които си се заяждал и да се опитам да стана по-добър човек. Peace. Давам ти тази коза като символ на приятелство 🐐