0 1 2 3 4 ...17 18 19 20 21 ...32 33 34 35 36
Чакам вие да кажете първо, за да не ви вкарвам в коловоз. Моето решение определено не е оптимално.
SQLite, blob за полетата, Levenstein в кода и дерзаеш.
Това какво значи? Че може да се дават като решение стрингове чието растояние на Левенщайн всъщност не е най-малкото в множество А?
Или че просто растоянието на Левенщайн трябва да се смята приблизително и някой път може да е грешно сметнато, но все пак е най-малкото сред грешно сметнатите?
Между другото, идеята на bvbfan съвсем не е лоша. Просто трябва да се имплементира потребителска функция за растоянието на Левенщайн в sqlite и директно да се напише заявка на SQL. Резултата може да се окаже съвсем изненадващо добър. 
Levenshtеin distance се смята между стрингове, които не съвпадат точно. Може да има до 100 такива разлики между стринговете. В общи линии, стринговете в колекция Б са грешни копия на стринговете е колекция А. Отделно му трябва и къде са грешките като позиция, както и какъв тип грешка е (insertion, deletion, substitution), но това са подробности и може да се сметне по-късно.
Наистина ли мислиш, че потребителска функция в sqlite ще е по-добра от в момента работещия мноконишков, сравнително оптимизиран код? :) Защото той отнема около седмица на машина с 48*2 ядра, при това когато стринговете от колекция А е 100К. :) А компютрите имат много памет, може да предположиш че е безкрайно много (1.5 TB).
Тоест, си искал да кажеш че търсиш минималното разстояние, но не по-голямо от 100 (64). Понятието "грешка" в този контекст е заблуждаващо, още повече, че в предишното изречение използваш правилната дума "разстояние" в същият смисъл.
Каква връзка имат нишките тука? SQLite също може да работи паралелно в много нишки, заявките могат ефективно да се разпаралелят, а SQLite има сериозно оптимизиран код, който със сигурност ще е по-бърз от това, което сте писали набързо.
Евентуално може да има проблеми само ако искате да изпълнявате на клъстър по мрежата, но и тогава може да се измисли нещо.
И какво точно ще направи този "сериозно оптимизиран код" в sqlite? :) Можеш ли да го опишеш?
Между другото, специално в био-информатиката се смята за по-подходящо да се използва разстоянието на Дамерау-Левенщейн в което размяната на местата на два символа е една операция, а не 2.
В смисъл? Ще изпълнява SQL заявките, какво друго може да прави кода в SQL база данни?
Как ТОЧНО ще изпълнява SQL заявките? Какви ще са заявките, и в какъв достъп до данните ще се транслират те?
Е, ти сега искаш да ти реша задачата на SQL ли?
Във всеки случай, бих започнал с нещо такова:
create table setA(strA text);
create table setB(strB text);
select
min(LsDist(strB, strA))
from
setB left join setA
group by
strB
А по-нататък ще видя какво и как може да се оптимизира, раздели на нишки и т.н.
И какви операции ще направи sqlite в този случай?
Ами пусни я и виж. Това си е твоя задача все пак.
Няма нужда да го правя. Знам, че моят код е по-бърз. При това без да е оптимален.
П.П. Много е забавно когато някой фен на асемблера ми дава съвет да използвам sql за оптимален код. :)
П.П.2. Само една подсказка: това ВИНАГИ ще сравнява всяка двойка от стрингове.
Тоест твоя код не прави всяко с всяко ?
0 1 2 3 4 ...17 18 19 20 21 ...32 33 34 35 36