Добрый день! Идею с MinHash рассматривали? Если есть какие-то вопросы, то попробую ответить (я в своем проектике реализовывал MinHash).