@AK Добрый день! Как и обещал, вчера + сегодня с утра попытался собрать информацию по проблеме автопереводов вопросов с SOen. Наиболее популярный сайт, как и ожидалось, — qaru.site. В первом приближении остальные можно не рассматривать.
Я создал учетную запись с пробным периодом в 7 дней на Alexa.com. Алекса говорит, что видит порядка 17 тысяч запросов, по которым люди приходят на qaru.site. То есть трафик размыт не хуже чем на SO. Можно выделить топ–120, где на по каждому запросу на сайт идет более 0.009% трафика.
Я сейчас запустил свою небольшую программу, которая берет эти 120 запросов, вводит в Google и смотрит, есть ли qaru.site в выдаче на первой страничке. Как завершится, отпишусь.
(И выложу все данные на GitHub.)
Встает вопрос, что теперь нам с этим всем делать?) Как я понимаю, стратегия владельцев сайта взять вопросы с наибольшим количеством просмотров на SOen, выбрать те из них, где больше всего текста и опубликовать авто перевод. Их идея: чем больше текста, тем лучше, так как поиск будте индексировать.
Вопрос в том, как с этим бороться. У нас двоих с вами силы закончатся на первых десяти вопросах, если мы решимся их перевести. Подскажите, есть ли у вас какие–нибудь интересные мысли, как бороться с захламлением Рунета?
Лол, надо перестать пытаться переводить вопросы, которые нужны именно себе: надо переводить то, что тебе точно не пригодится. Была сегодня проблема, нашёл несколько ответов на SOen (пример, ссылки битые - но можно собрать склеить из нескольких вопросов. Задал вопрос - получил неожиданный ответ. Перевёл бы - попал в колею собственного опыта и не узнал бы чего-то нового.
Пытаюсь зугрузить tsv–файл в pandas.
import pandas as pd
df = pd.read_csv(filename, sep='\t')
print(df)
После выполнения этого кода в консоли вижу ошибку
df = pd.read_csv(filename, sep='\t') File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/io/parsers....
Вообще, оказалось, что qaru.site почти 2 миллиона вопросов загнали себе. С большой вероятностью, содержимое даже никто не проверял на корректность. Просмотреть 2 млн вопросов с ответами просто невозможно без огромного штата редакторов.
Причем они с какой–то частотой добавляют новые вопросы (видимо, лимит бесплатного API к переводчику/дневная норма SO)
@AK Если что, для анализа поисковых запросов инструмент тут: github.com/chabanovsky/querychecker. Я его очень грубо подкрутил от предыдущего (был нужен для анализа нас в Яндексе)
@NicolasChabanovsky Ну, эффективный пылесос трафика. Есть ли какие-то варианты выйти на яндекс, чтобы они рассмотрели вопрос о том, что данный сайт нужно выкинуть из поисковой выдачи?
@AK Я думаю, это противоречит устоям нашего общества. Мол, каждый может публиковать в Интернет все, что считает нужным (что не противоречит закону РФ).
Содержимое низкого качества? Да, так и есть. Но есть и куда хуже :D
Но намекнуть им, чтобы алгоритмы подкрутили, конечно стоит!
@NicolasChabanovsky поисковый спам. в поисковиках всегда были механизмы т.н. "пессимизации". Вот вы говороте: 2 млн запросов. Уверен, что по части из них уже отработали ассенизаторы выдачи из толоки, но это почищена капля в море из этих 2 млн запросов. Надо ставить вопрос системно, на уровне всех клонов stackoverflow, их дофига.
@AK Ага. Зная поддержку Яндекса, они обязательно попросят пример запроса и примеры того, что мы ожидали увидеть.
@AK В клонах (сайте вопросов и ответов, который пытается повторять идею SO) нет ничего плохого, на мой взгляд. Предполагаю, что бороться надо именно с автопереводами, так как любое объяснение сложной технической темы длинной более 10 слов будет похоже на чушь без вычитывания человеком.
Они еще не так забили поиск своим спамом. В Алексе я вижу 17 тысяч ключевых фраз, по которым люди попадают на qaru.
@Etki на каком ресурсе этот вопрос надо задавать только? Хотя, тут скорее проблема не в самом Жарове, а в реализации этой блокировки, которая помимо (или вместо) того что надо блокировать, блокирует и много лишнего
@АндрейNOP человек на голубом глазу блокирует шестнадцать миллионов адресов инфраструктуры, которая обычно используется mission-critical проектами. Точно не в нем?
Интересно, а могу/смогут ли работающие в РКН сотрудники, в частности, технические, отказаться от выполнения задачи блокировки? Они же вроде как не военные, а нанятые сотрудники, как мы с вами. Если все перестанут делать то, что их начальство просит, то и блокировок не будет. =)
@VladimirGamalyan Так вопрос же не в з/п, а в том, что что–то будет считаться аморально. Тогда либо оно будет стоить так дорого, что люди 100 раз подумают, прежде чем делать, либо будет сделано плохо и не до конца (читай как не сделано).
@NicolasChabanovsky Говоря по чесноку, я бы за $120K/year согласился бы. Прямой конфронтации с библейскими/человеческими ценностями нет, зато детишек можно в диснейленд свозить пару раз в году.
Плюс можно себя убаюкать - есть же другие мессенджеры, а если и их прижмут, значит это пинок к прогрессу, выходить на новые рубежи, неподвластные ограничениям.
@NicolasChabanovsky Ну уж такова природа. Я еще не самый малый профит запросил ))
@АндрейNOP За то я не отвечаю, юзайте переводчик. Возможно имеется ввиду что работать там могут все, кто знаком с этой областью. Или данными будет делиться.
@АндрейNOP Она бронзовая лишь потому что есть ещё такие рубежи Эпопея и Легенда )
@Etki Не надо наказывать Жарова. Вероятнее всего в вас говорит ярость, обида, агрессия. С таким комплектом эмоций какое бы ни начал доброе дело - в пользу не пойдёт.
@NicolasChabanovsky Ну, от выполнения решения суда (то есть, блокировки) можно отказаться, но оно всё равно кем-то будет выполнено. Куда продуктивнее было бы придумать менее разрушительный метод выполнения решения суда.
@Other Не-а. Сейчас посмотрю, что это
@Etki Ну так форс-мажор, доложите по инстанции вверх и идите спокойно спать.
Forwarded from The After Times: Сейчас в офисе: - Ребята, не могу из трелло скачать документик. Он на S3 Амазона ссылается, а он в бане - Скачай из репы - Репа на Гугле хостится, тоже грустно - Бл..ть, что же делать? - Скинь через телеграм, плз...
@Etki Ой, сочувствую. Но всё равно — форс-мажор есть форс-мажор.
Не складывается выполнить задание по независящим причинам — значит, так тому и быть. Пусть бизнес лоббирует более изящные технические решения, наше дело — сообщить бизнесу об убытках.
Пытаюсь зугрузить tsv–файл в pandas.
import pandas as pd
df = pd.read_csv(filename, sep='\t')
print(df)
После выполнения этого кода в консоли вижу ошибку
df = pd.read_csv(filename, sep='\t') File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/io/parsers....
Недавно наткнулся на такую штуку. Как видно, третий и четвёртый байты не совпадают. Баг или фича?
Stack Overflow на русском
Stack Overflow на русском