При импорте файла у меня производится проверка файла, чтение всех строк, после чего идёт сам импорт.
Импортировал файл на 2 гб(2 часа импорта), а после еще один файл на 2 гб(импорт уже 4 часа).
Как импортирую:
LOAD DATA LOCAL INFILE "E:\\2.txt" INTO TABLE users
FIELDS TERMINATED BY ':'
LINES TERM...
Отключить проверку при импорте MYSQL? Проверку чего именно? При импорте файла у меня производится проверка файла, чтение всех строк, после чего идёт сам импорт. ??? Если используется LOAD DATA, то никаких отдельных проверок, чтений, импортов - нет. Выполняется единый процесс потокового копирования.
Импортировал файл на 2 гб(2 часа импорта) Чистый LOAD DATA импортирует гораздо быстрее. Что там ещё наворочено поверх процесса импорта?
Повторю. Что такое импорт в данном конкретном случае? Как точно он выполняется? в подробностях.
Вот только что закончил импорт через LOAD DATA файла, 5 Гбайт, 11млн. записей, с препроцессингом, всё заняло 11 минут. Вы явно выполняете какой-то другой "импорт".
Попробуйте еще раз сделать импорт такого же файла, в ту же базу данных, она примерно будет импортироваться 22 минуты Нет. Наоборот, повторный импорт того же файла (при котором все записи будут отвергнуты как дубликаты) будет выполнен намного быстрее (по опыту и с учётом производительности моей системы процесс займёт порядка 4 минут).
Если же импортировать другой файл, того же размера, то импорт займёт приблизительно то же время. Разница будет зависеть от процента дубликатов, и может быть как в минус (до приблизительно 60-70%), так и в плюс (до приблизительно 50%).
Я произвожу импорт через OpenServer посредством Консоли Яне использую OpenServer и понятия не имею, что там есть Консоль. Через что вы импортируете? Через штатный CLI (mysql.exe) запросом LOAD DATA.
Я хотел вот что донести, посмотрите на скриншот https://ibb.co/G3YWpBC По размеру файлы почти не отличаются, но импорт последущего у меня занял процесс в два раза дольше. Что меня и надоумило то, что сначало проверяется все данные в таблице и только потом импорт
@AndreyLaki Не понял... откуда столько предупреждений? и что за предупреждения? И покажите структуру таблицы (полный CREATE TABLE) и пример импортируемого файла (3-5 строк). Да, сколько времени занимает копирование файла во временный каталог? что если файл сначала зааплоадить на сервер, а потом импортировать без LOCAL?
предупреждения из-за недопустимых символов, так бывает. ничего страшного. Структура https://ibb.co/NFdXRzc. Пример: admin:admin radmin:q123321q по типу такого. Я не думаю что копирование как то влияет. Ибо все данные на компьютере у меня и всё локально. А почему использую LOCAL. У меня проблема с secure files. Когда очищаю его путь, он восстанавливается, вот и прочитал про ключ LOCAL? помогает так
@AndreyLaki Структура ibb.co/NFdXRzc. Поскольку в структуре нет индексов, а первичный ключ синтетический, то замедление - это более чем странно. Я не думаю что копирование как то влияет Ну да... а то, что файл-источник копируется и расходует и время, и дисковое пространство - это типа ерунда? кстати, а что со свободным местом на диске?
У меня проблема с secure files. Когда очищаю его путь, он восстанавливается Так надо его изменять или в конфигах, или в командной строке сервера.
Discussion between Andrey Laki and Akina
Discussion between Andrey Laki and Akina