Что бы удалить дублирующие записи можно сделать просто, добавить индекс для поля которое должно быть уникальное.
ALTER IGNORE TABLE my_table ADD UNIQUE INDEX `tmp_index` (table_field);
и удаляем индекс.
ALTER TABLE my_table DROP INDEX tmp_index;
ALTER IGNORE TABLE my_table ADD UNIQUE INDEX `tmp_index` (table_field);
и удаляем индекс.
ALTER TABLE my_table DROP INDEX tmp_index;