Быстрая вставка строк в базу данных mysql Опции Подписка на тему Сообщить другу Версия для печати Скачать тему Подписка на этот форум Режимы отображения Переключить на: Древовидный Переключить на: Стандартный Линейный

[evgen55]

Есть база данных mysql на удаленном сервере. При обращении к таблице каждый запрос выполняется около 40 мс. Возможно ли както повысить скорость. Пробовал все это оборачивать в одну транзакцию но скорость от этого только уменьшилась

QSqlQuery query;
query.prepare("SELECT id FROM objects WHERE subject_id=:subject_id");

потом в цикле подставляю параметры

query.bindValue(":subject_id",sid);

И потом делаю

query.exec()

Есть база данных mysql на удаленном сервере. При обращении к таблице каждый запрос выполняется около 40 мс. Возможно ли както повысить скорость. Пробовал все это оборачивать в одну транзакцию но скорость от этого только уменьшилась

QSqlQuery query;
query.prepare("SELECT id FROM objects WHERE subject_id=:subject_id");

потом в цикле подставляю параметры

query.bindValue(":subject_id",sid);

И потом делаю

query.exec()

P.S. ОС Windows

[lanz]

А где собственно вставка?
Попробуйте забиндить сразу все subject_id,

SELECT id FROM objects WHERE subject_id IN :subject_id

[evgen55]

Запрос вставки содержит много полей поэтому не хотелось его здесь указывать

[lanz]

Еще так можно попробовать.
http://doc.qt.io/qt-5/qsqlquery.html#execBatch

[lanz]

Ну и вообще
https://dev.mysql.com/doc/refman/5.6/en/ins...timization.html

[Iron Bug]

Возможно ли както повысить скорость.

проверь, что твоя таблица индексирована по полям, по которым происходит выборка. можно также поиграться с настройками сервера.

[evgen55]

Ну и вообще
https://dev.mysql.com/doc/refman/5.6/en/ins...timization.html

qDebug() << DB.driver()->hasFeature(QSqlDriver::PreparedQueries);
qDebug() << DB.driver()->hasFeature(QSqlDriver::BatchOperations);
qDebug() << DB.driver()->hasFeature(QSqlDriver::Transactions);
Все возвращает false. Я правильно понимаю что ни пакетная вставка ни транзакции не поддерживаются? Что можно сделать?

[lanz]

Что тотут не так, транзакции не поддерживаются - это очень странно.

Note that some databases need to be open() before this can be determined.

[evgen55]

Что тотут не так, транзакции не поддерживаются - это очень странно.

Note that some databases need to be open() before this can be determined.

Спасибо, теперь только DB.driver()->hasFeature(QSqlDriver::BatchOperations); false Можно ли это както исправить?

[lanz]

Прежде всего посмотрите, где у вас задержка, в Qt? При соединении с сервером? На сервере? В зависимости от этого нужно смотреть что конкретно оптимизировать.

[evgen55]

Прежде всего посмотрите, где у вас задержка, в Qt? При соединении с сервером? На сервере? В зависимости от этого нужно смотреть что конкретно оптимизировать.

Любой запрос (сама функция exec) выполняется 40 милисекунд, а в phpmyadmin выполняется мгновенно

[lanz]

Мнгновенно это сколько в миллисекундах?

[evgen55]

Прежде всего посмотрите, где у вас задержка, в Qt? При соединении с сервером? На сервере? В зависимости от этого нужно смотреть что конкретно оптимизировать.

Любой запрос (сама функция exec) выполняется 40 милисекунд, а в phpmyadmin выполняется мгновенно

Отображение строк 0 - 24 (4274 всего, Запрос занял 0.0018 сек.)

[lanz]

Отображение строк 0 - 24 (4274 всего, Запрос занял 0.0018 сек.)

Это возможно сравнение яблок с апельсинами. 0.0018 это то что показывает phpmyadmin, я если честно не знаю, как он меряет, что он включает в это время и как вы меряли 40 мс.
Приложите пожалуйста минимальный проект с бенчмарком чтобы можно было конкретно уже смотреть.

Кроме того - существует ли проблема вообще? Т.е. вы наблюдаете тормоза при вставке или вам просто не нравится число 40? Попробуйте вставить много строк, увеличивается ли время пропорционально? Как вы меряли время?

Согласитесь, что несколько странно видеть сишный код в 20 раз медленнее php, не верю

[evgen55]

Отображение строк 0 - 24 (4274 всего, Запрос занял 0.0018 сек.)

Это возможно сравнение яблок с апельсинами. 0.0018 это то что показывает phpmyadmin, я если честно не знаю, как он меряет, что он включает в это время и как вы меряли 40 мс.
Приложите пожалуйста минимальный проект с бенчмарком чтобы можно было конкретно уже смотреть.

Кроме того - существует ли проблема вообще? Т.е. вы наблюдаете тормоза при вставке или вам просто не нравится число 40? Попробуйте вставить много строк, увеличивается ли время пропорционально? Как вы меряли время?

Согласитесь, что несколько странно видеть сишный код в 20 раз медленнее php, не верю

int id;

DB = QSqlDatabase::addDatabase("QMYSQL");
DB.setHostName("xxx.xxx.xxx.xxx");
DB.setDatabaseName("xxxxxxxx");
DB.setUserName("xxxxxxx");
DB.setPassword("xxxxxxxxxxx");
QSqlQuery* queryI;
QTime time;
queryI=new QSqlQuery(DB);
queryI->setForwardOnly(true);
queryI->prepare("INSERT INTO subtags(p_id,p_tag,item) VALUES(:p_id,:p_tag,:item)");
QSqlQuery query;
query.setForwardOnly(true);
query.prepare("SELECT id,subject_id,FROM objects");
while (query.next()) {
id=query.value(0).toString();
...
// цикл вставки где меняется p_tag и item
queryI->bindValue(":p_id",id);
queryI->bindValue(":p_tag","walling_type");
queryI->bindValue(":item",AllObject[ind].WALLING_TYPE);
time.start();
if (!queryI->exec())
            qDebug()<<"error update insert WALLING_TYPE"<<id;
else qDebug()<<time.elapsed(); // здесь каждый запрос 40 мс
...
}

Соответственно когда селект возвращает примерно 4000 объектов и внутренний цикл содержит примерно 10-20 item получается слишком долго

[lanz]

Во первых QTime на Windows возвращает с точностью кратной то ли 15, то ли 20 мс, в любом случае, это слишком плохо.
Попробуйте QElapsedTimer, интерфейс тот же, а точность обычно лучше.
http://doc.qt.io/qt-4.8/qelapsedtimer.html

Если все равно 40 мс будет получаться, замерьте время всего цикла(с 40000-80000 вставок) и разделите, тогда получите точное время.

40000-80000 вставок это довольно много, попробуйте все таки execBatch и если не поможет, то попробуйте просто слепить в строке нужный запрос на вставку всех строк за раз и его выполнить - получите скорость вставки напрямую.

[evgen55]

Во первых QTime на Windows возвращает с точностью кратной то ли 15, то ли 20 мс, в любом случае, это слишком плохо.
Попробуйте QElapsedTimer, интерфейс тот же, а точность обычно лучше.
http://doc.qt.io/qt-4.8/qelapsedtimer.html

Если все равно 40 мс будет получаться, замерьте время всего цикла(с 40000-80000 вставок) и разделите, тогда получите точное время.

40000-80000 вставок это довольно много, попробуйте все таки execBatch и если не поможет, то попробуйте просто слепить в строке нужный запрос на вставку всех строк за раз и его выполнить - получите скорость вставки напрямую.

Спасибо большое, слепить запрос в одну строку помогло. execBatch пробовал он не поддерживается