Многопоточность при работе с БД Опции

[kibsoft]

Есть примерно 58000 записей, я их через execBatch() забиваю в базу (СУБД ORACLE), на это уходит около 4 секунд..вопрос: если например запись в базу разбить на два потока, то можно ускорить запись? Хотя бы теоретически это возможно?

[ViGOur]

Это как я понимаю уже нужно обращаться к специфике работы самих БД.
Может не оптимальна настройка самой БД может еще чего...

[Litkevich Yuriy]

kibsoft, при вставке больших пачек данных, обычно блокируют (отключают) индексы, а после вставки включают вновь. Т.к. индексация осуществляется во время добавления (вставки) данных

[SABROG]

Можно попробовать вызывать BEGIN TRANSACTION перед вставкой, и COMMIT TRANSACTION после. И заливать данные не в таблицу, которую ты собираешься добавлять данные, а сначала во временную, а уже из неё копировать в оригинальную: INSERT INTO TABLE2 SELECT * FROM TABLE1

[kibsoft]

kibsoft, при вставке больших пачек данных, обычно блокируют (отключают) индексы, а после вставки включают вновь. Т.к. индексация осуществляется во время добавления (вставки) данных

Отключаю, после выполнения запроса вставки включаю, но выдает ошибку:
"ORA-01502: index 'CHASTDICT.WORDIND' or partition of such index is in unusable state

Вот код:

qDebug()<<query.exec("ALTER INDEX WORDIND UNUSABLE");
        query.prepare("INSERT INTO WORDS(WORD,COUNT) VALUES(?,?)");
        keys=QVariant(insertBase.keys()).toList();
        values=insertBase.values();
        query.addBindValue(keys);
        query.addBindValue(values);
        qDebug()<<query.execBatch();
        qDebug()<<query.lastError().databaseText();
        qDebug()<<query.exec("ALTER INDEX WORDIND REBUILD");

[MoPDoBoPoT]

...
query.prepare("INSERT INTO WORDS(WORD,COUNT) VALUES(?,?)");
query.addBindValue(keys);
query.addBindValue(values);
...

Так Оракл же даржит именное связывание, а не позиционное. Попробуй так:

        query.prepare("INSERT INTO WORDS(WORD, COUNT) VALUES(:word, :count)");
        keys=QVariant(insertBase.keys()).toList();
        values=insertBase.values();
        query.bindValue(":word", keys);
        query.bindValue(":count", values);
        qDebug()<<query.execBatch();

[kibsoft]

...
query.prepare("INSERT INTO WORDS(WORD,COUNT) VALUES(?,?)");
query.addBindValue(keys);
query.addBindValue(values);
...

Так Оракл же даржит именное связывание, а не позиционное. Попробуй так:

        query.prepare("INSERT INTO WORDS(WORD, COUNT) VALUES(:word, :count)");
        keys=QVariant(insertBase.keys()).toList();
        values=insertBase.values();
        query.bindValue(":word", keys);
        query.bindValue(":count", values);
        qDebug()<<query.execBatch();

Не в этом дело..без отлючения/влючения индекса и с позиционным работает...но дольше вставка идет чем без индекса, но зато обновление базы с индексом намного быстрее.. вот я и хочу на время вствки его отключать, но видимо так нельзя..

[Litkevich Yuriy]

kibsoft, ты транзакции используешь?

[MoPDoBoPoT]

Не в этом дело..без отлючения/влючения индекса и с позиционным работает...но дольше вставка идет чем без индекса, но зато обновление базы с индексом намного быстрее.. вот я и хочу на время вствки его отключать, но видимо так нельзя..

Я в курсе. Конечной целью у тебя является увеличить скорость записи данных в БД, потому я и сделал замечание. Собственно, подготовка запроса (prepare) служит для того, чтобы СУБД разобрало текст запроса один раз и поместила его в библиотечный кэш, а пользовалось им много раз (сам разбор запроса занимает некоторое время).
Насчет индексов - спроси про это на sql.ru, там прохаванные в этом люди.

kibsoft, ты транзакции используешь?

Так он же execBatch() пользуется, там уже оптимизировано в этом плане.

[Litkevich Yuriy]

там уже оптимизировано в этом плане.

вот не могу вспомнить/найти, где это обсуждалось. Явное использование транзакции помогало ускорить процесс.