Замедление вставки в QSQLITE, Загнать большой txt файл в БД Опции Подписка на тему Сообщить другу Версия для печати Скачать тему Подписка на этот форум Режимы отображения Древовидный Переключить на: Стандартный Переключить на: Линейный

[cupersuper]

Здравствуйте! Подскажите, пожалуйста, что можно придумать?

Пытаюсь загнать большой текстовый файл 30ГБ (500 млн строк) в базу данных SQLITE. Миллион строк влетают очень быстро, а дальше запись по мере роста БД начинает замедлятся.

....
#include <iostream>
#include <fstream>
using namespace std;
....

char str[99999];
ifstream in;
in.open(filename.toAscii());
in.seekg(0,ios::beg);


db.transaction();
QSqlQuery query;
query.prepare("INSERT INTO tablename (line, value) "
              "VALUES (:line, :value)");

while(in){

    in.getline(str, 99999);
    QString qstr = QString::fromLocal8Bit(str);


    if(in && qstr != "")
    {
        QStringList qstrlst = qstr.split(";");
        QString line = qstrlst.at(0);
        QString value = qstrlst.at(1);

        query.bindValue(":line", line);
        query.bindValue(":value", value);
        query.exec();
    }

}
db.commit();
in.close();
....

[cupersuper]

По всей видимости в самом цикле возникает проблема, как посмотреть на более низком уровне не совсем понимаю.

В системе жёсткий диск на запись занят на 100%, на чтение на 90-95%, проц почти не грузится