Создание быстродействующего распределителя памяти, для std::vector или замена глобальных операций выделения памяти Опции

[AD]

Раньше был обычный массив (динамический), который содержал значения определенных параметров, прочитанных из лог-файла (широта, долгота, скорость и пр.). Сейчас сделал в виде вектора. Вместо оператора new теперь использую resize. Но так как эти операции чересчур затратные (а цикл может содержать и 100000 итераций (где каждый раз происходит выделение)), то стало необходимо сделать алгоритм немного по-другому.
Выделять память блоками. Т.е. вместо след. операций:
code1

t.params = new PARAMVALUE[rec_descr.size()];
t.words = new uint[rec_descr.size()];
memset(t.params, 0, sizeof(PARAMVALUE) * rec_descr.size());
memset(t.words, 0, sizeof(uint) * rec_descr.size());

Делать следующее:
code2

/// 0 <= num_block <= 1000
char *buff, *buff1;
if(num_block > 1000)
{
buff = new char[rec_descr.size() * BLOCKSIZE];
buff1 = new char[rec_descr.size() * BLOCKSIZE];
flag = false;
num_block = 0;
}
++num_block;
t.params = buff + rec_descr.size() * num_block;
t.words = buff1 + rec_descr.size() * num_block;

При замене на QVector code1 перешел в следующий:
code3

t.params.resize(rec_descr.size());
t.words.resize(rec_descr.size());

Как переписать code2 для использования в векторе QVector? Заранее благодарен за помощь....

Сообщение отредактировал AD - 30.6.2009, 15:08

[Tonal]

Интересно, в code2 при num_block <= 1000 t.params и t.words будут указывать куда попало или ты опустил кусок кода?

Ну а вообще, контейнерные классы обычно при надобности увеличивают свой размер с запасом.
Например std::vector увеличивает свой размер в 1.5 - 2 раза по сравнению с текущим, поэтому последовательные push_bask довольно дёшевы.

[AD]

Интересно, в code2 при num_block <= 1000 t.params и t.words будут указывать куда попало или ты опустил кусок кода?

Да это приближенный кусок кода, пока только на бумаге написанный.
Если делать по-разумному, то будет где-то так:

if(!num_block)
{
/// те операции, которые делались, если num_block > 1000
}
if(num_block > 1000)
         num_block = 0;

Ну а вообще, контейнерные классы обычно при надобности увеличивают свой размер с запасом.
Например std::vector увеличивает свой размер в 1.5 - 2 раза по сравнению с текущим, поэтому последовательные push_bask довольно дёшевы.

Дело в том, что мне нельзя делать push_back или для QVector append, потому что необходимо, чтобы широта или долгота была именно под тем же индексом, что и в файле описания параметров. t.params - хранит значение параметра. А rec_descr - вектор описания параметров.

Сообщение отредактировал AD - 29.6.2009, 11:14

[Litkevich Yuriy]

Выделять память блоками.

Ну а вообще, контейнерные классы обычно при надобности увеличивают свой размер с запасом.

Стратегии увеличения размера

[SABROG]

Кстати интересный класс есть QVarLengthArray, если я правильно понял, то он до какого-то момента выделяет память в стеке, а после превышения некоторого размера начинает выделять память в куче. Якобы операция выделения памяти в стеке быстрее по скорости, чем new.

[AD]

Стратегии увеличения размера

Ну с запасом в 2 раза. Но не через 1000, а через 2000 увеличивать, но придется. Я не очень знаю как, потому и прошу помочь. Ведь кусочек кода совсем маленький....

[AD]

Очень прошу помочь. Как реализовать код для QVector? Делать выделение, когда счетчик будет более 2000? Ну хоть как-то помогите, пожалуйста!

Сообщение отредактировал AD - 29.6.2009, 13:26

[Litkevich Yuriy]

Делать выделение, когда счетчик будет более 2000?

попробуй так, да посмотри какой эффект будет.

[AD]

попробуй так, да посмотри какой эффект будет.

Хорошо, а вот саму эту штуку как сделать для QVector: именно ее, я не знаю как изобразить в коде для вектора:

// param - обычный массив
if(/*<Условие>*/)
{
     buff = new char[/**/];
}
t.params = buff + rec_descr.size() * num_block;
t.words = buff1 + rec_descr.size() * num_block;

Ну то есть, я не знаю, как выполнить след. алгоритм для вектора: выделили некоторый блок данных, а потом отдавать кусочками под конкретные массивы (для вектора - соответственно, векторы).

[Litkevich Yuriy]

по ссылке, что я привёл, дочитай до конца. Там есть рекомендации "которые позволяют контролировать и задавать столько памяти, сколько вам нужно"