crossplatform.ru

Здравствуйте, гость ( Вход | Регистрация )

> Boost thread - ограниченное количество потоков?, непонятное ограничение, не связанное с ресурсами системы
Iron Bug
  опции профиля:
сообщение 6.2.2009, 11:23
Сообщение #1


Профессионал
*****

Группа: Модератор
Сообщений: 1611
Регистрация: 6.2.2009
Из: Yekaterinburg
Пользователь №: 533

Спасибо сказали: 219 раз(а)




Репутация:   12  


добрый день всем.
вот, может, кто сталкивался с подобной проблемой:
использую библиотеку thread boost'а для кроссплатформенного программирования. до недавего времени всё было замечательно, но тут возникло одно неприятное открытие:
оказалось, что буст почему-то ограничивает возможное количество потоков. а именно: после создания какого-то числа работающих потоков создание очередного потока проваливается с исключением boost::thread_resource_error и до уменьшения количества работающих потоков создание нового потока невозможно (каждый раз выпадает это исключение). причём это максимальное число потоков не зависит от реальных ресурсов системы, либо зависимость мне непонятна.
для проверки была написана маленькая программа - генератор потоков. потоки просто создаются, спят какое-то время, потом завершаются. потоки пустые, мелкие - то есть, памяти теоретически должно хватать. при этом задавалось разное время жизни потоков и разное количество потоков. результаты по подсчёту количества потоков всегда одинаковы, независимо от времени жизни каждого потока. это число каким-то загадочным образом зависит от машины, но, по видимому, не зависит от количества свободной памяти процесса и системы.
из опытов получилась такая странная картина: дома стоит машина под линюксом, 4 гектара памяти, своп вообще не используется - опытным путём получен предел в 382 потока, на работе машина под вендой, 1 гектар памяти, предел - 2024 потока. увеличение-уменьшение количества других процессов в системе никак не влияет.
откуда берутся такие странные цифры? может, есть возможность определить каким-то образом, как распределять ресурсы, чтобы потоков было больше? по работе необходима возможность одновоеменного выполнения очень большого и заранее неопределённого количества потоков в риал-тайме (пул потоков как бы не подходит по замыслу задачи). непонятно, откуда исходит это ограничение и как с ним бороться (если это вообще возможно).
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение
 
Начать новую тему
Ответов
Iron Bug
  опции профиля:
сообщение 20.3.2009, 15:41
Сообщение #2


Профессионал
*****

Группа: Модератор
Сообщений: 1611
Регистрация: 6.2.2009
Из: Yekaterinburg
Пользователь №: 533

Спасибо сказали: 219 раз(а)




Репутация:   12  


Цитата(Andrew Selivanov @ 20.3.2009, 16:38) *
А нахрена столько...?

нуу... 8 тыщ, может, и не надо, но больше 2000 иногда может и понадобиться.
просто я работаю в конторе, где разрабатывают железяки. железяки очень сложные, реально постоянно в разработке куча девайсов, которые надо тестировать - это моя работа. и вот у меня задумка сделать нечто типа скриптового языка для создания тестов. так как иначе это бесконечное писание тестового софта, а времени на серьёзное тестирование, как правило, очень мало. в одной машине к шине могут быть подключены тысячи девайсов - обычно лучше иметь на каждый девайс свой скрипт обработки, и, соответственно, свой отдельный поток... отсюда и такие странные требования. ну а в общем, всё равно полезно знать, что в системе можно реализовать, а что - нет.
сейчас кое-как у меня написан первый прототип скриптового монстра и он даже реально работает, но - увы - неоптимально. я думаю капитально переделать существующую реализацию. поэтому уже два месяца ночами не сплю, думаю, как сделать быструю и надёжную универсальную систему для тестирования. а кроссплатформа - это, понятное дело, ради линюкса затеяно. под вендой это почти гиблое дело. однако пока тестирование идёт под вендой. если я напишу пару дровов под линь для общения с шиной - то можно будет без гемора всё тестировать под линём на одной корзине, что существенно упростит жизнь :) вот и ковыряюсь помаленьку...
Перейти в начало страницы
 
Быстрая цитата+Цитировать сообщение

Сообщений в этой теме
- Iron Bug   Boost thread - ограниченное количество потоков?   6.2.2009, 11:23
- - ViGOur   Все правильно, это ограничение потоков, для винды ...   6.2.2009, 11:33
- - Iron Bug   да сомневаюсь я, что это ограничение по памяти. в ...   6.2.2009, 11:45
- - Litkevich Yuriy   Цитата(Iron Bug @ 6.2.2009, 14:43) что эт...   6.2.2009, 11:50
- - ViGOur   Цитата, которую я привел справедлива для Win32 Api...   6.2.2009, 11:52
- - Iron Bug   пока что происходят странные вещи: при УВЕЛИЧЕНИИ ...   6.2.2009, 11:56
- - Litkevich Yuriy   Цитата(Iron Bug @ 6.2.2009, 14:56) могу т...   6.2.2009, 12:04
- - Iron Bug   дык вот не смешно совсем. пока в песочнице копошиш...   6.2.2009, 12:41
- - ViGOur   Как решишь проблему опиши как решил, а то больно и...   6.2.2009, 13:00
- - some_x   Цитата(Iron Bug @ 6.2.2009, 14:23) добрый...   22.2.2009, 0:00
- - ViGOur   Цитата(some_x @ 22.2.2009, 0:00) хотя воз...   22.2.2009, 10:08
- - Andrew Selivanov   #include <stdio.h> #include <windows.h...   20.3.2009, 14:38
- - Iron Bug   Цитата(Andrew Selivanov @ 20.3.2009, 16:3...   20.3.2009, 15:41
- - Andrew Selivanov   Ааа.. стало яснее, но картину в целом всё равно пр...   20.3.2009, 16:18
- - Tonal   Ежели железки тестируются независимо, то действите...   21.3.2009, 10:06
- - Iron Bug   To Andrew Selivanov: Руссинович у меня есть, но д...   23.3.2009, 10:14
|- - Andrew Selivanov   Цитата(Iron Bug @ 23.3.2009, 10:14) To An...   23.3.2009, 18:52
|- - Влад   Iron Bug, вот я прочел и так и не понял: зачем все...   23.3.2009, 22:27
|- - Stranger   Цитата(Влад @ 23.3.2009, 22:27) Iron Bug,...   21.5.2009, 17:17
- - Tonal   Erlang таки не скрипт а виртуальная машина. Заточе...   23.3.2009, 12:42
- - Iron Bug   ну, тут много деталей... если даже виртуальная маш...   23.3.2009, 15:23
- - ViGOur   Цитата(Andrew Selivanov @ 23.3.2009, 18:5...   23.3.2009, 23:52
- - Litkevich Yuriy   Цитата(ViGOur @ 24.3.2009, 2:52) Возьмем ...   24.3.2009, 3:04


Быстрый ответОтветить в данную темуНачать новую тему
Теги
Нет тегов для показа


1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0




RSS Текстовая версия Сейчас: 16.2.2025, 22:47