Кадры в файл пишутся такие же "красивые". Хотя если постараться, можно поймать кадр с нормальным изображением.

можешь привести картинку, как портится изображение?
вообще, это скорее всего проблема потоков и декодеров. под дебианом вообще частенько бывают такие косяки, чаще всего косячит ffmpeg.
но на всякий случай убедись, что у тебя хватает питания на всю периферию. проверь напряжение на контрольных точках во время работы камеры. можешь попробовать установить VNC, оторвать от распберри всё, кроме камеры, и попробовать так запустить. он очень нестабильно работает, когда его нагружают девайсами. если это проблема питания, то можно купить активный USB-удлинитель, чтобы питать камеру.

Картинку пока привести не могу, ибо на работе. Вечером.
К Распберри по ЮСБ подключены только камера и активный хаб, на котором уже висят клавиатура с мышью. Блок питания на 1600 мА.

важна стабильность. а то всякое китайское Г сейчас продают, написать могут что угодно, а скачки там по питанию могут быть до 10-20%. по-хорошему, блоки надо проверять осциллом. я на всякий случай пока запитываю его от USB компа. там мощности немало и напряжение более-менее гарантированное.

ЮСБ компа на самом деле может дать лишь 500 мА, после этой границы БП должен уйти в режим защиты, чтобы ЮСБ-контроллер на материнке не спалить. Но это оффтоп, однако.
Посмотрю, как оно будет себя чувствовать с питанием от аккумулятора (т.к. планирую это хозяйство использовать в робототехнике).

у меня шнур от двух USB-портов - от внешнего HDD. вполне хватает.
но если есть уверенность, что с питанием проблем нет, то можно ковырять в сторону видео-кодеков.

БП даже не почувствует такого потребителя. в современных материнках просто самовосстанавливающиеся предохранители стоят на проводе питания USB.

Вообще если нет уверенности в БП, то лучше использовать компьютерный БП (можно дополнительный, рядышком на столе поставить)

Вот такие "веселые картинки" моя камера делает. Причем это еще не худший вариант.
Попробовал отключить от платы все, кроме клавиатуры - то же самое. Подключал камеру к активному ЮСБ-хабу - без изменений.

Виноват, не прикрепилось.