Объединять файлы MP4 можно только если они кодировались с одинаковыми настройками - частота кадров, наличие B-кадров и их количество, количество ref-кадров, параметры деблокинга... Иначе будут
баги. Кажется, тот самый случай. Тут только с полным перекодированием...
А с теми файлами, которые рушат MP4Box - можно образцы? Ни разу не встречал ничего, что MP4Box не мог бы переварить.
А если вытаскивать потоки в RAW и править в таком виде, после чего класть обратно в контейнер?
VLC, кстати, тоже умеет извлекать\перекодировать потоки из любых поддерживаемых форматов (опция Stream\Save в диалоге открытия файла). Возможно, с его результатом уже можно будет работать.
Далее...
MPEG4IP, в частности его компонент mp4creator.
mp4UI, GUI для MPEG4IP.
3ivx D4 4.5 Media Muxer. Его можно использовать как фильтр через GraphEdit:
http://www.3ivx.com/technology/filters/media_muxer.html
mp4tool, правда его не найти практически.
IBM Toolkit for MPEG-4
HDX4 Movie Creator
Quicktime Pro
Ulead VideoStudio
Sony Vegas
Сразу предупреждаю, все вышеперечисленное сам не пробовал, у меня и MP4Box осечек не дает.