Разобрался с проблемой. Запустил прогу на другом компе, откуда изначально все устанавливал, и все заработало!
Была проблема, из-за чего и начались эксперименты с прошивкой. При выборе напряжения на приборе меньше 1в, линия уползала вниз. Заменил TL084c и подстроечные конденсаторы, они равалились, проблема исчезла, но теперь другая проблема. Прибор сильно занижает вольтаж, даже на своем генераторе в 1кгц он показывает напряжение в 22мв, когда там 1.5в