Первый основной принцип построения - внешнее тестирование», при котором в отличие от «внутреннего тестирования», учитывающего структуру компилятора, последний рассматривается как «черный ящик». Внутренняя логика компилятора игнорируется. Для получения абсолютно точных результатов такого тестирования необходимо прогнать тесты для всех допустимых комбинаций входных данных. Практически, однако, это невозможно даже для существенно менее сложных программ, чем компиляторы. В такой ситуации важную роль играет тщательный отбор тестов, предполагающий творческий подход, иногда даже с элементами «разведывательного» характера: например, разработчик тестов может узнать слабые места в структуре компиляторов, в методе их реализации и основное внимание сосредоточить на проверке именно этих мест. Наиболее известный метод внешнего тестирования - так называемый метод функциональных диаграмм.

Второй основной принцип - выбирается минимальное ядро языка и принимается гипотеза, что оно верно. Затем средствами этого ядра пишутся все тесты.

Третий основной принцип - предпочтительно писать много маленьких тестов вместо небольшого числа сложных тестов. Для каждой выбранной цели пишется небольшой тест, проверяющий только заданную цель. Этот принцип имеет следующие преимущества: выше эффективность тестирования, т. е. больше вероятность обнаружения ошибки; независимость тестов друг от друга; легче отладка и сопровождение пакета тестов; есть возможность выборочного тестирования. Недостаток подхода - усложнение системы запуска тестов и анализа результатов, которая осуществляется средствами ОС.

Следующий принцип - тесты должны быть самоидентифицирующие, т. е. в предельно короткой форме должны сообщать результаты своих проверок. Результат каждого теста автоматически сравнивается с ожидаемым результатом, подготовленным разработчиком тестов.

После прогона тестов и анализа результатов необходимо занести результаты прогона в архив с целью сравнения с будущими повторными прогонами. Даже в случае, если пакет тестов предназначен для аттестации конкретного компилятора, он должен разрабатываться не для одного прогона, поскольку, во-первых, он сам должен отлаживаться, а, во-вторых, после обнаружения и исправления ошибок в компиляторе пакет необходимо запустить еще раз.

Следующий важный принцип тестирования - мобильность самого пакета тестов. Это означает, что тест не должен содержать никаких средств, допускающих различную интерпретацию, кроме тестируемого средства, для того чтобы избежать возможности «маскирования» полезной информации. На практике соблюсти этот принцип полностью чрезвычайно трудно. Поэтому необходимо предусмотреть возможность легкой настройки пакета на новую среду путем его тщательной параметризации и документирования. Например, в системе тестов для компилятора Си настройка на архитектуры ЭВМ с 8битным словом производится путем замены одной строчки в коротком файле, включаемом в некоторые тесты с помощью макровызова. Последний главный принцип - тесты разбиваются на классы.