Das Kleine Kollegium ist das reguläre Entscheidungsorgan des ORH. Es entscheidet über die Prüfungsplanung, wählt die Prüfungen aus und trifft alle Entscheidungen in Prüfungsangelegenheiten, sofern nicht ausnahmsweise das Große Kollegium zuständig ist.

Das Kleine Kollegium besteht mindestens aus dem jeweiligen Prüfungsgebietsleiter und dem zuständigen Abteilungsleiter. Betrifft eine Angelegenheit mehrere Abteilungen oder Prüfungsgebiete, so treten deren Leiter dem Kleinen Kollegium bei (Erweitertes Kleines Kollegium). Auch der Präsident kann von sich aus jederzeit einem Kleinen Kollegium beitreten und es so zum Erweiterten Kleinen Kollegium machen. Sieht sich ein überstimmtes Mitglied des Kleinen Kollegiums nicht in der Lage, die Mehrheitsentscheidung mitzutragen, so kann es die Sache dem Großen Kollegium vorlegen.