Penso que todo professor já teve que mudar o instrumento e o critério de avaliação uma ou mais vezes. É claro que os critérios de avaliações variam muito na sua eficiência conforme seja a disciplina que o professor leciona. Não posso discutir aqui experiência deste tipo no geral, mas posso falar da minha experiência com critérios de avaliação nas disciplinas que lecionei que foram: Matemática, Física e Desenho. Talvez seja adaptável a outra disciplina, mas nada posso afirmar com segurança.
No que se refere às provas de Matemática, um dos critérios que melhor funcionou nas minhas turmas dos cursos: fundamental e médio foi dar várias provas durante o bimestre sempre acumulando os conteúdos.

Critério utilizado:
Cada aluno pode fazer até quatro provas no bimestre
Primeira prova aplicada após quatro semanas de aulas;
Segunda prova aplicada após a sétima semana;
Se o aluno já conseguiu a média necessária ele fica desobrigado de fazer outras provas, mas está de acordo em auxiliar os colegas que ainda não conseguiram médias. Caso contrário fará a terceira prova na oitava semana e se ainda assim não conseguir média fará a quarta prova na semana seguinte.
Neste critério as terceira e quarta provas são opcionais e os alunos mais aplicados tendem a evoluir pelo premio de não ter a obrigação de fazer mais provas, mas na maioria das vezes fazem as provas seguintes para melhorar a média e conseqüentemente pela participação as melhoram. Este critério deu certo também nas disciplinas Física e Desenho ministradas para alunos do curso médio e do curso fundamental respectivamente.

No curso superior faço uma adaptação deste critério aplicando sempre uma prova opcional no final do período com o objetivo de melhorar as médias dos alunos. Tem funcionado razoavelmente, mas não tanto quanto no curso médio.