Hay una aplicación de AMD llamada Overdrive que sirve para comprobar la temperatura real (los programas de medición no van muy bien con AMD, por regla general).

Bájatela, haz la prueba de estabilidad durante una o dos horas al menos (o juega a algo un buen rato y luego pon la prueba al menos media hora).
En "Estado de la CPU" cada núcleo tiene un parámetro "Margen térmico". Se supone que mientras sea mayor que cero, todo está bien.

Pues tiene pinta de que con los 6 cores a tope, realmente se calienta el micro (los juegos no lo exprimen tanto, generalmente).

Dices que has quitado el disipador y lo has vuelto a poner, pero por tu explicación parece deducirse que no has vuelto a reaplicar pasta térmica. Eso es un grave error; se forman burbujas de aire entre la pasta y el disipador y no hace buen contacto.

Aquí puedes ver algunos ejemplos de cómo se comporta la pasta una vez aplicada. Una buena guía: si sale fuera, has puesto demasiada. A mí me gusta el método de la X (hacia 2:15 en el vídeo), pero poniendo bastante menos que en el vídeo.

Mi recomendación es que la cambies y pruebes a ver si la cosa mejora. Y si vuelves a poner el Overdrive, estate más pendiente, ya que sabes que no es estable. Probar el ventilador de fábrica también es buena opción, para descartar que el que tienes esté funcionando mal, pero dudo que sea eso. Supongo que es obvio, pero por si acaso, no hagas las dos cosas a la vez. Primero haz un cambio, y si sigue igual, el otro. De lo contrario, si se arregla seguirás sin saber cuál era el problema.