Sicuramente manca una parentesi all'inizio, provo così:
$(-3ab+x)^2-2a(b-3bx)-(ab+3x)(ab-3x)-10x^2$ =
= $9a^2b^2-6abx+x^2 -2ab+6abx -(a^2b^2-3abx+3abx-9x^2) -10x^2$ =
= $9a^2b^2+x^2 -2ab -(a^2b^2-9x^2) -10x^2$ =
= $9a^2b^2+x^2 -2ab -a^2b^2+9x^2 -10x^2$ =
= $8a^2b^2-2ab$
@Fede91 - È un piacere poter aiutare; aggiungo solo una cosa riguardo alla somma per differenza: nel secondo passaggio all'interno della parentesi puoi evitare di mettere $-3abx+3abx$ che tanto si annullano infatti i prodotti notevoli come questo si risolvono mettendo direttamente il quadrato del primo termine meno il quadrato del secondo termine.