Här är vad som hände:
* Voldemort försökte stjäla stenen: Han trodde att det skulle ge honom odödlighet och en fysisk kropp.
* Harry och Quirrell slogs om stenen: I den sista konfrontationen var Quirrell besatt av Voldemort.
* Stenen förstördes av misstag: Under kampen fick Quirrells beröring att stenen sönderföll till damm.
Så även om Harry inte hade som mål att förstöra stenen, ledde hans handlingar (eller snarare Voldemorts handlingar inom Quirrell) till dess bortgång.