Post

Cleanthinking.de - Sauber in die Zukunft
@cleanthinking.wsocial.eu

Eine typische Gemini-Anfrage kostet laut Google 0,24 Wattstunden. Unabhängig geprüft ist der Wert nicht. Wer ein Dokument mit 100.000 Tokens hochlädt, verbraucht nach einer Schätzung von Epoch AI knapp 40 Wattstunden. Wie viel Strom ein Sprachmodell braucht:

cleanthinking.deSprachmodell: Wie LLMs rechnen und was Strom kostetWie ein Sprachmodell mit Tokens und Transformer arbeitet und wie viel Strom eine Anfrage laut Google, Epoch AI und IEA kostet.
Clemens Vasters
@clemens.vasters.com

Man kann das prüfen, in dem man Ausführungszeiten von lokalen LLMs zur Hand nimmt. Ich betreibe eine RTX 5090, von NVIDIA. Die hat eine Stromaufnahme von rund 380W unter Volllast und ich kann mit Qwen 3.8-27B Kontexte von bis zu 262000 Tokens bearbeiten. Eine Anfrage dauert zwischen 20 und 50 Sek.

0 reposts4 likes