Tag: llm-cache

AMD macht den Ryzen 9 9950X3D2 »Dual Edition« offiziell: Erstmals ist der 3D-V-Cache auf beiden CCDs gleichzeitig zu finden und kommt so auf 192 MByte L3-Cache. Fragen nach UVP und Gaming-Leistung bleiben aber offen.

Googles TurboQuant drückt den KV-Cache großer Sprachmodelle auf 3 Bit. Die Genauigkeit soll bleiben, die Geschwindigkeit sich vervielfachen.