🍊 llmspeed имитирует скорость локальных нейросетей на выбранном железе
Сервис llmspeed предложил примерить скорость локальной языковой модели до покупки оборудования: выбрать компьютер, модель и способ её сжатия, а затем посмотреть, как быстро на экране появляется ответ. Для сочетания NVIDIA RTX 4090 с 24 ГБ видеопамяти, Llama 3.1 8B и сжатия Q4_K_M страница показывает диапазон 80–139 токенов в секунду и задержку первого токена 0,3 секунды. Замысел понятен каждому, кто пытался выбрать оборудование по таблицам тестов. Число «100 токенов в секунду» трудно превратить в ощущение удобства...
🦋 Antirez выпустил симулятор Commodore 64 с виртуальными поломками платы
Сальваторе Санфилиппо, известный как antirez, опубликовал c64-hw-sim — симулятор материнской платы Commodore 64, в котором можно отключить отдельную ножку микросхемы и проследить последствия до картинки на экране. Программа воспроизводит конкретную плату ASSY 250407: 216 компонентов и 249 электрических цепей между ними. Вместо безопасного запуска старых игр здесь предлагают довольно разрушительные опыты: замкнуть контакт на питание, вытащить микросхему, оборвать резистор. Виртуальная плата переживёт всё...