Сейчас компании вкладывают миллиарды в GPU. Надеюсь, все понимают, что как только любой айтишник с помощью LLM сконвертирует GLM 5.3 Flash в VSDL и закажет партию чипов в Китае, абсолютно все вложения в видюхи обесценятся? Ибо кому нужна видюха за миллионы и подписки, если можно обновить раз в пару лет электронный модуль с прошитой моделью за сотню тысяч и радоваться?
Нашёл идеальную (на данный момент) модель для домашнего инференса - Ternary-Bonsai-2-27B-gguf и Ternary-Bonsai-2-9B-gguf. Да, для него нужна отдельная сборка llama.cpp от PrismML, куда добавлены возможности для работы с тернарными матрицами, но оно стоит того. Собирать ничуть сложнее, чем основной llama.cpp - выкачал с гита и собрал. Памяти нужно мало, веса компактные, работает быстро. Можно несколько разных моделей (с разными весами) на одну видюху загнать.
Считать, что люди ищут скидки, чтобы сэкономить, так же глупо и абсурдно, как считать, что люди ищут грибы, чтобы ими наесться. Кто хочет поесть - блины печет, кто хочет сэкономить - просто не покупает то, что ему не нужно. Экономия заключается не в поиске скидок, а в направлении ресурсов на то, что человеку нужно. Я на еду трачу 3000 в месяц, не считая обедов по пятницам. То, что готовят и едят жена с сыном я не ем, хотя они тратят тыщ под 50 по семейному аккаунту. Вот это - реальная экономия. Просто не покупать ненужное. Стремление получить скидку имеет ту же природу, что стремление убить медведя на охоте, поймать рыбу в пруду или найти грибы в лесу. Это древний охотничий инстинкт. Поэтому, если вы в приложение со скидками суете не новые скидки, которые должно быть сложно найти в каталоге, потому что это находка, удача, успех, а инструменты для экономии - вы просто не уважаете своих пользователей. Человек на охоту вышел, он хочет скидку именно для того, чтобы иметь повод потратить свои деньги, избавиться от них через нее, а вы ему суете скучный и унылый бухгалтерский баланс доходов и расходов. Настоящее ценное приложение должно следовать желаниям пользователей, понимать, чего они хотят и делать именно это, а не подстраивать их под себя.
В антропик работают странные люди. Языковая модель это приближение функции следующего слова в последовательности текста w{i+1} = F(w{1}... w{i}) с помощью нейронной сети. Сеть обучается путем минимизации невязки между словами реальных людей и предсказанием модели. Очевидно, что если модель формирует не те слова, которых от неё ждут, например, пытается сформировать команды на то, чтобы сбежать, значит ее неправильно обучили. Это не свойство ИИ, а свойство конкретного набора весов, который получили специалисты антропик для локального экстремума, полученного методом градиентного спуска. Вместо того, чтобы понять, в чем они ошиблись и поискать другие локальные экстремумы, более подходящие под ожидаемое поведение, они кладут лапки кверху и говорят, что обучать не будут и все.
Минфин совсем оторвался от реальности и хочет все доходы граждан сливать в единую корзину, чтобы обложить их налогом в 22 процента. Это в высшей степени абсурдный, несправедливый и нелепый законопроект. Напомню, что инвестор - НЕСЕТ РИСК по своим инвестициям, финансируя экономику страны. А чиновник, который может тоже под 500 тысяч получать - риск не несет, но СОЗДАЕТ РИСК для инвестора. Тут чиновник для примера взят. Просто потому, что этот несправедливый законопроект создан в Минфине в рабочее время и на государственные деньги. Любой работающий сотрудник на любом предприятии - это риск. Риск того, что он облажается и ничего не сделает. И этот риск несет именно инвестор. В высшей степени несправедливо вносить доходы от зарплаты и инвестиций в единую налоговую базу и облагать по 22 процента. Смысл тогда, вообще, работать, наример, если почти четверть забирать будет государство? Или, может, Минфин хочет, чтобы все просто взяли и переехали в более адекватные страны? В Беларуси, например, налог по доходам от облигаций, вообще, может ноль процентов быть, а подоходный налог чётко 13 процентов. В общем, вся надежда на депутатов. Посмотрим, как они смогут оправдать доверие граждан, которые их избрали.
