Видео моего сегодняшнего доклада на AnalystDays снято, будет доступно участникам конференции через пару недель, а в открытом доступе появится через полгода. Слайды, повторюсь – в AnalystDays_17_ailev.pptx — Яндекс Диск 2. Максим Цепков выдал свою версию краткого конспекта в чате конференции (три реплики, начиная с Telegram: Contact @analystdays 1). Я начал с того, что аналитики ни разу не агентны, а просто наблюдатели, иногда делающие какие-то рекомендации инженерам или менеджерам, потом они могут что-то решать и делать, становясь инженерами и договариваясь со всеми вокруг себя, а потом приходится разбираться и в менеджменте, чтобы договорить всех вокруг себя. Но и тут всё не просто, например, аналитики, и даже инженеры, и даже менеджеры иногда верят в симпатическую магию (это когда операции с моделью магическим образом становятся операциями с миром – потыкал куклу Вуду как модель человека иголкой, и что-то произошло с моделируемым ей человеком. Потыкал аналитик, а иногда и инженер, а иногда и менеджер свою модель в моделере – и моделируемая жизнь вдруг тоже как-то сама поменялась). А что нужно, чтобы избавиться от таких наивных представлений о мире? Надо иметь интеллект, который отличает кошку от человека, а для человека дикаря из джунглей от какого-нибудь профессора. Профессор разберётся в каком-то незнакомом ему проекте при прочих равных явно быстрее, чем дикарь из джунглей. В этом ему поможет не прикладное знание инженерии или менеджмента, а как раз “общий калибр личности”, интеллект. Вот этому интеллекту надо учить специально. А затем я просто выдал кратенькую характеристику практикам интеллект-стека: эти практики 2023 года сильно отличаются от практик 2013 года. Как телефон 2013 года выпуска сильно отстал от жизни, и прошивка у него заведомо устарела, так и прошивка интеллекта в голове устаревает – при этом она получается “исподволь”, ибо нигде ж интеллекту не учат явно! А надо учить. И я показываю пальцем на курс “Интеллект-стек” (бесплатно доступен вот тут: https://aisystant.system-school.ru/ 1). А ещё я им там станцевал на сцене, в одном из слайдов у меня была кружка с Trust me, I’m Engineer, I can dance. Да, я могу.
В консалтинговой работе (да, есть один проект) у меня та же проблема, что и с аналитиками, которые сами никаких решений не принимают, их решения надо утверждать: в машиностроении невозможно обсуждать инженерию, разговор идёт на бюрократическом сленге обмена какими-то документами, инженеры не могут “выработать и принять решение”. Нет, одни недоинженеры “дают предложения”, другие вроде как менеджеры/начальники “утверждают предложения”. А вот продумать и принять инженерное решение – нет такого! Когда указываешь, на каком языке (менеджерском! начальников-подчинённых!) говорят инженеры, то признаётся, что инженерная культура куда-то ушла – но делать-то что? Как менять культуру машиностроительной бюрократии на инженерную культуру? Это большой вопрос. И без решения этого вопроса разговоры о цифровой трансформации в машиностроении – фикция. Сначала надо вернуть инженеров, а затем цифрово трансформировать не бюрократию, а инженерию. И тут оказывается, что и сама инженерия изменилась – и возвращать надо инженеров 2023 года, а не года выпуска инженера его вузом, не инженера десятилетней, а то и тридцатилетней давности. А менеджмент? Погодите с менеджментом. Если нет инженеров, то чем управлять-то?!
Тонкая дребезжащая разница между спектром формальности мышления (то, что нужно нам) и спектром сложности в организации знаний (то, что общеизвестно) – причём онтологии в этом спектре являются самым сложным и самым формальным способом представления знаний: Ontologies as KOSs (IEKO). А ещё интересно, что обсуждение LLM примерно так же (не)продуктивно, как обсуждение графов знаний – ибо там минимально надо обсуждать этот граф как набор высказываний, схему, как часть этих высказываний, вычислительную архитектуру, работающую с этим графом, да ещё и систему с такой архитектурой и набором графов знаний. Вот (M)LLM надо обсуждать примерно так же. И помнить про вычислительную архитектуру. И помнить, что у человека в голове как раз не очень надёжная система с “архитектурой LLM”, в которой заведомо кривоватая LLM. Но затем интересное различие, которое тоже “тонкая дребезжащая разница”: графы знаний ассоциируются с дискриминативными моделями (по сути дела, это продолжение линии классификаторов: в спектре онтологий всё и начинается с рубрикатора/каталога), а вот LLM – это вроде как порождающая/generative model.
9-11 октября 2023 прошла пятнадцатая International Modelica Conference 2023 (Modelica Conference 2023 - ConfTool Pro - BrowseSessions), она интересна мне тем, что спонсором там выступила и компания JuliaHub (https://juliahub.com/) с докладом (Modelica Conference 2023 - ConfTool Pro - BrowseSessions) по JuliaSim’s (JuliaSim - JuliaHub) DigitalEcho (Overview · JuliaSimSurrogates). Там всё просто: In this talk we show how DigitalEchos can be generated directly from FMU-based simulation binaries generated from Modelica models to create faster-running (>100x faster) simulations which can be exported back to FMUs for usage in Modelica environments. И всё это за счёт Neural Surrogates. Акаузальное моделирование живёт и здравствует. И Julia его потихонечку кушает, Modelica живёт сейчас исключительно за счёт тяжкого наследия наработанной эко-системы, “по инерции”. Напомню, что для поддержки акаузальности приходится решать и сугубо компиляторные проблемы (теория этого поминается в Цифровые двойники: физика ведёт математику, математика ведёт компьютерную науку: ailev — LiveJournal), и JuliaSim тут просто докручивает эту линию с компиляторами для DAE (differential algebraic equations) против компиляторов для ODE (odinary differential equations in state space form) до “нейросуррогатов”, где скорость достигается за счёт аппроксимирования функций специально обучаемыми нейросетями. JuliaSim – коммерческий продукт, но базируется на библиотеке ModelingToolkit – GitHub - SciML/ModelingToolkit.jl: An acausal modeling framework for automatically parallelized scientific machine learning (SciML) in Julia. A computer algebra system for integrated symbolics for physics-informed machine learning and automated transformations of differential equations. ModelingToolkit.jl is a modeling framework for high-performance symbolic-numeric computation in scientific computing and scientific machine learning. It allows for users to give a high-level description of a model for symbolic preprocessing to analyze and enhance the model. ModelingToolkit can automatically generate fast functions for model components like Jacobians and Hessians, along with automatically sparsifying and parallelizing the computations. Automatic transformations, such as index reduction, can be applied to the model to make it easier for numerical solvers to handle.
Горький урок Sutton (The Bitter Lesson) сегодня поминается в gonzo-обзорах (большие свёрточные сети оказались примерно эквивалентны по всем параметрам большим визуальным трансформерам – с Telegram: Contact @gonzo_ML). А что происходит в этой сфере? Прогресс происходит! Вот только несколько штрихов:
– Atom Computing сделали квантовый компьютер с 1180 кубитами, Quantum startup Atom Computing first to exceed 1,000 qubits - Atom Computing, первые перевалили за 1000 кубит. Так что пока лидирует архитектура на нейтральных атомах. It is highly impressive that Atom Computing, which was founded just five years ago, is going up against larger companies with more resources and holding its own. Всё новое приходит сбоку, даже к большим компаниям.
– оптико-электрические нейросети уже не миф, All-analog photoelectronic chip for high-speed vision tasks | Nature. We propose an all-analog chip combining electronic and light computing (ACCEL). It has a systemic energy efficiency of 74.8 peta-operations per second per watt and a computing speed of 4.6 peta-operations per second (more than 99% implemented by optics), corresponding to more than three and one order of magnitude higher than state-of-the-art computing processors, respectively. With joint optimizations of optoelectronic computing and adaptive training, ACCEL achieves competitive classification accuracies of 85.5%, 82.0% and 92.6%, respectively, for Fashion-MNIST, 3-class ImageNet classification and time-lapse video recognition task experimentally, while showing superior system robustness in low-light conditions (0.14 fJ μm−2 each frame).
– но и полупроводниковая техника не сдаётся, вместо арсенида галлия придумали штуку побыстрее (на шесть порядков, чем существующая электроника): https://www.science.org/doi/10.1126/science.adf2698 (тут подробней, ибо оригинал за пейволлом: Slow-moving quasiparticles make the fastest semiconductor in the world). In experiments conducted by Columbia University researchers, the polarons traveled twice as fast as the electrons in silicon, crossing several microns (10-6 m) in less than a nanosecond (10-9 s). Since a polaron can last 11 nanoseconds, the researchers are confident it can cover distances greater than 25 micrometers. The excitons in Re6Se8Cl2 are comparatively slow, which helps them combine with phonons more readily than fast-bouncing ones in other semiconductors. This results in polarons that can move unimpeded inside the material. Since quasiparticles are controlled by light, processing speeds can theoretically reach femtoseconds (10-15), which is six orders of magnitude faster than contemporary electronics.
#левенчук
#интересное
#познавательное
#новости
#системное мышление