TSP-тестирование
TSP-тестирование выводит интегральный показатель (%), насколько ваши навыки (S-skills) совпадают с теми управленческими задачами (T-task), которые вам приходится сейчас решать на рабочем месте, и насколько это совпадает с вашим природным потенциалом P-potential. Другими совами, TSP говорит о том, насколько вы на своём месте, и что нужно сделать, чтобы стать более востребованным и счастливым руководителем. 14.05.2021 прошел я значит такое тестирование и получил: По результатам тестирования ваш TSP: 52 Если ваш показатель TSP от 50% до 75%: Это означает, что руководитель довольно далёк от места (такой должности и позиции) своей максимальной силы и востребованности...
🚀 Zyphra предложила TSP: сворачивает tensor и sequence parallelism и даёт 2,6× throughput для длинных контекстов
Классический подход к параллельному обучению LLM — разделять tensor parallelism и sequence parallelism по разным осям, но Zyphra показала альтернативу: метод TSP “сворачивает” оба вида параллелизма в одну линию GPU. Tensor parallelism режет веса по устройствам, а sequence parallelism режет токены; в привычной схеме это удобно на 2D-сетке. В TSP каждый GPU хранит и шард весов, и шард последовательности, из-за чего падает и память на параметры, и память на активации вдоль одной топологии. Авторы...