Оценка размера данных — это относительно простой навык, который одновременно: а) легко никогда не освоить; б) весьма полезен после того, как вы им овладели. Он может пригодиться при проектировании систем, в отладке сложной проблемы распределенной системы и, разумеется, при обсуждении архитектурных задач на собеседовании. Автор Уилл Ларсон*, технический директор компании Calm, в своей статье признается, что никогда не был особенно хорош в «оценке». Поэтому он решил потратить несколько часов на развитие этого навыка, что со временем вылилось в текстовые заметки на эту тему...

С увеличением размерности набора данных, при увеличении независимых векторов пакетов данных, понижается плотность пространства признаков. Для сохранения исходной плотности требуется увеличение объема данных. Эта зависимость, что можно восходить еще к Пифагору по математическим формулам, носит название порога или (проклятия) размерности. Опыт, что может принести увеличение объема данных, приобретается и вместе с катастрофами, и потому может быть дорог. Теперь, может быть и дробные размерности, могут и только усиливают этот эффект или эту зависимость...