Когда скучно SDET`у

Внезапно, нет времени ни на что... Точнее желания... Так как нужно срочно!!!(sic) доделать то и это. Задокументировать вот тот сервис и еще тот. Передать пару проектов вон тому. Как сказала коллега: "Мдя, вот и ты уходишь... Уходит эпоха... А я вот помню как только пришла еще тестером и как ты меня учил". Коллега сейчас senjor разработчик так то) После такой нагрузки в свободное время открывать PyCharm вот вообще не хочется. Да и все таки нормальной информации по генерации части картинки я так и не нашел...

Зацепился я тут, в одном из просматриваемых постов, языками за высшее образование и IT. По утверждению человека разработчики без вышки "не нужны в условных сберах" (там еще сквозь тему были размышления о соответствии профессионализма и размере ЗП), на что я утверждал что вышку требуют только в гос учреждениях (и то потому что закон вроде), а для частников - вообще пофиг, если ты реально профессионал тебя возьмут...

Вот не ностальгия это, а "вьетнамские флешбеки". Почти весь день пришлось разбираться с убунтой и настраивать тензорфлоу. Но под конец все таки смог прикрутить то что нужно. Опущу пока проблемы самой Ubuntu (вот Вы знали что у последней убунты есть проблема если она стоит на SSD? И что попытка убунты загрузиться случается быстрее чем видеоадаптер загрузиться?) приведу пока команды для установки tensorflow + GPU 0) Всегда смотри таблицу совместимости. Для tensorflow это СВЕРХВАЖНО! 1) Драйвера. Принцип "Ставь последние стабильные" тут не работает, просто потому что версия CUDA тут 12...

Первый раз как трагедия, второй раз как фарс... Добрался я значит до стадии практических экспериментов с TensorFlow. И если раньше хватало Colab то, дай думаю, установлю нормальную версию с поддержкой GPU чтобы нормально на своей карте обучать. Зря что-ли 3080 покупал. Ну, покупал я ее, конечно, для игр, но раз стоит то чего бы и нет? И вот тут прямо ностальгией повеяло... Помню были времена когда на Linux дистрибутивах были большие проблемы с картами NVidia. Чтобы установить драйвера приходилось устраивать ТАКИЕ танцы с бубнами что только держись...

Примеров и вариантов в сети нет от слова "вообще"... Если обычных примеров с тем же MNIST туча, как сделать UNET - тоже много. Генеративные и генеративно-состязательные сети генерирующие картинку из шума их есть у интернета. А вот задачи по частичной генерации, причем не случайной... Поиск обычно ведет на какие нибудь научные статьи (и хорошо еще если на русском). Эх, говорил мне папа: "Учи математику и физику". Нашел вроде одну реализацию но она во-первых на PyTourch (а я пока изучаю TenzorFlow), во вторых не для человека который изучает нейросети вторую неделю...

Вот не было у бабы проблем - купила баба порося... Только-только появилось масса свободного времени и кончились свои обычные таймкиллеры так решил работу поменять. Точнее изначально было посмотреть что там на рынке, но по нескольким причинам решил все таки поменять. В первую очередь из-за того что из меня на текущем месте решили сделать продуктового разработчка...

Вот никогда такого не было и вот опять. После завершения детектора думал наконец вплотную взяться за нейросеть по восстановлению фона. Но первым встал вопрос про подготовку данных для обучения. Вот какие первые ассоциации при словосочетании "обработка и подготовка изображений"? Ну, фотошоп там, лайтрум, в крайнем случае, тот же paint, если по быстрому. Для меня же обработка изображений неразрывно связана с многомерными массивами. Но обо всем по порядку. Собственно задача: Создать генеративно-состязательную...

Наконец-то разметил 100 страниц манги для тренировки второй версии детектора. Первая версия неплохо детектировала текстовые блоки (даже лучше easyocr), но в том виде, в котором был результат удалял слишком много информации. Что было нежелательно, так как я планировал восстанавливать фон, а там чем меньше удаляешь - тем, в теории, лучше результат. Во вторую версия я заложил возможность распознавания 4 типов данных. Баблы обычные, баблы квадратные, баблы "солнышко" и просто текст на фоне. Но для того нужно было переразметить датасет...

Покупая новый мак я подозревал что рано или поздно столкнусь с проблемой совместимости архитектур arm64 и amd64. Но, не подозревал что так быстро. Ранее я писал что не смог завести AI Tools (в частности "Волшебную кисть") и, как появилось время, решил этим заняться. А еще потому, что на сайте количество применений AI Tools ограничено и, размечая изображения для версии детектора 2.0, я выбрал все лимиты. Официальный гайд по которому пробовал устанавливать Гайд Проблемы посыпались почти сразу. "./serverless/deploy_cpu...

Почему важно правильно выбирать архитектуру нейронной сети и обучать ее на своих данных? Что было задумано: Найти блоки текста на картинке. Верезать данные блоки по маске и отправить изображение и маску в нейросеть для восстановления фона. Что было сделано: Реализована и обучена на своих данных сеть на основе YOLO. Но в результате стало понятно что вырезается слишком большой обьем данных что, скорее всего, негативно повлияет на корректность восстановления фона. Решил было посмотреть в сторону Easyocr, которая умеет находить и распозновать текст...

Разметил с помощью cvat 100 изображений для тренировки, 20 для валидации и 10 для теста. Собственно, это было самое сложное. Я ОЧЕНЬ не люблю нудную работу (Именно поэтому и стал автоматизатором 8) )Даже завидую людям которые работают\подрабатывают разметчиками. Хотя, так как это простой текстовый блок и не пришлось выделять по контуру - по времени вышло где-то час. Мангу специально взял не сложную, главное было понять общий подход. Нейросеть сделал на основе YOLOv8. Как мне показалось, самая простая модель для сегментирования...