{"draftJsState":{"blocks":[{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Всем привет! Меня зовут Дмитрий Королёв, я бэкенд-разработчик в Авито.","type":"unstyled","key":"chp46"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Go известен своей лаконичностью и простотой синтаксиса, но даже в нём есть множество подводных камней, с которыми можно столкнуться в работе. В этой статье я сделаю разбор распространённых ошибок с примерами и расскажу, как их можно избежать.","type":"unstyled","key":"cb239"},{"data":{"image":{"id":"6762f01e744c3f019cfb17be"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"135rr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Массивы и слайсы","type":"header-three","key":"eav10"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Начнём с базовых концепций:","type":"unstyled","key":"aa9ii"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":6,"offset":0,"style":"BOLD"}],"text":"Массив — последовательность элементов определённого типа и фиксированной длины. Это неизменяемая структура данных и его capacity всегда равна его длине.","type":"unordered-list-item","key":"48l02"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":5,"offset":0,"style":"BOLD"}],"text":"Слайс — своеобразная надстройка поверх массива с возможностью изменения длины.","type":"unordered-list-item","key":"37tc3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Распространённые ошибки при работе со слайсами","type":"header-three","key":"edib5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы понять, как работают слайсы, нужно понимать их структуру. В коде ниже видны поля про длину и вместимость и указатель на массив, на основе которого построен слайс.","type":"unstyled","key":"ehpek"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"type slice struct {\n array unsafe.Pointer\n len int\n cap int\n}","type":"blockquote","key":"5e0gm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":52,"offset":0,"style":"BOLD"}],"text":"Про длину и capacity слайсов стоит помнить две вещи:","type":"unstyled","key":"f2r7c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Когда мы создаём новый слайс, его длина равна его capacity, если не указано другое.","type":"ordered-list-item","key":"cvi9c"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":62,"offset":0}],"inlineStyleRanges":[],"text":"Как именно растет вместимость слайса начиная с версии go 1.20.","type":"ordered-list-item","key":"asis5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Поскольку в Go все аргументы передаются в функции по значению, то при передаче слайсов в качестве аргумента передаётся значение его структуры. Иными словами, копируется только ссылка на массив, на основе которого построен слайс. Сам массив со всеми содержащимися в нём данными не копируется. Если этого не знать, можно получить неожиданный результат.","type":"unstyled","key":"4lihg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Дальше рассмотрим примеры.","type":"unstyled","key":"71mtr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Перевыделения памяти под новый массив","type":"header-three","key":"4egle"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func changeSLiceValues(s []int) {\n s[0] = 1\n}\n\nfunc main () {\n slice := []int{0}\n fmt.Println(slice) // [0]\n changeSliceValues(slice)\n fmt.Println(slice) // [1]\n}","type":"blockquote","key":"7jnis"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь в main объявлен слайс, состоящий из одного нуля. После чего этот слайс передаётся в функцию с говорящим названием changeSliceValues. Там с ним происходят некие действия, в текущем примере в нулевой индекс записывается единица. Если в main вывести слайс на экран до и после вызова функций, то ожидаемо увидим [0] и [1] соответственно.","type":"unstyled","key":"ah881"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func changeSliceValues(s []int) {\n s[0] = 1\n s = append(s, 2)\n s[0] = 3\n}\n\nfunc main () {\n slice := []unt{0}\n fmt.Println(slice) // [0]\n chamgeSliceValues(slice)\n fmt.Println(slice) // [1]\n}","type":"blockquote","key":"bq8j2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь немного изменим пример — в changeSliceValues после записи в нулевой индекс с помощью append добавим в конец слайса 2, после чего запишем в нулевой индекс 3. И несмотря на применённые нами изменения, принты в main все так же выведут [0] и [1]. Размер слайса не изменился, несмотря на то, что мы добавили append. Вторая запись тоже не применилась.","type":"unstyled","key":"2rco"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На самом деле всё станет понятно, если вспомнить озвученные ранее факты о слайсах и структуру слайса. В самом начале мы создали слайса с длинной, которая равна его capacity, то есть единице.","type":"unstyled","key":"euos4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В момент вызова changeSliceValues в качестве аргумента передаётся значение структуры слайса. Он указывает на тот же самый нижележащий массив, что и слайс в main. По этой причине первая запись на нулевом индексе применяется на изначальном массиве, который был создан при инициализации слайса в main.","type":"unstyled","key":"b2pt6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Однако дальше, когда мы делаем append, поскольку у слайса длина равна capacity, происходит перевыделение памяти под новый массив. Туда эвакуируются все значения из старого, и дальнейшая работа с этим слайсом уже на изначальный слайс в main не оказывает никакого эффекта.","type":"unstyled","key":"cl46p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Следующая запись в нулевой индекс происходит опять же на новый массив. На изначальный массив, который был создан при объявлении слайса в main, это никак не влияет.","type":"unstyled","key":"91n0n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Копирование слайсов","type":"header-three","key":"ba80v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"С этой же проблемой можно столкнуться, если попытаться скопировать слайс.","type":"unstyled","key":"1i5q6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func main () {\n slice := []int {0, 0, 0}\n newSlice := slice[0:2]\n newSlice = append(newSlice, 1)\n fmt.PrintLn(slice) // [0,0,1]\n}","type":"blockquote","key":"v6p9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В примере в переменную newSlice с помощью слайсинга копируются данные из оригинального слайса, в том числе и указатель на массив с данными. При выполнении append данные перетираются в оригинальном массиве, потому что newSlice указывает на оригинальный массив из первого слайса.","type":"unstyled","key":"fnk35"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В Go есть специальная встроенная функция copy, которая позволит безопасно копировать любые слайсы.","type":"unstyled","key":"9avhs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func main() {\n slice := []int{0,0,0}\n newSlice := make([]int, 2)\n copy(newSlice, slice)\n newSlice = append(newSlice, 1)\n fmt.Println(slice) // [0, 0, 0]\n fmt.Println(newSlice) // [0, 0, 1]\n}","type":"blockquote","key":"340to"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На картинке выше видно, что, использовав copy, мы перенесли элементы из исходного слайса в новый. Теперь можно безопасно делать append, не боясь перетереть изначальные данные.","type":"unstyled","key":"ah4ae"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Работа со строками и рунами","type":"header-three","key":"a8hhc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Допустим мы хотим парсить какой-то новостной портал и для каждой новости класть в кэш первые сто символов, чтобы показывать пользователю превью.","type":"unstyled","key":"fcv17"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func receiveArticle() string {\n ...\n}\n\nfunc consumeNewsArticles() {\n for {\n article := receiveArticle()\n storeArticlePreview(getArticlePreview([]rune(article)))\n }\n}\n\nfunc getArticlePreview(article []rune) []rune {\n return article[:100]\n}","type":"blockquote","key":"430ko"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В бесконечном цикле мы получаем новые новости, после берём первые сто рун и отдаём в некую функцию storeArticlePreview, которая заботится о том, чтобы сохранить руны в кэш.","type":"unstyled","key":"21u61"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Однако, проблема в том, что когда сервис запустится, он будет съедать намного больше оперативной памяти, чем планировалось, потому что в нём есть утечка. Операция получения первых ста рун от новости создаёт срез длиной в сто элементов, но его capacity остаётся такой же, как у изначального слайса. В итоге весь массив с текстом новости остаётся лежать в памяти, даже если в итоге мы имеем доступ только к первым ста элементам.","type":"unstyled","key":"eqhs1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":109,"offset":0,"style":"BOLD"}],"text":"Кстати, почему в этом примере мы скастили строку к массиву рун, прежде чем брать от неё первые 100 символов? Покажу на примере, чем отличаются руны от байтов.","type":"unstyled","key":"3gmnf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func main() {\n hello := \"Hello World\"\n helloRunes := []rune(hello)\n\n fmt.Println(helloRunes[:5]) // [72 101 108 108 111]\n fmt.Println(string(helloRunes[:5])) // Hello\n fmt.Println(hello[:5]) // Hello\n}","type":"blockquote","key":"bg4l4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Берём стандартную строку Hello World и делаем отдельную переменную с рунами. По задумке хотим запринтить первые пять символов, то есть слово Hello.","type":"unstyled","key":"e57bo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если посмотреть на вывод, то не в нем не будет ничего необычного. Сначала принтятся сами руны, потом, когда мы конвертируем это в строку, выводится слово Hello. Когда берём первые пять элементов от строки, снова выводится Hello.","type":"unstyled","key":"d0iol"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кажется, что разницы между рунами и байтами нет. Но вот, что будет, если поздороваться на китайском языке.","type":"unstyled","key":"1s72"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func main() {\n hello := \"你好世界\"\n helloRunes := []rune(hello)\n\n fmt.Println(helloRunes[:2]) // [20320 22909]\n fmt.Println(string(helloRunes[:2])) // 你好\n fmt.Println(hello[:2]) // �\n}","type":"blockquote","key":"ai7pq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"По задумке должны были вывестись первые 2 иероглифа, но обычный слайсинг строки не работает — вместо иероглифов выводится некорректный символ.","type":"unstyled","key":"eid0a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Помним, что строки в Go состоят из UTF-8 символов, каждый из которых может быть представлен более чем одним байтом. Если взять слайс по строке, то работать мы будем с байтами, а не с её символами. Поэтому когда мы пытаемся взять первые два символа от строки, мы берём первые два байта.","type":"unstyled","key":"enpn5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Большинство операций со строками работает с их байтами, но есть и исключения.. Слайсинг строки отдаёт байты, метод len также покажет длину в байтах. Цикл for range в качестве индекса берёт индекс байта, с которого начинается символ, но в значении будет лежать не байт, а руна, которая начинается в этом индексе.","type":"unstyled","key":"43s70"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func main() {\n hello := \"你好世界\"\n fmt.Println(hello[:2]) // bytes\n fmt.Println(len(hello)) // bytes\n\n for i, c := range hello {\n fmt.Println(i, c) // bytes index, rune\n }\n}","type":"blockquote","key":"15oe5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Часто можно просто кастить строчку к слайсу рун и работать уже с ним. Но не стоит забывать про оверхэд, который мы можем получить в этом случае. На каждую строчку будут существовать две переменные: одна из них хранит исходную строку, а вторая — массив рун. Если строк много и они длинные, это также может иметь значение. К счастью, в Go есть процессорные оптимизации, которые в определенных ситуациях позволяют его избежать.","type":"unstyled","key":"9earh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Каналы","type":"header-three","key":"81m1u"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Каналы — это примитив синхронизации, который даёт возможность одной горутине отправлять данные в другую и обеспечивает безопасный доступ к общим данным.","type":"unstyled","key":"44rd0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"При работе с каналами возникают два вопроса: кто должен их закрывать и нужно ли вообще это делать. Важно знать, что может случиться при работе с каналом в разных его состояниях.","type":"unstyled","key":"37mqt"},{"data":{"image":{"id":"6762f01eee3b0b0cd5704c41"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"39brv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":60,"offset":338,"style":"BOLD"}],"text":"На этой таблице, описано, что мы получим при совершении разных операций. Например, с каналом в закрытом состоянии, чтение из него не вызовет проблем — мы просто получим дефолтное значение и false, что сигнализирует о том, что прочитать из канала не удалось. Однако, запись в закрытый канал и закрытие уже закрытого канала вызовет панику. Вывод: закрывать канал должна та горутина, что в него пишет.","type":"unstyled","key":"6offu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь попробуем ответить на вопрос: «зачем закрывать канал?». Для этого обратимся к документации: «отправитель может закрыть канал, чтобы указать, что значения больше не будут отправляться». Если отправитель закрывает канал, значит это может понадобится кому-то, кроме него — например, читателю канала. Рассмотрим пример, когда это может быть полезно:","type":"unstyled","key":"brqb9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func writeToChan(ch chan<- int) {\n ch <- 1\n ch <- 2\n ch <- 3\n close(ch)\n}\n\nfunc main() {\n ch := make(chan int)\n\n go writeToChan(ch)\n\n for value := range ch {\n fmt.Println(value)\n // some logic\n }\n}","type":"blockquote","key":"bacrm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь есть говорящая функция writeToChan, в которой происходит запись в канал и в main цикл по этому каналу — в нём мы высчитываем значения. Если не закрыть канал, цикл никогда не закончится и случится deadlock. Если закрыть — for range успешно завершается и логика программы идёт дальше.","type":"unstyled","key":"68uh8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Закрывать канал стоит только в тех ситуациях, когда читатель никак не должен реагировать. Ничего страшного, если канал не закрыт. Сборщик мусора сможет от него избавиться даже в таком состоянии.","type":"unstyled","key":"8l6n2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"time.After","type":"header-three","key":"1g8i9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Раз уж обсудили каналы, поговорим о структурах, которые используют каналы. Одна из них — time.After. Это функция возвращает канал, который закроется после заданной задержки времени. Она обычно используется для создания таймеров или установки таймаутов на выполнение определенной логики в программах.","type":"unstyled","key":"65b4b"},{"data":{"image":{"id":"6762f01e67db2610b0dbf6cb"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"bksh7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func consumer(ch <-chan Event) {\n for {\n select {\n case event := <-ch:\n handle(event)\n case <-time.After(time.Minute * 15) :\n fmt.Println(\"warning: no messages received\")\n }\n }\n}","type":"blockquote","key":"2p4bt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Вот пример, где мы обрабатываем какие-то события, которые поступают из некой очереди. Если за 15 минут мы не встретили ни одного события в канале, то кинем warning, что что-то случилось.","type":"unstyled","key":"3al8v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если запустить код, он будет рабочим. Но если вдруг есть какой-то дашборд, в котором мы измеряем потребление памяти и событий большое число, то мы легко обнаружим, что есть утечка памяти. При среднем потоке в миллион сообщений в 15 минут утечка составит порядка 200 Мб. Один канал Go весит около 200 байт. Получается, что на каждое событие убегает новый канал.","type":"unstyled","key":"13k3e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Почему это происходит, если сборщик мусора сможет удалить и не закрытый канал, а канал, созданный time.after, выходит из зоны видимости после каждого нового события?","type":"unstyled","key":"7uub4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Обращаемся к документации: «таймер не будет собран сборщиками мусора до тех пор, пока он не отработает». То есть time.after, который мы ставили на 15 минут, на это время остаётся висеть мертвым грузом, даже если он уже не находится в области видимости.","type":"unstyled","key":"blqld"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Горутины","type":"header-three","key":"10aun"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Горутина — это лёгкий поток выполнения в userspace, пока потоки операционной системы живут в kernel space. Горутины управляются средствами Go, а потоки — средствами операционной системы.","type":"unstyled","key":"8aap0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Горутины спроектированы так, чтобы быть более эффективными, чем традиционные потоки операционной системы. Но у них тоже есть несколько ловушек, в которые можно попасть при работе.","type":"unstyled","key":"3jmhv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В примере ниже мы создаём слайс из цифр от 1 до 5 и горутины в цикле, и в каждой из них прибавляем своё число из слайса к переменной sum. Можно подумать, что в выводе будет число 15, то есть сумма чисел от 1 до 5 — однако это не так.","type":"unstyled","key":"7r2cn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func main() {\n digits := []int64{1, 2, 3, 4, 5}\n var sum int64 = 0\n var wg sync.WaitGroup\n for _, value := range digits {\n go func() {\n wg.Add(1)\n defer wg.Done()\n atomic.AddIt64(&sum, value)\n }()\n }\n\n wg.Wait()\n\n fmt.Println(sum)\n}","type":"blockquote","key":"8jmsn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь проблема состоит в замыканиях — функциях, которые захватывают переменные из внешней области видимости. В примере анонимная функция, которая создаётся в цикле, является замыканием, потому что она захватывает переменную value из внешней области видимости.","type":"unstyled","key":"178s7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Особенность их работы в том, как используется захваченная переменная. Горутины не захватывают значения переменных на момент их создания — они захватывают ссылку на переменную. Поэтому, когда горутины начинают выполняться, цикл зачастую уже прошёл, и переменная value имеет последнее значение из слайса. По нему мы итерируемся, хотя гарантии того, что цикл завершится раньше, чем начнёт работу одна из горутин — нет. Это приводит к тому, что в переменной sum оказывается не значение 15.","type":"unstyled","key":"87sqm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Это настолько распространённая проблема, что мейнтейнеры Go решили изменить семантику переменных цикла for, чтобы предотвратить их непреднамеренное использование в замыканиях и горутинах на каждой итерации. В версии 1.21 появился соответствующий эксперимент, а с версии 1.22 эта проблема уже полностью перестала воспроизводиться. Но, поскольку версия 1.22 свеженькая, и ещё не все успели обновиться, берите себе на заметку эту особенность работы замыканий.","type":"unstyled","key":"c1jjo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пакеты sync и atomic","type":"header-three","key":"c3dj5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В примерах выше мы использовали sync WaitGroup, чтобы дождаться выполнения горутин и, кстати, сделали это неправильно. Признавайтесь, кто не заметил?) Стоит обратить внимание на то, где мы делаем wg.Add, и подумать, чем это черевато.","type":"unstyled","key":"7ktkg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Давайте разбираться. Посмотрим на устройство wait group:","type":"unstyled","key":"fjouu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"type WaitGroup struct {\n noCopy no Copy\n\n state atomic.Unit64\n sema unit32\n}","type":"blockquote","key":"dfste"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В структуре WaitGroup из интересного мы видим семафор и некий noCopy. Сначала поговорим про семафор, а точнее про то, что по сути WaitGroup — это простенькая обёртка над семафором с тремя методами:","type":"unstyled","key":"beke1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":".Add(delta int) увеличивает значение семафора на переданное значение.","type":"ordered-list-item","key":"d1dgp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":".Done() уменьшает значение семафора на единицу.","type":"ordered-list-item","key":"cf03d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":".Wait() блокирует выполнение до тех пор пока значение семафора не станет равно 0.","type":"ordered-list-item","key":"6hfcg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Так вот, проблема — в запущенных нами горутинах заключается в том, что нет гарантии, что они запустятся до того, как будет вызван .Wait. Это значит, .Wait может завершиться до выполнения .Add. Поскольку гарантии порядка запуска горутин нет, в итоге мы рискуем неверно решить, что все горутины завершили работу, хотя некоторые её ещё даже не начали.","type":"unstyled","key":"igbv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"go func() {\n wg.Add(1)\n defer wg.Done()\n sum += v\n}()","type":"blockquote","key":"cj42p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь вернёмся к структуре WaitGroup и присмотримся к полю noCopy, с таким же типом noCopy — что же это такое? По названию можно догадаться, что это что-то, что нельзя копировать, подобное поле есть в большинстве структур пакета sync. Давайте посмотрим, что же произойдёт, если всё же скопировать структуру с этим полем. Для примера будем использовать мьютекс, в нем также есть поле noCopy с типом noCopy.","type":"unstyled","key":"1sd4f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"type Counter struct {\n m sync.Mutex\n counters maps[string]int\n}\n\nfunc (c Counter) increment(key string) {\n c.m.Lock()\n defer c.m.Unlock()\n c.counters[key]++\n}\n\nfunc (c Counter) IncrementMultiple(key string, n int) {\n for i := 0; i < n; i++ {\n c.increment(key)\n }\n}","type":"blockquote","key":"5kbnd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func main() {\n c := Counter{counters:\n map[string]int{\"key1\": 0, \"key2\" : 0}}\n\n go c.IncrementMultiple(\"key1\", 100000)\n go c.IncrementMultiple(\"key1\", 100000)\n\n time.Sleep(300 * time.Millisecond)\n fmt.Println(c.counters)\n}","type":"blockquote","key":"8jtrb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В этой программе у нас есть структура Counter, которая хранит в себе мапу, а также мьютекс, который должен по задумке защищать мапу от параллельной записи. В мьютексе так же, как в waitGroup, присутствует noCopy.","type":"unstyled","key":"8eqna"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На структуре Counter определены два метода: один увеличивает значение определенного ключа на единицу, другой — сразу на переданное значение. Есть мейн, в котором мы инициализируем структуру счётчика и запускаем две горутины для увеличения значения одного и того же ключа, делаем слип, чтобы дождаться выполнения горутин, и принтим значения, которые окажутся в мапе нашего счётчика. Но вот принт, к сожалению, мы так и не увидим, потому что упадём с паникой.","type":"unstyled","key":"5t9h2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"fatal error: concurrent map writes\n\nProcess finished with the exit code 2","type":"blockquote","key":"1v43v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Проблема с кодом в том, что всякий раз, когда вызывается increment, в него копируется наш Counter c, поскольку increment определён на типа Counter, а не на *Counter. Другими словами, это value receiver, а не pointer receiver. Следовательно, increment не может изменять оригинальную переменную типа Counter, которую мы создали в main. Поэтому при каждом вызове increment происходило копирование счётчика со всем его содержимым, в том числе и мьютексом.","type":"unstyled","key":"afc11"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"А теперь вспомним, что мьютекс — это просто обёртка над семафором, и, когда мы его копируем, мы копируем и семафор. При этом копия и оригинал могут жить своими отдельными жизнями, и ничто не помешает им конкурировать за операции с одним и тем же блоком памяти. Поэтому копирование мьютекса неправильно.","type":"unstyled","key":"1eviv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Так вот, за счет того самого noCopy есть возможность пометить любую структуру как невозможную к копированию (многие структуры из пакета sync так и отмечены). Тогда с помощью команды go vet можно будет обнаружить места, в которых отмеченная структура копируется, и найти потенциальную проблему в коде своего приложения.","type":"unstyled","key":"bvu0g"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Atomic","type":"header-three","key":"5vovp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь перейдем к ещё одному распространённому примитиву синхронизации — атомикам. Они предоставляют возможность безопасного доступа к общей памяти для операций чтения, записи и модификации переменных. Кроме того, в общем случае операции с атомиками быстрее, чем операции с мьютексом, за счёт использования специального набора процессорных инструкций. Однако, с этим преимуществом приходит и недостаток, про который периодически забывают: операции с атомиками атомарны по отдельности, но не атомарны все вместе.","type":"unstyled","key":"cudk8"},{"data":{"image":{"id":"6762f01e4cc0602aa49d0711"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"65lj1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В этой программе запускается горутина, которая постоянно в бесконечном цикле увеличивает на единицу значение переменной num. В то же время, в main находится бесконечный цикл, который проверяет, чётное ли число, и если это условие выполняется — выводит его на экран. Однако мы видим, что при запуске вывелось число 287, а оно, как ни странно, нечётное. Это происходит из-за того, что после прохождения num проверки на чётность его значение никак не защищено от изменений, и горутина, инкрементирующая num, успевает изменить его значение до того, как число выводится на экран.","type":"unstyled","key":"91a1e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"defer","type":"header-three","key":"72bur"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"defer позволяет отложить выполнение блока кода до окончания функции, в которой он был вызван. Обычно он используется для обеспечения освобождения ресурсов, например, закрытия файла или разблокировки мьютекса, независимо от того, как функция завершает работу — из-за обычного возврата, паники или ошибки.","type":"unstyled","key":"a5mna"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"type ProfileType string\n\nconst (\n SimpleProfile ProfileType = \"simple\"\n InvestmentProfile ProfileType = \"investment\"\n BusinessProfile ProfileType = \"business\"\n)\n\ntype Profile struct {\n Type ProfileType\n}","type":"blockquote","key":"43ruj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func (p *Profile) GetBalance() (balance int) {\n switch p.Type {\n case BusinessProfile:\n return p.getBusinessProfileBalance()\n case InvestmentProfile:\n return p.getBusinessProfileBalance()\n case SimpleProfile:\n return p.getBusinessProfileBalance()\n default:\n panic(\"inknown profile type\")\n }\n}","type":"blockquote","key":"edg6s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь мы видим структуру профиля и несколько возможных типов для него, а также метод GetBalance(), в котором, в зависимости от типа профиля, выбирается тот или иной метод подсчета баланса. Допустим, теперь мы хотим добавить лог с итоговым балансом, полученным при подсчёте:","type":"unstyled","key":"bbfho"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"type ProfileType string\n\nconst (\n SimpleProfile ProfileType = \"simple\"\n InvestmentProfile ProfileType = \"investment\"\n BusinessProfile ProfileType = \"business\"\n)\n\ntype Profile struct {\n Type ProfileType\n}","type":"blockquote","key":"d9til"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func (p *Profile) GetBalance() (balance int) {\n defer fmt.Println(\"profile balance:\", balance)\n switch p.Type {\n case BusinessProfile:\n return p.getBusinessProfileBalance()\n case InvestmentProfile:\n return p.getBusinessProfileBalance()\n case SimpleProfile:\n return p.getBusinessProfileBalance()\n default:\n panic(\"unknown profile type\")\n }\n}","type":"blockquote","key":"879k5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"И в результате добавленного нами лога мы всегда будем видеть запись «profile balance: 0». Почему так?","type":"unstyled","key":"8f9pr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":5,"offset":203,"style":"ITALIC"},{"length":4,"offset":232,"style":"ITALIC"}],"text":"Давайте внимательнее посмотрим на то, что написано про defer в документации языка: «The arguments to the deferred function (which include the receiver if the function is a method) are evaluated when the defer executes, not when the call executes». Значение аргументов для функции в defer (в том числе и ресивер метода) вычисляются в момент исполнения defer, а не в момент исполнения функции. В нашем примере на момент исполнения defer в переменной balance у нас по дефолту лежит 0 — вот с этим значением наш принт и выполняется. А для того, чтобы достичь результата, который мы и хотели получить, то есть для того, чтобы в принте фигурировала итоговая сумма расчета, можно использовать концепцию, с которой мы уже встречались — замыкания.","type":"unstyled","key":"750oi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"defer func() {\n fmt.Println(\"profile balance:\", balance)\n}()","type":"blockquote","key":"56o9f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Анонимная функция не имеет никаких аргументов, переменная balance расположена в теле этой функции. Соответственно, будет сохранена ссылка на эту переменную, и фактическое значение будет получено при выполнении анонимной функции по сохранённой ссылке.","type":"unstyled","key":"eolqb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Интерфейсы","type":"header-three","key":"6h7il"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Интерфейсы в Go обеспечивают гибкость кода, позволяя писать универсальные функции, которые могут работать с разными типами данных, реализующими один и тот же интерфейс. Однако и с ними не все гладко. Посмотрим на такой пример кода:","type":"unstyled","key":"atm0c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"type Requester interface (\n MakeRequest() int\n)\n\ntype ConcreteRequester struct {\n someField int\n}\n\nfunc (r *ConcreteRequester) MakeRequest() int {\n return r.someField\n}","type":"blockquote","key":"65n5p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"func makeRequester(someVal int) Requester {\n var requester *ConcreteRequester\n if someVal > 0 {\n requester = &ConcreteRequester{someField: someVal}\n }\n return request\n}\n\nfunc main() {\n requester := makeRequester(0)\n fmt.Println(\"got requester: \", requester)\n if requester == nil {\n fmt.Println(\"requester is nil\")\n } else {\n fmt.Println(\"requester is not nil\")\n }\n}","type":"blockquote","key":"f0r6m"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"У нас есть интерфейс реквестера, который делает какой-то запрос и в респонсе отдает int — допустим, статус-код нашего запроса. Есть конкретный тип concrete requester, который реализует интерфейс реквестера. Ещё для интерфейса реквестера есть функция, которая позволяет его инициализировать в зависимости от переданного значения value.","type":"unstyled","key":"14rf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если оно больше нуля, то мы возвращаем instance concret requester’а. Если оно меньше или равно нулю — просто возвращаем не проинициализированную переменную. В main есть логика, которая сначала принтит реквестер, а затем делает ещё один принт в зависимости от того, nil он или нет.","type":"unstyled","key":"fs4f8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если запустить программу, то мы увидим забавный вывод:","type":"unstyled","key":"9ebvk"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"got requester: \nrequester is not nil","type":"blockquote","key":"40jfe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Мы получили реквестер nil, но при этом он не nil.","type":"unstyled","key":"a2f5s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы разобраться, нам нужно внимательнее присмотреться к интерфейсам – а точнее к тому, как они устроены под капотом.","type":"unstyled","key":"8pm8p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"type eface struct {\n _type *_type\n data unsafe.Pointer\n}\n\ntype iface struct {\n tab *itab\n data unsafe.Pointer\n}\n\ntype itab struct {\n _type *_type\n ...\n}","type":"blockquote","key":"2rtlm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Под капотом есть две структуры для интерфейсов: eface для пустого и iface, если определён набор методов, которым должен соответствовать тип. Сейчас нас интересуют общие для них поля — а именно тип данных, которые реализует интерфейс, и ссылка на область в памяти, где находится его значение. Для того, чтобы две переменные интерфейс-типа были равны, нужно чтобы у них были равны оба этих поля.","type":"unstyled","key":"a6o3g"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь посмотрим (fmt.Printf(\"requester=(%T,%v)\\n\", requester, requester)).","type":"unstyled","key":"au2es"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"что именно лежит в этих полях для нашей переменной requester:","type":"unstyled","key":"c918l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"requester=(*main.ConcreteRequester,)","type":"unstyled","key":"e3ppl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Ага! Вот отсюда ноги и растут. Несмотря на то, что фактическое значение у переменной — это nil, тип таковым не является, что и приводит к тому, что сравнение requester == nil — это false.","type":"unstyled","key":"87n71"},{"data":{},"depth":0,"entityRanges":[{"key":1,"length":5,"offset":130}],"inlineStyleRanges":[],"text":"Это поведение связано с так называемым value boxing и заслуживает отдельной статьи, которая уже в общем-то и так любезно написана здесь.","type":"unstyled","key":"6isjq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Особенности вендоринга","type":"header-three","key":"834r8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Представим, что вы завели библиотеку на Go, в которой должны происходить какие-то сетевые запросы. Внутри этой библиотеки вы реализовали некий клиент, который умеет делать запросы, получать в респонсе какие-то данные и отдавать их в виде структур, описанных в папке models.","type":"unstyled","key":"f6b3m"},{"data":{"image":{"id":"6762f01ed101d72b7dee6b1b"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"b8acv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Теперь попробуем использовать эту библиотеку в каком-нибудь сервисе. Добавили её в go.mod, прописали в консоли go mod tidy, go mod vendor, решили заглянуть в vendor, а там, неожиданно лежит только часть файлов и папок вашей библиотеки.","type":"unstyled","key":"4kp0k"},{"data":{"image":{"id":"6762f01e67db2610b0dbf6cc"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"9v4to"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для тех, кто не изучал, как работает вендоринг, это будет казаться чем-то странным. Что ж, за ответами отправляемся в документацию языка:","type":"unstyled","key":"c7f12"},{"data":{},"depth":0,"entityRanges":[{"key":2,"length":13,"offset":5},{"key":3,"length":13,"offset":70}],"inlineStyleRanges":[{"length":65,"offset":120,"style":"BOLD"}],"text":"“The go mod vendor command constructs a directory named vendor in the main module”s root directory containing copies of all packages needed to build and test packages in the main module.”","type":"unstyled","key":"3rgba"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"И вновь всё встает на свои места: в вендоре оказываются только те пакеты, которые нужны для успешного билда и тестирования приложения. То есть, если мы инициализируем клиент из библиотеки где-то в сервисе, в котором мы эту библиотеку подключили, у нас подтянутся требуемые для этого пакеты.","type":"unstyled","key":"7gfin"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Сама по себе эта ситуация может показаться просто неожиданной особенностью языка. На самом деле, это тонкий намек на то, что возможно заносить имплементацию логики похода во внешний сервис внутрь библиотеки — это не лучшая мысль. Ведь таким образом мы увеличиваем связность логики, а также уменьшаем возможности сервисов-потребителей в плане кастомизации взаимодействия библиотеки с внешними сервисами.","type":"unstyled","key":"1bhr0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На этом все! Напишите в комментариях, есть ли ещё какие-то ошибки, о которых не рассказал в статье? Обсудим их в следующий раз!","type":"unstyled","key":"c7kj7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"hWYkmlOeblXKC5nTehnO"}],"entityMap":{"0":{"data":{"href":"https://go.googlesource.com/go/+/2dda92ff6f9f07eeb110ecbf0fc2d7a0ddd27f9d","url":"https://go.googlesource.com/go/+/2dda92ff6f9f07eeb110ecbf0fc2d7a0ddd27f9d"},"mutability":"MUTABLE","type":"LINK"},"1":{"data":{"href":"https://go101.org/article/interface.html#boxing","url":"https://go101.org/article/interface.html#boxing"},"mutability":"MUTABLE","type":"LINK"},"2":{"data":{"href":"https://go.dev/ref/mod#go-mod-vendor","url":"https://go.dev/ref/mod#go-mod-vendor"},"mutability":"MUTABLE","type":"LINK"},"3":{"data":{"href":"https://go.dev/ref/mod#glos-main-module","url":"https://go.dev/ref/mod#glos-main-module"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}