{"draftJsState":{"blocks":[{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Доброго времени суток, читатели, зрители моего канала programmer's notes. Не забывайте подписываться и писать свои комментарии к моим статьям и видео.","type":"unstyled","key":"2qrp0"},{"data":{"embedData":{"type":"yandex-zen-publication","publicationId":"6419ce5d4d9d354481e1f7e9","originalUrl":"https://dzen.ru/a/ZBnOXU2dNUSB4ffp","publisherId":"5af6f2427425f5fcbcde7d3d","publisherName":"programmer's notes (python and more)","title":"Индексная статья по курсу ООП в Python","publishTime":1679414184639,"isPublisherVerified":false,"image":{"id":"6419d2fab86c6c44bbc88c0c","groupId":8098241,"imageName":"pub_6419ce5d4d9d354481e1f7e9_6419d2fab86c6c44bbc88c0c","namespace":"zen_doc","meta":{"mainColor":"#403020","origFormat":"JPEG"},"sizes":{"orig":{"width":1620,"height":2160},"scale_360":{"width":270,"height":360},"scale_540":{"width":405,"height":540},"scale_600":{"width":450,"height":600},"scale_720":{"width":540,"height":720},"scale_1200":{"width":900,"height":1200},"scale_2400":{"width":1620,"height":2160}}}}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:embed","key":"bubto"},{"data":{"embedData":{"type":"yandex-zen-publication","publicationId":"6586f0aabffa447dc9200012","originalUrl":"https://dzen.ru/a/ZYbwqr_6RH3JIAAS","publisherId":"5af6f2427425f5fcbcde7d3d","publisherName":"programmer's notes (python and more)","title":"Индексная статья подборки \"Программирование в Интернет\"","publishTime":1703358217457,"isPublisherVerified":false,"image":{"id":"6586f1a5eb35721ecb89b592","groupId":271828,"imageName":"pub_6586f0aabffa447dc9200012_6586f1a5eb35721ecb89b592","namespace":"zen_doc","meta":{"mainColor":"#606060","origFormat":"JPEG"},"sizes":{"orig":{"width":2048,"height":1536},"scale_360":{"width":360,"height":270},"scale_540":{"width":540,"height":405},"scale_600":{"width":600,"height":450},"scale_720":{"width":720,"height":540},"scale_1200":{"width":1200,"height":900},"scale_2400":{"width":2048,"height":1536}}},"badSeoLink":"true"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:embed","key":"6kv8k"},{"data":{"embedData":{"type":"yandex-zen-publication","publicationId":"62afe2e092892e6ea465dee6","originalUrl":"https://dzen.ru/a/Yq_i4JKJLm6kZd7m","publisherId":"5af6f2427425f5fcbcde7d3d","publisherName":"programmer's notes (python and more)","title":"Индекс видео и заметок по базовому курсу программирования на Python","publishTime":1655710517878,"isPublisherVerified":false,"image":{"id":"62aff0c4851619686e816dd8","groupId":4219899,"imageName":"pub_62afe2e092892e6ea465dee6_62aff0c4851619686e816dd8","namespace":"zen_doc","meta":{"mainColor":"#808080","origFormat":"JPEG"},"sizes":{"orig":{"width":960,"height":720},"scale_360":{"width":360,"height":270},"scale_540":{"width":540,"height":405},"scale_600":{"width":600,"height":450},"scale_720":{"width":720,"height":540},"scale_1200":{"width":960,"height":720},"scale_2400":{"width":960,"height":720}}}}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:embed","key":"7pk9q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Парсинг страниц html с помощью модуля html.parser","type":"header-two","key":"8gl8a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":11,"offset":132,"style":"ITALIC"}],"text":"Для парсинга web-страниц есть разные библиотеки. И мы будем к ним обращаться. Но есть и совершенно замечательный стандартный модуль html.parser. Вот сегодня мы им и займёмся. ","type":"unstyled","key":"2i4l8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":10,"offset":64,"style":"ITALIC"}],"text":"Чтобы разбирать html-страницу, необходимо создать объект класса HTMLParser. У него есть целый набор методов, часть из которых запускается автоматически при отправке объекту текста html-страницы. Лишний раз подчеркнём, что парсинг с помощью данных инструментов прост и незамысловат. ","type":"unstyled","key":"clio5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":10,"offset":14,"style":"ITALIC"}],"text":"Методы класса HTMLParser","type":"header-three","key":"8vmp2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":17,"offset":0,"style":"ITALIC"},{"length":4,"offset":43,"style":"ITALIC"}],"text":"HTMLParser.feed() — передать объекту текст html.","type":"unordered-list-item","key":"eucrj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":18,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.close() — закрыть и обработать текст, содержащийся в буферах.","type":"unordered-list-item","key":"5qi67"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":18,"offset":0,"style":"ITALIC"},{"length":10,"offset":38,"style":"ITALIC"}],"text":"HTMLParser.reset() — перевести объект HTMLParser в исходное состояние.","type":"unordered-list-item","key":"bs2b3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":1,"offset":20,"style":"ITALIC"}],"text":"HTMLParser.getpos() — возвращает номер текущей строки и смещение.","type":"unordered-list-item","key":"21uvs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"HTMLParser.get_starttag_text() — возвращает текст последнего открытого тэга.","type":"unordered-list-item","key":"8ub8l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":10,"offset":31,"style":"BOLD"},{"length":10,"offset":31,"style":"ITALIC"}],"text":"Переопределяемые методы класса HTMLParser","type":"header-three","key":"81een"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":75,"offset":0,"style":"BOLD"}],"text":"Переопределяемые методы вызываются автоматически при обработке текста html.","type":"unstyled","key":"5tvpt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":28,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.handle_starttag() — вызывается при встрече открывающего тэга. ","type":"unordered-list-item","key":"3949c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":26,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.handle_endtag() — вызывается при встрече закрывающего тэга. ","type":"unordered-list-item","key":"c7udc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":31,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.handle_startendtag() — вызывается при встрече не закрывающегося тэга. ","type":"unordered-list-item","key":"1a94"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":24,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.handle_data() — вызывается для текста внутри тэга.","type":"unordered-list-item","key":"92m1d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":29,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.handle_entityref() — вызывается для html мнемоник (начинаются с амперсанда &).","type":"unordered-list-item","key":"dd3kg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"HTMLParser.handle_charref() — вызывается для обработок юникод-символов.","type":"unordered-list-item","key":"7qusa"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":27,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.handle_comment() — вызываются для обработки комментариев. ","type":"unordered-list-item","key":"7qqe9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":24,"offset":0,"style":"ITALIC"},{"length":7,"offset":52,"style":"ITALIC"}],"text":"HTMLParser.handle_decl() — вызывается для обработки DOCTYPE.","type":"unordered-list-item","key":"br495"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":23,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.handle_pi() — обрабатывает инструкции по обработке.","type":"unordered-list-item","key":"eajel"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":25,"offset":0,"style":"ITALIC"}],"text":"HTMLParser.unknown_decl() — обработка неизвестного объекта. ","type":"unordered-list-item","key":"1l45j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":4,"offset":62,"style":"ITALIC"}],"text":"Переопределив указанные методы можно обрабатывать все объекты html.","type":"unstyled","key":"3ovfv"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":12,"offset":161},{"key":1,"length":11,"offset":204}],"inlineStyleRanges":[{"length":237,"offset":0,"style":"BOLD"},{"length":25,"offset":237,"style":"ITALIC"},{"length":2,"offset":275,"style":"ITALIC"},{"length":14,"offset":295,"style":"ITALIC"}],"text":"Ниже представлен пример программы, осуществляющей простой парсинг html-страницы. Страница считывается из файла. Обращаю внимание, что если вы будете использовать конструктор то должны обязательно вызвать конструктор родительского класса HTMLParser.__init__(self). Переменная fl указывает методу handle_data() необходимость вывода содержимого тэга. В нашем случае мы хотим получить содержимое тэга с javascript-кодом. ","type":"unstyled","key":"bhqgh"},{"data":{"image":{"id":"658d310b00a7d25832e7ab93"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Текст программы см. ниже","type":"atomic:image","key":"7ippg"},{"data":{"embedData":{"type":"external","host":"gist.github.com","image":{"src":"https://avatars.dzeninfra.ru/get-zen_brief_embed/271828/pub_658d0bfd09fab06b1e799f0d_658d3134eec8b90f657e865d/smart_crop_600x300","width":600,"height":300,"mainColor":"#181820"},"src":"https://gist.github.com/polput2020/8132ae229e0df953436aaf68b34ddcf0","title":"primer184.py"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:embed","key":"9n588"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Результат разбора моей страницы, согласно представленной выше программы, таков","type":"unstyled","key":"7id7t"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":349,"offset":0,"style":"ITALIC"}],"text":"\n\n\n\n\n\np>\n\n\nhtml>\n","type":"unstyled","key":"cj2hu"},{"data":{},"depth":0,"entityRanges":[{"key":2,"length":10,"offset":177}],"inlineStyleRanges":[{"length":11,"offset":82,"style":"ITALIC"}],"text":"При желании анализ html-текста можно сколь угодно усилить. Согласитесь, что класс HTMLParser предоставляет хорошие возможности, гораздо лучше попыток использовать для этой цели регулярных выражений. В одной из следующих статей постараюсь привести пример парсинга реальной страницы. ","type":"unstyled","key":"a78ka"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"См. также ","type":"unstyled","key":"aec3j"},{"data":{"embedData":{"type":"yandex-zen-publication","publicationId":"658d0bfd09fab06b1e799f0d","originalUrl":"https://dzen.ru/a/ZY0L_Qn6sGseeZ8N","publisherId":"5af6f2427425f5fcbcde7d3d","publisherName":"programmer's notes (python and more)","title":"Программирование на языке Python. Парсинг html-страниц с помощью стандартного модуля html.parser","publishTime":1703770113252,"isPublisherVerified":false,"image":{"id":"658d0c303c349263cdb0455c","groupId":271828,"imageName":"pub_658d0bfd09fab06b1e799f0d_658d0c303c349263cdb0455c","namespace":"zen_doc","meta":{"mainColor":"#A8A8B0","origFormat":"JPEG"},"sizes":{"orig":{"width":1280,"height":720},"scale_360":{"width":360,"height":203},"scale_540":{"width":540,"height":304},"scale_600":{"width":600,"height":338},"scale_720":{"width":720,"height":405},"scale_1200":{"width":1200,"height":675},"scale_2400":{"width":1280,"height":720}}}}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:embed","key":"f6geb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пишите свои предложения и замечания и занимайтесь программированием, хотя бы для поддержания уровня интеллекта.","type":"unstyled","key":"cvs5b"},{"data":{"image":{"id":"658d0c303c349263cdb0455c"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кто программировал этого робота? Он ведёт себя агрессивно","type":"atomic:image","key":"18r2d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"ctn9f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"vvEoPzIU3kD8QaafRP6R"}],"entityMap":{"0":{"data":{"url":"https://dzen.ru/a/ZFHhu-F3SGJh7soi?share_to=link"},"mutability":"MUTABLE","type":"LINK"},"1":{"data":{"url":"https://dzen.ru/a/ZFHhu-F3SGJh7soi?share_to=link"},"mutability":"MUTABLE","type":"LINK"},"2":{"data":{"url":"https://dzen.ru/a/ZUHbHWO7ljbK6ujY?share_to=link"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}