📦 Подборка простых, но в тоже время функциональных встраиваемых СУБД, для которых не требуется поднимать отдельный сервер. Могут размещаться в одном файле или вовсе в памяти. Доступ через специальное API, отчего получаем высокую скорость и возможности гибкой интеграции. ⚡️ Реляционные 💥 SQLite - самая популярная однофайловая СУБД. 🔥 DuckDB - PostgreSQL совместимая высоко-производительная СУБД. 📝 Документо-ориентированные ▪️ LiteDB ▪️ TinyDB ▪️ LowDB 📚 Key-Value хранилища ▫️ LevelDB - key-value хранилище с хранением на диске. ▫️ SlateDB - key-value хранилище память-s3, минуя диск. ▫️ RocksDB - ответвление от LevelDB с уклоном в производительность / быстрые хранилища.
DeSoft.ru
14
подписчиков
Авторский канал: ИТ, разработка, безопасность, администрирование.
Telegram бот для проверки ссылок в сообщениях
🔥 Добавил в управление каналом первую версию бота MiniDe на aiogram - анализатор ссылок в сообщениях через VirusTotal. 🔹 Заводим аккаунт на VirusTotal. По умолчанию выдается доступ к API с ограничением на проверку 4 ссылок в минуту и 500 в день - для тестовых запусков и ненагруженного ссылками потока сообщений более чем достаточно. 🔹 Создаем нового бота в @BotFather. 🔹 Добавляем бота в администраторы чата, сообщения из которого хотим получать для анализа, и куда будут поступать ответы с результатами...
🌐 Nmap - одна из самых популярных утилит с открытым исходным кодом для сетевого обнаружения, сканирования портов, определения ОС, сбора сведений об активных службах на хостах. Инструмент нашел свое применение в разных областях сетевого анализа как подручное средство администратора так и мощное оружие пентестера. Существует множество шпаргалок по практикам использования Nmap под различные задачи. Камнем преткновения здесь является анализ результатов, в особенности, когда под наблюдением и периодическим сканированием находится большая инфраструктура. 📝 Для упрощения работы с Nmap и удобного представления результатов существует ряд полезных проектов 🔹 Zenmap - графическая оболочка для Nmap от разработчиков системы. 🔹 DrawNmap - простой визуализатор результатов сканирования. 🔥 Nmap-did-what — проект с подготовленным python скриптом для парсинга результатов Nmap с сохранением их в SQLite базу данных и docker контейнером Grafana с предварительно настроенной панелью мониторинга для визуализации данных от Nmap, источником для которого и является собранная база. 🔹 Nmap Viewer - еще один вариант визуализатора результатов сканирования Nmap. 🔹 nmap-analyze - автоматизация процесса сравнения результатов сканирования с заданной спецификацией на хост. 🔹 Nmap-Analysis - сравнение нескольких результатов сканирования, автоматическая оценка и интерпретация результатов с помощью AI.
Подборка инструментов для работы с базами данных Помимо специализированных систем управления под конкретные базы данных, например, pgAdmin или MongoDB Compass, существует множество альтернатив, в том числе с открытым исходным кодом и возможностью подключения различных источников. Собрал некоторые из них в подборку вместе с сопутствующими инструментами. 📌 Универсальные админки ▫️ DBeaver ▫️ Bytebase ▫️ DBVisualizer ▫️ Adminer 📌 Low-code/no-code решения ▪️ NocoDB ▪️ Baserow ▪️ Mathesar ▪️ Appsmith 📌 Мониторинг, оптимизация 🔥 WAL-Listener - отслеживание изменений данных в базе PostgreSQL с отправкой событий в брокеры сообщений. 🔥 PgAssistant - мониторинг, трассировка, анализ, оптимизация и генерация запросов с возможностью подключения LLM. 📌 Визуальные редакторы схем ▫️ drawDB ▫️ ChartDB
Построение защищенных виртуальных сетей с помощью Nebula
Рассматривал ранее вариант построения виртуальной сети с помощью zerotier. На днях попробовал еще одно решение на эту тему - Nebula - инструмент для построения защищенных оверлейных сетей. Узлы сети устанавливают прямое vpn соединение между собой (p2p). Отличительная особенность системы - ее простота - все поставляется в комплекте, запускается посредством бинарника с раскиданными по хостам конфигурационными файлам и сертификатами, которыми подтверждается принадлежность к сети. ./nebula-cert ca -name "DeSoft...
Подборка инструментов для монтирования удаленных каталогов, дисков, хранилищ. ⭐️ В контексте организации доступа к данным по http протоколу была представлена утилита RClone, однако основное ее назначение как раз в работе с удаленными хранилищами. Поддержка широкого набора протоколов и облачных решений делает ее приоритетным инструментом для гибкой и быстрой настройки. 🔸 SSHFS - простая и удобная программа для подключения удаленных файловых систем по SFTP. 🔸 HTTPDirFS - монтирование http каталога, как локальной директории. 💥 SFTPGo - активно развивающийся инструмент для монтирования удаленных хранилищ. Поддержка протоколов и облачных провайдеров постепенно расширяется, бонусом идет наличие WebUI как для администрирования, так и для клиентского использования. 🔥 BTFS - монтирование .torrent файлов или magnet ссылок в качестве каталогов, доступных только на чтение. Содержимое загружается по требованию, а поскольку реализовано на базе виртуальной файловой системы, то и стандартные файловые операции также работают корректно.
Настраиваем бэкапы кластера PostgreSQL в autobase
Текущая версия autobase в ui консоли не поддерживает управление резервным копированием, поэтому настроим эту опцию через предлагаемые конфигурации. 🔹 Ставим MinIO s3 локально или арендуем хранилище с большим диском у облачных провайдеров. Для поддержки https протокола подключим самоподписанный сертификат. docker run \
-p 9000:9000 \
-p 9001:9001 \
--name minio \
-v ~/autobase/minio/data:/data \
-v ~/autobase/minio/certs:/certs \
-e "MINIO_ROOT_USER=demouser" \
-e "MINIO_ROOT_PASSWORD=demouser" \
-e "MINIO_SCHEME=https" \
-e "SSL_CERT_FILE=/certs/public...
Разворачиваем PostgreSQL кластер с помощью autobase
Autobase - платформа или лучше назвать инструмент автоматизации для простого и быстрого поднятия кластера PostgreSQL. Для тех, кто не жаждет разбираться в тонкостях построения отказоустойчивого кластера, разработчиками системы были подготовлены ряд скриптов, Ansible конфигураций и сервисов, в том числе UI, благодаря которым процесс запуска свелся к нескольким несложным шагам. - ставим ssh сервер
- пользователя добавляем в sudo
- на проде организовываем доступ через ключи (на тестовых можно обойтись...
Организация доступа к локальным данным по http протоколу
Существует множество способов быстро передать данные с целевой машины. Одним из наиболее простых вариантов является публикация через веб сервер для доступа из браузера. Приведу несколько решений, как для одноразового применения, так и для постоянного целевого использования. 📌 python нынче поставляется в комплекте многих операционных систем, его базовый http сервер и применим. python3 -m http.server 8000 Идем в браузер по заданному адресу Для разовых манипуляций более чем достаточно. 📌 Браузерный...
Теминальный мультплексор tmux и плагины к нему
Для работы в терминале уже долгое время использую мультиплексор Tmux. Ставлю его практически на всех серверах, с которыми приходится сталкиваться. Основная причина - это конечно продолжение работы сессий даже при отключении / разрыве ssh соединения - переподключились, вернулись в сессию, а все запущенные процессы как работали, так и работают. Сам инструмент во многом удобнее аналогов (например, Screen) и оброс обширной функциональностью за время своего существования. 📌 Установка (Debian / Ubuntu)...
💻 Подборка полезных материалов по работе с командной строкой unix 💎 Для тех, кто хочет глубже погрузиться в работу с командной строкой Unix, найти готовые инструменты для определенных задач, поднатаскаться в написании скриптов, подобрал ряд полезных ресурсов по теме. 📚 Гайд "Искусство командной строки" - от азов до продвинутого использования. 📝 Список программ по категориям ⚖️ Современные аналоги популярных утилит 💡 Недавно познакомился с оболочкой fish-shell, осваиваю постепенно. На первый взгляд - сборник лучших практик из разных командных оболочек, уже преднастроенных. ▫️ Репозиторий проекта ▫️ Дополнительная информация 💻 Сборник эмуляторов терминала под разные системы
🦾 Подборка AI-ассистентов для разработчика Помощники для программистов развиваются не по дням, а по часам. Это уже не просто автодополнение недостающих фрагментов, но и расширенный анализ и генерация кода, создание и обработка файлов, построение архитектуры, сборка и отладка приложений, работа в терминале и управление браузером и многое другое. ⚡️ Cline - популярный агент с широкой функциональностью. Поставляется в виде расширения для VS Code. 🔥 Roo-Code - форк Cline, "как Cline, только лучше". Представлен также в виде расширения для VS Code и Eclipse. 🔸 Continue - поддерживает работу как через внешние провайдеры AI, так и с использованием локальных моделей. Расширение для VS Code и JetBrains. 💥 Tabby - self-hosted решение. Позволяет развернуть на своем сервере приложение c web UI для управления репозиториями и совместной разработки с поддержкой AI моделей, и подключиться к нему из расширения для IDE. 🔸 Mutahunter - генератор unit тестов с возможностью встраивания в ci/cd. 🔸 Vanna - система взаимодействия с базами данных на естественном языке, генератор sql запросов. 🔸 GPT-Migrate - AI переводчик исходного кода с одного языка/фреймворка на другой. Напишите свой опыт использования подобных помощников в комментариях. На каких языках, для каких задач применялся и на сколько хорошо справлялся тот или иной ассистент.