Добавить чеккер прокси

Предлагаю создать отдельную вкладку с прокси, где можно будет увидеть текущий статус (валид невалид) и по возможности пинг страну к каким аккам привязан и т.д. Если реализация идеи пойдет в ущерб производительности, то можно сделать отдельным приложением, как браузер.
Владислав
Сообщений: 69
01 октября 2017 в 13:32
На рассмотрении
454 Просмотров
28 Ответов
Поделиться
Для добавления комментария нужно Авторизоваться
Streff 01 октября 2017 в 16:42, изменено 01 октября 2017 в 16:59 #
Или для начала просто стату по подключенным прокси

Streff 01 октября 2017 в 17:15, изменено 01 октября 2017 в 17:15 #
рас

Streff 01 октября 2017 в 17:15, изменено 06 июля 2018 в 15:04 #
два
Qwaros 08 апреля 2018 в 18:20, изменено 08 апреля 2018 в 18:23 #
Немного расширю описание. Реализация чекера может быть как в рамках каждого софта внутри так и отдельной программой, что на мой взгляд было бы удобнее. Некий PerfectProxyManager :)

Что хотелось бы видеть в нем -

Базовый функционал чекера:
- Проверка внешнего ип прокси и сопоставление (привязка) его к указаным данным
- Проверка скорости прокси
- Проверка поддержки https, cookies, post/get прокси
- Проверка корректности отображения необходимого ресурса (настраиваемая)
- Определение гео прокси
- Определение провайдера прокси
- Провеврка на наличие капчи при обращении к гуглу (заспамленность)
- Проверка анонимности и элитности

Базовый функционал обработчика прокси:
- Ведение чс прокси по связке с внешним IP (независимо от входных даных проверяется сопоставляется внешний ип)
- Ведение чс прокси по входным данным (Ограничение на использование одного прокси на аккаунт)
- Ведение/присвоение рейтинга прокси (количество выдач прокси софту(ам), заспамленность и др.).

Взаимодействие с софтами ОКМЕН, ВКМЕН, ТОЛКЕР, ПАРСЕР автоматическое. С другими по усмотрению некое апи или конфиг-файл.

- Фильтрация прокси по параметрам:

Страна
город
скорость
заспамленность
поддержка https
элинтость
анонимность
протокол прокси
рейтинг прокси

- Возможность загрузки прокси вручную и по ссылкам.
- Возможность задать свой шаблон парсинга прокси по ссылке.
- Выдача прокси софту (ОКМЕН, ВКМЕН, ТОЛКЕР, ПАРСЕР, +++) Взаимодействие обработчика с целевым софтом автоматическое.
- Возможность настройки ограничений использования прокси после выдачи -

Удаление из живого списка по использованию (один или более раз)
Связка одного аккаунта в нескольких программах (например толкер + вкам = софт выдает 1 прокси обеим программам если такая опция настроена)





Дубли и смежные предложения на форуме -

http://perfect-studio.net/topic/293-novaia-opciia-dlia-proksi
http://perfect-studio.net/topic/311-dobavlenie-v-chs-spisok-ip-adresov
http://perfect-studio.net/topic/137-odtelnye-proksi-dlia-registratora-akkauntov
http://perfect-studio.net/topic/48-chs-proksi

Владислав 08 апреля 2018 в 19:41 #
Люто плюсую.

Nebesnyi Bohdan 19 июня 2018 в 14:29 #
>- Проверка внешнего ип прокси и сопоставление (привязка) его к указаным данным
Нужен пример, не совсем понятно что имеется ввиду

>- Ведение чс прокси по связке с внешним IP (независимо от входных даных проверяется сопоставляется внешний ип)
Должен быть игнор список прокси (или подсетей), которые чеккер должен отсеивать?
Как этот игнор-список должен пополняться?

>- Ведение чс прокси по входным данным (Ограничение на использование одного прокси на аккаунт)
ВК\ОК менеджеры имеют внутреннюю настройку количества аккаунтов на 1 прокси, как это внешне регулировать предлагается отдельной программой?

>- Возможность настройки ограничений использования прокси после выдачи -
Каких и как?

>- Связка одного аккаунта в нескольких программах (например толкер + вкам = софт выдает 1 прокси обеим программам если такая опция настроена)
Это проще сделать синхронизацией в ВКтолкер из ВКама, иначе если прокси чеккер будет еще и контроллировать какому аккаунту какой прокси в какой программе, появится много нюансов и проблем.

Qwaros 19 июня 2018 в 20:15 #
1. Имеется в виду привязка аккаунта к стране (городу опц.) прокси и в случае смены ип на прокси или смены прокси проверять соответствие гео.
2. Должен быть смешанный игнор лист или же два листа. Первый по данным прокси (ип порт) второй по внешним данным (ип / сеть опц.) и настраиваемые правила сколько адресов одной сети использовать в рамках одного инстанса. Нужда в последнем отпадет при появлении группировки заданий.
3. Предлагается иметь оба варианта управления проксями. Для всех софтов сразу доп прогой и внутреннее распределение остается таким как есть для тех кому ненужен будет чекер.
4. Сопственно выданных. Посмотри как логически устроен прокси чекер от zennolab. Есть живой список из которого опционально удаляются строки после выгрузки. точно так же нужно сделать в нашем чекере. Только немного более гибко, с возможостью настраиваемых правил выдачи и удаления (выдать N раз и удалить навсегда / Выдать N раз и заблокировать выдачу на N сек-мин-час)
5. синхронизация толкера и вкама практически бесполезна в текущей реализации. Потому пункт остается актуальным. Нащет нюансов и проблем - сопсно для их решения и нужна программа, без программы эти нюансы решаются сейчас ручками :)
.

Nebesnyi Bohdan 19 июня 2018 в 20:24 #
1-4. Непростая задача. Отдельной программой (хоть и максимально связанной с _АккАмом) перечисленный контроль по прокси делать нет смысла, так как более-менее разумное общение программ возможно только через файл, в который одна программа пишет настройки\команды, а другая программа из этого файла их считывает и выполняет. Совсем другое дело, если программа сама проверяет прокси и лишь в своей памяти меняет аккаунтам данные - будет лучше в скорости обновления данных аккаунтам.
Если же делать описанный прокси чеккер отдельно и общение программ через файл, то данные по всем аккаунтам из АккаунтМенеджера (ов?) нужно будет дублировать в прокси чеккер, это затея не внушающая положительных перспектив.
5. С чем связана бесполезность?

Qwaros 19 июня 2018 в 20:26, изменено 19 июня 2018 в 20:30 #
Почему не поднять веб сервер и не общаться запросами? )
Зачем хранить всю портянку данных в памяти всех софтов? Поднимаем сервер, формируем запросы/ Отдельно запрос на получение прокси и отдельно запрос от чекера софтам на получение статы.

Nebesnyi Bohdan 19 июня 2018 в 20:31 #
Основная проблема в дублировании данных - это лишняя нагрузка.

Qwaros 19 июня 2018 в 20:32 #
Так не надо их дублировать. Запрашивать по необходимости.

Nebesnyi Bohdan 19 июня 2018 в 20:35 #
Возможно я не допонял то, что требуется.

Представим что в VKAM всего 100 аккаунтов разбитых на три задачи, которые имеют у себя прокси. И еще абстрактные 2 аккаунта (из 100) начали ловить ошибки коннектов из-за плохих проксей.
В прокси чеккере имеем 1000 прокси, он их в очередной раз прочекал.

Что должны программы сделать между собой дальше?

Qwaros 19 июня 2018 в 20:41 #
Вкам дает запрос чекеру на получение прокси (определенной страны опц.). Чекер в свою очередь основываясь на данных предыдущих выгрузок отбирает свободную прокси и отдает вкаму. Используемые данные при этом - страна (опционально) и ид инстанса вкама (должен быть статичен и не меняться при перезагрузке софта).

Процедура проверки прокси и принятия решения о выдаче -
Проверить аботоспособность, получить данные гео, получить внешний ип. Проверить выгружались ли внутренние данные (ип порт) и внешние данные (ип) данному софту (по ид) и опираясь на правила настроек принять решение о выдаче прокси.

Тоесть по сути ето все самый банальный набор if правил всего навсего. вся работа чекера которая может давать нагрузку - проверка внешнего ип и данных прокси. все остальное древо if правил.

Nebesnyi Bohdan 19 июня 2018 в 20:49, изменено 19 июня 2018 в 20:50 #
Предположим:
Чеккер сам по себе просто получает информацию о проксях - гео, скорость и прочую вкусную информацию.
Аккаунтс Менеджер, к примеру, текущей же функцией автодобавления прокси по ссылке\из файла (нужно добавить третий вариант источника - прокси чеккер) раз в Х минут удаляет все свои прокси (опционально) и добавляет в список прокси которые дал прокси чеккер.

Если дальнейшее распределение прокси на аккаунты будет на стороне АккаунтсМенеджера, а проки чеккер только проверяет базы проксей и выдает Х-ХХХ проксей нужным копиям программ, то много проблем уходят.
Конечно, логику распределения прокси на аккаунты можно улучшить, если в этом есть потребность - если есть, то нужно описание как улучшить.

Владислав 19 июня 2018 в 20:57 #
Мне нравится:)

Владислав 19 июня 2018 в 21:00 #
Только в текущем виде при удалении и добавлении раз в X минут ВКАМ не делает перерасчет свободных прокси, нужно это устранить.
Т.е. после того, как он взял новые прокси - он говорит, что свободных 1000, хотя 500 аккаунтов работает нормально, и всего проксей при этом 1000.

Могу подробней расписать о проблеме, если нужно.

Nebesnyi Bohdan 20 июня 2018 в 07:31 #
Да, будет кстати - в идеальном варианте с скриншотами.

Владислав 20 июня 2018 в 11:45 #
Написал в телегу.

Qwaros 19 июня 2018 в 21:02 #
Ну вероятнее всего такая логика будет более гибкой для дальнейших хотелок. Распределение нагрузок при использовании веб интерфейса так же будет оч полезно т.к можно будет сделать обращения из мира к чекеру и выделить ему личное пространство на отдельном сервере.
По сути так и есть, чекер просто собирает инфу и по правилам отдает прокси по запросу (хорошо бы не только perfeсt софтам а настраиваемую выгрузку как в зеннолаб)

То есть вся картина настройки выглядит следующим образом -

Имеется набор правил (фильтр ип сетей, фильтр источника, фильтр страны, фильтр количества использований). Создается выгрузка с уникальным именем, набором правил и типом выдачи (файл, url).

Идентификацию софтов можно так же упростить и свести к имени выгрузки и опираться на него в ведении игнор листов. Выходит внешне такая же портянка как менеджеры с созданием заданий :)

Андрей 26 июня 2018 в 11:54 #
по поводу удаления прокси и сразу добавления новых.
Сейчас прога не учитывает старые прокси. То есть у меня сейчас 1400 акков работает, каждые 10 мин удаляю прокси и загружаю новые.
Так вот после удаления и добавления новых (поменялось где-то 3%)Я, прога перестает учитывать лимит соотношения акков к прокси. Даже когда тыкаешь на кнопку "Сколько занято прокси", оно показывает 2 прокси занято, хотя работает 1400 акков.

Владислав 26 июня 2018 в 18:52 #
Во, я о том же.

Qwaros 19 июня 2018 в 20:28 #
5. С тем что синхронизируются только данные аккаунтов а не задач. По сути выходит полу ручная синхронка. Новые акки в задачу приходится добавлять все равно руками.

Nebesnyi Bohdan 19 июня 2018 в 20:31 #
5. Новые задачи в VKAccountsManager не создаются в VKTalker - синхронизация никогда не имела такой цели.
Синхронизация на данный момент настраивается в обоих программах отдельно на каждую пару задач, которые нуждаются в синхронизации.
Синхронизация уже не требует первичного ручного добавления аккаунтов в VKTalker и их авторизации в программе - подтягиваться уже умеют даже не авторизированные аккаунты.
Роман Кривцун 09 апреля 2018 в 22:06 #
Покупайте коммерческие, и забудьте о проблемах. Программами нужно работать, а не сидеть и чекать прокси.................

Qwaros 09 апреля 2018 в 22:12 #
Советуйте такие советы где нибудь еще. Здесь пожалуйста по делу. Если вы не видите ничего дальше коммерции это дело лично ваше :)
Евгений 09 апреля 2018 в 22:10, изменено 09 апреля 2018 в 22:10 #
Для себя вижу пользу в чеккере для того, чтобы в менеджере среди тысяч загруженных ранее прокси найти валидные, на которых аккаунты не сидят.
kovbel 20 апреля 2018 в 18:02 #
+
asla4ok 20 апреля 2018 в 22:19 #
отличная идея плюсую