Stream Rotator — the storm power

StreamRotator — программный комплекс, содержащий в себе модули грабера и ротатора для тумбовых и текстовых сиджей.

Основная задача, которая стояла при разработке скрипта — умение выжать из сайта максимальную продуктивность. Для этого был разработан, воплощен в код и оттестирован ряд уникальных алгоритмов, каждый из которых в отдельности заслуживает патентования, ну а в комплексе... В комплексе они просто изменят Ваше представление о том, как должны расти сайты, какая должна быть продуктивность, какой ским, сколько, в конце концов, Вы можете зарабатывать. Это не просто громкие слова или самореклама. Это мнение тестеров, которые наблюдали за поведением ротатора не один месяц и не на одном десятке своих сиджей.

Скрипт реализован на php с использованием mysql, gdlib, imagemagick, cron.
StreamRotator протестирован на совместимость с большинством популярных cj-скриптов — ATX/AT3, TM3, EasyTrade, FET, ATS, PROTON и т.д.
Простая, интуитивно понятная админка. Большинство пользователей отмечают, что разобрались со скриптом без руководства. Хотя читать мануал я все таки настоятельно рекомендую.
Менеджер партнерских программ и платников. Каждая галерея может быть привязана к платнику, а тот в свою очередь к партнерке. Во-первых это дает возможность «разложить по полочкам» информацию по спонсорам, что уже немало. Во-вторых — удалять, отключать, подключать и т.д. все галереи спонсора можно одним кликом мыши. В-третьих — индивидуальный ским для платников. И наконец самое вкусное — максимальный допустимый процент тумб одного спонсора на морде сиджа.
Система апдейтов. Для того, чтобы обновить скрипт до последней версии, достаточно одного клика в админке. Перед каждым апдейтом делается резервное копирование скриптов и базы данных, и в случае сбоя при обновлении система будет автоматически восстановлена до работоспособного состояния.
В работе с mysql широко используются heap-таблицы. В отличие от всех остальных видов таблиц mysql, heap-таблицы существуют только в памяти компьютера. Это позволяет работать с ними на несколько порядков быстрее, чем с обычными данными. Другими словами, при сборе/обработке статистики, обращений к дисковой подсистеме не происходит.
Отказоустойчивая схема работы с mysql. При сбое сервера базы данных mysql, ротатор продолжает работать в нормальном штатном режиме, за исключением того, что статистика по показам/кликам не собирается и не анализируется. Более того, при перезагрузке сервера или mysql скрипт сам восстановит рабочие базы данных из резервной копии в течение минуты.
Минимальная нагрузка на сервер. За счет практически полного отказа от использования дисковой подсистемы, а также за счет предгенерации и кэширования контента, ротатор потребляет минимум ресурсов сервера. Он отлично справляется с ротацией десятков и сотен тысяч тумб.
Система распределения нагрузки, создаваемой заданиями cron-а в пределах сервера. Можно ограничить как количество одновременно запускаемых кронов, так и количество одновременно «грабящих» стримов. Регулировка осуществляется двумя параметрами, прописанными в php.ini — очень удобно для администраторов виртуальных и спонсорских хостингов.
Автоматическое резервное копирование через настраиваемые промежутки времени, а также хранение заданного количества backup-ов.
Система контроля состояния скрипта проверит соответствие настроек сервера требованиям стрима, целостность структуры базы данных, починит повредившиеся таблицы mysql, а также проверит физическое наличие файлов тумб на локальном и удаленном сервере.

Граббер работает в фоновом режиме. Это значит, что мы один раз занесем список галь в очередь на грабинг, и нажмем кнопку "grab". Все остальное сделает скрипт — он будет изготовлять тумбы небольшими порциями каждую минуту. Какого-либо контроля или ожидания с Вашей стороны не требуется.
3 режима нарезки тумб — ручной, полуавтомат и полный автомат. Отличие 2-го и 3-го состоит в том, что в режиме "полный автомат" отграбленные тумбы сразу попадают в ротацию, а в полуавтоматическом режиме в ротацию попадут только выбранные пользователем тумбы (из предварительно отграбленных скриптом). Их может быть несколько для одной галереи, в последствии останется лучшая из них. После нарезки в полуавтоматическом режиме есть возможность подкорректировать выбранные тумбы в ручном режиме, что в большинстве случаев является приемлемым компромиссом между этими способами нарезки.
Проверка контента на дубли при граббинге. Позволяет избежать появления в ротации галерей с разными урлами но с одинаковым (или частично пересекающимся) контентом.
Приоритет тестирования тумб. При отборе тумб, предназначенных для отправки в ротацию, можно выделить одну или несколько наиболее удачных (по мнению пользователя), которые будут тестироваться в первую очередь. Также в ряде случаев скрипт может это сделать самостоятельно.
Грабит как пиксовые галереи, так и мувисные. А также галереи, переход к которым осуществляется через редирект, галереи которые содержат ссылки на страницы с изображениями, а не ссылки на изображения (как это обычно принято), другие "нестандартные" галереи.
При несовпадении форматов тумбы и исходной картинки, создается несколько тумб с разных участков пикчи. Например, если формат тумбы вертикальный (высота больше ширины), а формат исходной картинки горизонтальный (ширина больше высоты), то будут созданы 3 тумбы - вырезанные из центральной, левой и правой частей картинки. И наоборот.
RSS-reader. Многие спонсоры предоставляют так называемые rss-feed-ы со списком свежих fhg. Стрим умеет периодически проверять эти RSS-рассылки на предмет появления новых галерей, и автоматически импортировать их в ротатор.
Несколько попыток граба "проблемных" галерей. Если html-код галереи или картинку не удалось сграбить с первого раза, через некоторое время будут осуществлены еще несколько попыток граба. У серверов партнерок тоже бывают проблемы...
Наложение логотипа на тумбы от мувисных галь. Имеется возможность выбирать случайные лого и лепить их в случайный угол тумбы.
Фильтры собственной разработки. Например, усиление бликов и осветление темных мест тумбы.
Есть возможность для определенных зон ротации грабить только мувисные или пиксовые гали (или и те и другие). Например, можно сделать блок на морде сиджа только с пиксовыми или только с мувисными галереями. При этом не придется при вводе списка fhg специально отбирать, какие fhg нужны для пиксового блока тумб, а какие для мувисного. Скрипт все сделает сам.
Crop Profiles. Набор параметров кроппинга, таких как яркость, насыщенность, тип и расположение логотипа для мувисных тумб и т.д. можно сохранять в профайлах, количество которых не ограничено.
Постановка заданий в очередь на граббинг идет в случайном порядке. Дело в том, что сразу же после того как были отграблены первые тумбы, ротатор приступит к работе. Для того, чтобы контент для сиджа был максимально разнообразным, тумбы и галереи грабятся в случайном порядке.
Контроль времени выполнения граббера. Время выполнения скрипта и количество выполненных операций граббера за один шаг рассчитывается таким образом, чтобы не перегрузить сервер с одной стороны, и создать максимально возможное количество тумб за единицу времени, с другой. Иными словами, скрипт не будет перегружать загруженный сервер.

Поддерживаются текстовые и тумбовые зоны ротации.
Выявление для каждой галереи лучшей тумбы. Для каждой картинки галереи будет сделана тумба. После тестирования всех тумб галереи, будет выбрана одна лучшая для дальнейшей ротации.
Неуникальным посетителям показываются новые тумбы. Скрипт отслеживает каждого посетителя, и осуществляет для него имитацию очень часто обновляемой TGP.
Мультинишевость. Это возможность создавать нишевые странички, делать несколько нишевых блоков на одной странице, делать блоки состоящие из тумб/десков разных ниш.
Плохой трафик (noref, nocoockie, noJS, поисковые боты, неплатежеспособные страны и др.) а также двойные клики по одной и той же тумбе не влияет на подсчет статистики. Также не учитываются клики, сделанные после N-го (по умолчанию 8-го) клика. Т.е. различные боты и любой подозрительный траф не будет портить статистику по тумбам.
Адаптивная скорость регенерации морды сиджа. Это значит, что при минимуме статистики ротация будут происходить очень быстро — ротатор за считанные минуты выберет наиболее кликабельные тумбы, и не будет требовать уймы трафика для тестирования тумб. И наоборот, когда все тщательно протестировано, морда будет генерироваться один раз в 20 минут, что сведет нагрузку на сервер к минимуму.
Вычисление кликабельности ячеек в фоновом режиме. В большинстве скриптов подобного рода для тестирования популярности ячеек на морде необходим специальный режим. В StreamRotatore такого выделенного режима нет, все осуществляется в фоновом режиме. Скрипт сразу попытается установить ячейкам коэффициенты популярности, исходя из их расположения. И в дальнейшем будет плавно их корректировать.
Простая и гибкая система шаблонов. Одна минута — и морда сиджа готова: никакой ручной нумерации ссылок, мест для тумб и прочей ерунды. Есть возможность одновременного использования кодированных и некодированных урлов — например в alt-е или статусе мы показываем настоящий url, а в ссылке закодированный. Присутствуют теги, позволяющие выводить дату добавления, тип и количество контента галереи, использовать на одной морде тумбы, хранящиеся как на удаленном, так и на локальном хосте. Пример использования: верхние тумбы отдавать с быстрого локального сервера, нижние — с удаленного.
Статистика популярности тумб (ctr, rank) анализируется не за все время существования тумбы, а только за последние N - показов. Это позволяет более оперативно реагировать на изменение популярности тумб. Следует отметить, что статистика не просто сбрасывается после N количества показов, а перессчитывается плавно, без скачков.
Есть возможность отключить влияние на статистику ротатора определенных типов трафа. Например, при использовании подлива. Если ниша подливаемого трафика не совпадает с нишей Вашего сиджа, пускаем этот подлив на специальный url и этот трафик не будет влиять на статистику ротатора.
FTP модуль. Позволяет хранить тумбы на другом сервере.