«Мне хотелось поток мемов без рекламы, лайков и комментариев. Чистый поток мемов»: как я создал приложение Memescraper

Оленка Пилипчак

10.06.2021 15:55

Бесконечный поток мемов без рекламы: как я создал приложение Memescraper

Highload продолжает публиковать истории о pet-проектах, вошедших в топ-20 лучших по итогам голосования наших читателей. Параллельно эти проекты оценивает жюри из опытных разработчиков и инвесторов. Победителей конкурса мы планируем объявить 10 июля.

Лучшие проекты получат призы от компании Genesis: занявший первое место — Apple iPhone 12 64GB, второе место — наушники Marshall Monitor II ANC Black, третье — набор Arduino.

Дальше — рассказ разработчика Андрея Романюка о его pet-проекте — веб-приложении Memescraper для скрейпинга мемов с Reddit.

Идея

Андрей Романюк — разработчик приложения Memescraper

Веб-приложение автоматически скрейпит свежие мемы с Reddit каждые 30 секунд. Таким образом всегда можно иметь доступ к бесконечному потоку мемов, не прерываемому рекламой.

Все любят мемы. Но в Telegram ради них нужно переключаться между чатами и каналами, в Facebook — организовывать подписки и скроллить ленту. Мне хотелось, чтобы поток мемов был собственный — без рекламы и чьих-либо постов, без лайков и комментариев. Чистый поток мемов.

Реализация и технологии

Все было довольно просто, без графиков и схем. Я реализовал алгоритм на локальной машине, прочитал статьи о том, как это реализовать на Heroku, — и с помощью соответствующих билдпаков запустил процесс.

В проекте использованы:

Django — так как это многофункциональный фреймворк.
Selenium Web Driver — так как это универсальный инструмент веб-скрейпинга на Python.
Advanced Python Scheduler — для задания задачи по скрейпингу (думал о Celery, но в конкретном случае APS целесообразен, не нужны брокеры).
Фронтенд — базовый UI на Bootstrap с выполнением JavaScript для некоторых функций (например, бесконечной прокрутки).

Приложение позволяет настроить ленту мемов без рекламы и комментариев

В какой стадии проект

Проект уже готов. Запущен пока только на хосте Heroku, позже планирую задеплоить на AWS. Пользуются им пока только мои друзья.

Проблема пока одна: если мем был удален из источника, то вместо него виден черный квадрат с соответствующей надписью. Планирую добавить еще один таск, где с помощью Google OCR будут удаляться «мертвые» картинки.

Если мем удаляется, то на его месте возникает черный квадрат с надписью

Монетизация

Монетизация на данный момент не планируется, поскольку главная цель проекта — лента мемов без рекламы.

Как будут оценивать проект

В рамках конкурса pet-проектов разработчики и инвесторы оценят проект Memescraper по таким критериям:

1. Оригинальность идеи.

2. Качество кода.

3. Технический уровень.

4. Жизнеспособность идеи.

5. Перспективы проекта как бизнеса.

6. Инвестиционная привлекательность.

Победителей среди 20 кейсов определят на основе оценок инвесторов (45%), разработчиков (45%) и голосов читателей Highload (10%).

Более подробно, кто и как будет оценивать кейсы, можно прочитать здесь: статья об экспертах, критериях и правилах конкурса.

Проект Memescraper оценивают:

Павел Дмитриев

Senior Fullstack Mobile разработчик в Postindustira.

Оценивает проекты на Python.Начинал карьеру как Python разработчик, участвовал в создании одной из лидирующих на рынке CRM для малого бизнеса. Директор образовательного центра в Postindustria. Основные используемые языки Python, Objective-C и Swift.

Олег Лавренко

Head of Engineering Department Genesis на проекте AmoMedia.

Оценивает backend-проекты на Python. У Олега больше 8 лет опыта в IT: от инжиниринговых позиций до руководителя департамента, где он занимается оптимизацией процессов разработки, строит инженерную культуру, проектирует архитектуру приложений и сервисов AmoMedia.

Елена Мажуга

Старший инвестиционный аналитик Genesis Investments.

Роман Бабицкий

Основатель инвесткомпании Babitskyi Investment, глава совета по вопросам иностранных инвестиций и экономического развития Украины.

Дмитрий Томчук

Основатель инвестиционного фонда Fison.