Проект "Сохранение старых радикаловских фото на сайте"
Продолжаю составлять подборку планов на 2014 г.
С 2014 г. все фотографии в статьях загружаются сразу на наш сайт. Но более старые фотографии до сих пор хранятся на сервисе Radikal.ru. А он каждый год теряет около 5% фотографий.
Сейчас занимаюсь скачиванием 40 тысяч радикаловских фотографий для надежного хранения на сайте. После этого сможем заняться чистовым оформлением старых статей.
Чистка фотографий от надписей
Из 40 тысяч радикаловских фотографий примерно 25 тысяч фотографий имеют надписи самого разного вида:
- дата и время, впечатанные фотоаппаратом
- надписи, добавленные через Radikal
- авторские пометки с названием сорта
- ...
Также в кадре часто встречаются лишние предметы, которые не имеют никакого отношения к фиалке:
- надписи на горшках
- яркие ценники
Надписи на фотографиях фиалок - это зло. Во время обработки старых статей мы сможем удалить все впечатанные надписи с фотографий, а всю текстовую информацию разместить в абзацах над фотографиями.
Момент удаления надписей
Лучше не взваливать на авторов и добровольцев чистку фотографий во время будущего оформления старых статей. Они должны приступить к обработке старых статей, лишь когда все старые радикаловские фотографии на сайте будут почищены от надписей и сохранены на сайте. Только тогда обработка старой статьи сведется к быстрой косметической правке оформления текста статьи.
Причины, по которым оформители старых статей не смогут заниматься чисткой фотографий:- многие авторы и добровольцы-оформители не умеют удалять лишние надписи и детали
- загрузка добровольцем фотографии с сайта, обработка ее в редакторе и обратная загрузка на сайт вызовет удвоение количества фотографий на сайте
- для скоростного удаления надписей нужны специальные программы, которые мало у кого из фиалочниц установлены на компьютере
- проще организовать силами нескольких обученных добровольцев массовое удаление надписей 25 тысяч фотографий, лежащих в одной папке, чем обрабатывать их по 5-10 штук по мере появления в той в очередной старой статье. Сварить суп сразу на 25 человек проще, чем 25 раз приготовить суп одному человеку.
Лучшее время для массовой чистки фотографий от надписей это момент после скачивания с Radikal.ru наших фотографий и перед сохранением их на Fialki.ru.
Нужен доброволец-организатор, кто возьмется организовать массовое удаления надписей.
Организация
Через 1-2 недели я скачаю с Radikal 40 тысяч наших фотографий (около 2 Гб), надпишу их и вышлю их организатору. Все фотографии будут с уникальными именами файлов. 60% из них содержат впечатанные надписи, остальные фото чистые.
Этап 1. Сортировка фотографий.
Нужно просмотреть 40 тысяч фотографий фиалок и разделить их в 2 папки. В одну положить фотографии с надписями, в другую фотографии без надписей.
Проще всего сделать эту работу силами нескольких добровольцев с помощью бесплатного просмотровщика графики FastStone Image Viewer. В нем можно настроить режим удаления фотографии без лишних вопросов.
Организатор высылает каждому добровольцу его партию фотографий для обработки.
Перед сортировкой фотографий на 2 типа доброволец чистит корзину. Дальше он смотрит полученные фотографии друг за другом на весь экран в родном размере. Если на фотографии не обнаружены надписи, то нажимается пробел. А если есть надпись или какой-то лишний предмет для чистки, то нажимается клавиша Delete и фото отправляется в корзину.
После окончания сортировки своей доли фотографий папка с оставшимися чистыми фотографиями переименовывается в "Чистые фото". На рабочем столе нужно будет щелкнуть на значке корзины правой кнопкой мышки и выбрать вариант для восстановления корзины. Все фотографии с надписями будут восстановлены на чистом месте, где раньше была их папка. Восстановленная папка переименовывается в "Фото с надписями".
Проверка правильности сортировки и обработки:
- все фотографии в обоих папках должны иметь характерные имена файлов
- количество фотографий в двух новых папках должно совпадать с количеством полученных фотографий
- при слиянии этих двух папок в третью папку не должно обнаружится дубликатов.
Этап 2. Чистка от надписей.
Организатору нужно будет распределить найденные фотографии с надписями между добровольцами. У них должна быть поставлена специальная программа для удаления надписей. (Организатору нужно подобрать подходящую программу и сделать краткую инструкцию для добровольцев по установке и использованию).
Доброволец открывает очередное фото в этой программе и обводит контур каждой ненужной надписи или детали и нажимает кнопку "Очистить". За 5-10 секунд программа автоматически удалит надпись:
Квалификации никакой не требуется, при наличии специальной программы с чисткой справится даже ребенок. Некоторые программы для удаления надписей позволяют за один раз открывать много фотографий и после обработки без лишних вопросов сохраняет результат в тот же файл. Это ускоряет массовую чистку фотографий от надписей.
После окончания обработки организатор высылает мне 2 папки. В одной лежат фотографии, которые изначально были без надписей. В другой - обработанные фотографии с почищенными надписями.
Затраты времени - 100 часов
Около 32 часов на первый этап. Считаем: 2-3 секунды на сортировку фотографий x 40 тысяч фото = 120 тысяч секунд.
Около 64 часов на второй этап. Считаем, около 10 секунд на удаление надписей на одной фотографии на 25 тысяч фотографий = 250 тысяч секунд.
Всего массовую очистку наших старых фотографий можно организовать примерно за 100 часов. Работа интересная, я бы даже сказал, творческая. Во время сортировки наслаждаешься фотографиями фиалок, а во время чистки ощущаешь себя художником, который освобождает фиалочку от окружающих ее надписей.
С работой желательно управится за 2-4 недели, чтобы сильно не затягивать начало оформления старых статей.
Организатор
Сам я не смогу заниматься организацией и, тем более, сортировкой и чисткой старых фотографий. Все что может сделать наше сообщество само, оно делает само. А если не делает, значит это не нужно сообществу. За мной же остается техническая часть работы, которую сообщество выполнить не в состоянии.
Если у кого-то есть желание взяться и организовать работу добровольцев по чистке старых фотографий нашего сайта, то отзовитесь в комментариях. Я всегда готов помочь техническим советом, как лучше организовать процесс сортировки и чистки от надписей.
Возможно, организатор не найдется. В этом тоже ничего страшного нет - тогда загружу на сайт оригинальные фотографии с надписями, как они сейчас хранятся на Radikal.
- Войдите или зарегистрируйтесь, чтобы отправлять комментарии
- 5520 просмотров
Комментарии
Денис, очень интересную программу Вы показали и ее возможности. Но у меня есть другое предложение:
1. Наконец-то начать делать вики-страницы по сортам. Мы очень долго шли к этому моменту. И Вы и все мы проделали колоссальную по объему работу - мы отбирали фотографии, Вы перенесли их с Радикала на сайт.
2. Если сейчас заняться чисткой уже существующих фотографий, то это опять займет много времени и опять будет откладываться составление реестра сортов.
3. Думаю, что стоит начать составление вики-страниц, а "чистить" уже существующие фотографии по ходу их составления. В последнее время, уже после того как стали сразу сохранять фотографии на сайте, было представлено много сортов с фотографиями хорошего качества, вот с них можно и начать.
С удовольствием попробую предлагаемую Вами программу для подчистки своих фотографий (я пишу на фотографиях названия сортов для себя, чтобы не перепутать, особенно это касается новых сортов, которые у меня появляются и их зрительно еще не всегда помню...)
С Вашего одобрения, если оно будет, хочу попробовать сделать вики-страницу по одному из миниатюрных сортов в понедельник. Сразу "очистить" то огромное количество фотографий, которые есть на сайте, мне кажется нереальным... Да, что-то пока не вижу желающих возглавить эту работу. А так постепенно, как будет составляться вики-страница, можно будет добавлять те фотографии, которые были опубликованы ранее.
К сожалению, на сегодня сделана лишь половина работы по отказу от Радикал - все новые фотографии с 2014 г. сохраняются теперь прямо на сайте. Это решает проблему и теперь можно создавать новые статьи.
Но мы все еще не можем работать со старыми статьями. Фотографии в старых статьях до 2013 г. включительно пока все еще показываются с сервиса Радикал. У меня уйдет еще 1-2 недели, чтобы:
Работы много. С оставшейся работой надеюсь управиться за пару недель.
Зато когда сделаю все, как задумывалось, то все старые фотографии, ранее загруженные на Радикал, будут хранится на сайте точно в том же формате, что и новые фотографии, загруженные с помощью зеленой кнопки. Единый формат хранения старых и новых фотографий в 2 раза уменьшает количество труда по созданию любой программы, обрабатывающей фотографии нашего сайта (например, программы автоматических советов Совы под фотографиями).
Однако на текущий момент все наши старые фотографии хранятся на Радикал, который "теряет" каждый год примерно по 5% фотографий. Прежде чем делать любую другую работу по сайту, я хотел бы сначала решить до конца вопрос с загрузкой старых радикаловских фотографий на хранение на нашем сайте.
Если в ближайшую неделю не найдется желающих организовать этот процесс и достаточного количества добровольцев, то и вопрос очистки старых фотографий отпадет сам собой.
Но если желающие найдутся, то очистка старых фотографий от надписей никак не задерживает запуск реестра. Очистка будет идти без моего участия, я буду в это время заниматься другими проектами, которые необходимо сделать перед началом запуска реестра. И таких проектов, которые лучше делать перед запуском реестра, в планах 6 штук. На каждый уйдет от 2 до 4 недель.
Я за февраль распишу все ожидаемые проекты в отдельных статьях, чтобы сообщество имело представление о том, что нас ждет в 2014 г. и в каком порядке это будет идти. Тогда можно будет обсудить, в каком порядке проекты стоит делать и стоит ли делать вообще.
Понимаю, что всем хочется побыстрее увидеть первые статьи реестра фиалок. Но чистить фотографии по ходу составления не удастся:
Сообщество в 2012 г. проделало большую работу, вытащив из сайта информацию по 2400 сортам и 8000 фотографий сортов. Эту информацию мы с успехом используем в:
При создании реестра есть множество резонов начать наполнять реестр уже имеющейся информацией по 2400 сортам и имеющимся 8000 фотографий сортов. Лишь бы они были сохранены не на Radikal, а уже на сайте. С такой информацией можно сгенерировать 2400 статей реестра с лучшими фотографиями и размещением в их комментариях всех 8000 фотографий. Публикация одной статьи о сорте с лучшими фото сорта и комментария к ней с полным списком сортов займет у добровольца буквально пару минут. Единственное, что будет нас удерживать от публикации по 100 реестровых сортов в день это желание дать сообществу возможность тщательно проверить информацию по каждой новой статье о сорте и добавить свои фотографии этого сорта, какие найдутся. Будем публиковать примерно по 5-10 новых реестровых статей в день с выводом на главную страницу сайта. За год управимся с публикацией накопленной информации и дальше сможем публиковать статьи о новых сортах, которых нет в списке 2400 сортов.
Но прежде чем писать программу для генерации заготовок готовых 2400 статей реестра нужно обеспечить всем 8000 старым фотографиям хранение на сайте и ссылки на их постоянное место хранение на сайте.
Если же не использовать накопленную информацию о 2400 сортах и 8000 старых фотографий сортов, то создание реестра пойдет полностью в ручном работе. Добровольцы будут повторно для каждой статьи вручную делать ту же самую работу по поиску информации и фотографий сорта, которая нашим сообществом уже была проделана на потоке в 2012 г.
Я высоко ценю энтузиазм наших добровольцев в создании сайта. Но моя работа как раз состоит в том, чтобы организовать техническую сторону работ и нашими силами справится с обработкой очень большого количества статей и фотографий. Когда закончу в феврале публикацию планов на 2014 г. возможно сообществу будет понятнее, что тщательная предварительная подготовка к публикации статей реестра позволит нам в хорошем темпе сделать качественный реестр сортов.
Цитата от Железного Канцлера о Fialki.ru
Отто фон Бисмарк был великим немецким политиком и дипломатом. Он слезами, потом и кровью завершил объединение Германии в 1871 г. и стал 1-м рейхканцлером Германской империи, за что остался в веках под почетным прозвищем "Железный канцлер":
Перед этим Бисмарк долгое время служил в Санкт-Петербурге послом Пруссии и знание Российской империи было у него отнюдь не книжное.
Есть у Бисмарка такое часто цитируемое изречение: "Русские долго запрягают, но быстро едут". Это как раз про наш Fialki.ru. Мы тщательно подготовимся к запуску реестра. После этого сможем заполнять главную страницу десятками реестровых статей в день с высоким качеством текста и фотографий.
Пока лучше этого не делать.
Из 6-ти проектов, которые нужно выполнить между проектом сохранения фотографий Radikal на нашем сайте и публикацией реестра, без 2-х проектов реестр вообще нет смысл запускать.
К примеру:
Если же начать добавлять статьи в реестр прямо сейчас, то после запуска нового поиска по реестру он не будет "видеть" уже добавленных статей в реестре, которые оформлялись без учета требований программы нового поиска по реестру. А каковы эти требования - пока неизвестно. Только после запуска программы нового поиска и его обкатки станут понятны все его возможности и все его требования.
Вариант же "начинать добавлять статьи сейчас, потом переделать под поиск по реестру" увеличит количество работы по созданию реестра раза в полтора.
Предложение
Возвращаюсь к своему предложению дождаться публикации всех планов на 2014 г. и тогда сможем обсудить, что и в каком порядке нам лучше делать.
Готова помочь с очисткой фотографий, если таковая начнётся.
Готова быть среди добровольцев-чистильщиков.
Денис, могу взяться за организацию чистки фотографий, но не уверена, что обойдусь без Вашей помощи.
Моя непосредственная помощь Вам, скорее всего, не будет нужна. Вопросом подбора подходящей программы для чистки и обучению ее использования будет заниматься организатор, если таковой найдется.
Сам по себе процесс чистки крайне простой. Есть много программ, с помощью которых можно делать массовую чистку фотографий.
Photo Stamp Remover
К примеру, программа Photo Stamp Remover позволяет сразу открыть много фотографий. Затем на каждой фотографии выделяются детали для удаления со снимка - надписи, дата-время, ценники-этикетки,... Выделение делается одним из способов:
На выделение надписи у добровольца уйдет 3-5 секунд. Когда надпись выделена, остается нажать кнопку "Удалить". Программа секунд за 5 автоматически:
После этого можно щелкать на следующей открытой картинки и за 10 секунд удалить надпись с нее тоже. И т.д.
На видео-ролике показан весь процесс:
Массовая автоматическая очистка
В программе Photo Stamp Remover есть еще возможность автоматической очистки.
Если во время сортировки отложить в отдельную папку фотографии с надписями, впечатанными через Radikal, то можно будет указать программе, что для таких фотографий нужно удалять надпись в нижнем левом углу определенных размеров. После этого нажать кнопочку "Массовое удаление" и продолжать заниматься на компьютере своими делами, уйти на работу, уехать за город отдыхать,... (В настройках Windows нужно поставить запрет на "засыпание" после 2 часов паузы в работе). За сутки работы программа автоматически удалит все радикаловские надписи с 10 тысяч фотографий, расположенных в указанной ей папке.
Как видите, все очень просто и рассчитано именно на массовую очистку тысяч фотографий от ненужных надписей.
Установка программы
Программа Photo Stamp Remover ходовая, в Интернет много дополнительной информации об Photo Stamp Remover.
Разработчики программы тоже не отстают. Сделали страницу на русском языке с подробным описанием возможностей программы и примерами использования. Также они предлагают 30 дней бесплатного использования с ограничением, что после удаления надписи очищенный файл нельзя будет сохранить. Но нам важно лишь бы очистить надпись, а сохранить очищенную надпись с экрана можно банальным нажатием на клавишу PrtScn на клавиатуре, чтобы она оказалась в буфере обмена, откуда ее легко вставить в любой графический редактор. Есть также много бесплатных программам, с помощью которых можно быстро выделить прямоугольник на экране и сохранить его в виде файла в формате jpg. Правда, время на обработку одной фотографии увеличится в 1,5-2 раза.
И самый "белый" вариант, это предложить нашему сообществу скинуться и купить программу Photo Stamp Remover в нужном количестве. Она стоит 600 рублей за каждый экземпляр. 2-3 купленных экземпляров программы наверное будет достаточно, чтобы силами наших добровольцев провести удаление всех надписей. Если кто-то из обработчиков устал, можно будет передавать купленный экземпляр следующему обработчику. По лицензии нельзя устанавливать купленную программу на несколько компьютеров, но можно время от времени переставлять ее с одного компьютера на другой, предварительно удалив ее с предыдущего компьютера.
По окончании обработки старых фотографий купленные экземпляры остаются на хранение у Аллы. В будущем добровольцы смогут воспользоваться ими, чтобы удалять надписи на свежих фотографиях, которые будем добавлять в статьи реестра. В статье реестре о сортовой фиалке на фотографиях будут явно "резать" глаза размашистые авторские надписи, ярко-желтые штампы с датами,...
Возможно также, что кто-то из наших обработчиков фотографий решит сам купить себе собственный экземпляр Photo Stamp Remover, чтобы оставить его на своем компьютере после окончания чистки старых фотографий. Программа нужна каждому продавцу фиалок, торгующих черенками. Ведь к каждому черенку нужно приложить фотографию сорта, которую в большинстве случаев надо чистить:
Альтернативы
Photo Stamp Remover - не единственная программа для массового удаления фотографий. Ожидается, что организатор проработает вопрос и с другими программами, чтобы выбрать самый оптимальный для нас вариант. Вполне возможно, что он окажется бесплатным в использовании.
Например, можно списаться с разработчиками любой программы удаления надписей и попросить скидку на покупку нескольких экземпляров программы. Наш сайт некоммерческий, фиалки это самое мирное дело, разработчики могут пойти навстречу и продать несколько экземпляров по цене одного или подарить вовсе бесплатно.
Причем не обязательно просить разработчиков о благотворительности. К примеру, разработчики Photo Stamp Remover из России. Можно договорится с ними о бартере. От них несколько экземпляров программы с ограниченным временем использования, 2 месяца. А с нашей стороны:
Варианты есть. Но нужен организатор с минимальным знанием графических программам и компьютеров, который будет заниматься проработкой всех этих вопросов. Косил взглядом на Лиру, но она пока согласна лишь чистить фотографии.
Денис, я так поняла, что Лена Новикова берется возглавить работу по очистке фотографий. Мне тоже интересно попробовать чистить фотографии.
Спасибо, Татьяна, что уточнили.
В своем в ответе Елене я забыл написать, что чем больше организаторов, тем лучше. У них основная работа такая:
После этого обменяться на форуме информацией и решить, какая программа для очистки фотографий подойдет нам лучше всего.
Важность выбора программы очистки
Удачный выбор программы очистки содержит в себе половину успеха очистки наших старых фотографий. К примеру, если чистить фотографии влоб через Photoshop, то там работы по очистке фотографий будет в 10 раз больше и далеко не каждая фиалочница сможет с нею совладать.
Примерные требования к программе
Программы по очистке тоже очень разные по качеству и пригодности для наших целей. Нам нужна программа, которая рассчитана на поточную обработку фотографий. Весьма желательно, чтобы в ней можно было открыть сразу несколько десятков фотографий и чтобы она после очистки с минимальными трудами сохраняла результат в тот же файл. Скорость тоже важна. Если одна программа очистки тратит 7 секунд на фото, а другая - 10, то с первой программой мы сделаем очистку не за 1,5 месяца, допустим, а за месяц.
Еще важно, сколько стоит программа и как она 30 дней работает в бесплатном режиме. Приведенная выше программа очищает по полной программе, но в бесплатном режиме не дает сохранять на диск. А какие-то программы очистки могут давать в первые бесплатные 30 дней сохранять на диск, но не дают обработать фотографию больше 640 пикселей. Вот тут-то, как говориться, у нас с этой программой "карта и пошла" ©.
Качество очистки тоже не последнее дело. Одни программы затыкают дыру, автоматически штампуя в ней соседние к надписи участки, при внимательном взгляде это штампование заметно.
Метод стягивания
А есть программы, которые используют другую технику латания белых дыр под надписями. Они "стягивают" соседние участки на освобожденное от надписи место. Точно также, как это делают во время штопки дыры в носке. В результате стягивания фактура соседних областей снимка полностью сохраняется, но лишь выглядит немного растянуто. Конечно, надпись поверх глаза такой программой не удалишь, сразу будет заметно, что круглый глаз изменит свои пропорции. А вот надпись на листьях фиалок и на бутоне, за счет техники стягивания, удаляется очень качественно.
Появившиеся за счет стягивания некоторые искажения пропорций на бутоне и, тем более, листьях, обычным взглядом не видны. У фиалки и так само по себе:
Зато качественное сохранение фактуры в методе стягивания будет нам на пользу. По слухам программа Wire Pilot (похоже, отечественных разработчиков) как раз работает методом стягивания.
Поиск самой лучшей программы
Организаторам нужно будет поискать по русскоязычным форумам вопросы, кто и чем удаляет надписи. И поработать с основными программами.
К сожалению, сам не смогу помочь в поисках программы очистки, поскольку мне лучше сосредоточится вопросами сохранения старых радикаловских фотографий на моем компьютере - эту работу за меня никто не сделает.
Однако не теряю надежды, что кроме Лены еще кто-нибудь откликнется в организаторы. Нам найденной программой придется не только очистку старых фотографий заниматься, но и всю оставшуюся жизнь пользоваться. Во время подготовки фотографий для реестровой статьи каждую фотографию весьма желательно хорошо почистить:
С хорошей программой очистки уже через минуту любая фиалка станет выглядеть как невеста на регистрации в ЗАГСе.