Phobos. Эксперимент по созданию ИИ в архитектуре. Часть 2. Сбор данных

       "Проблема в том, что все алгоритмы машинного обучения, которые мы до сих пор видели, нуждаются в учителе, который покажет им правильный ответ. Они не могут научиться отличать опухолевую клетку от здоровой, если кто-то не повесит ярлыки «опухоль» и «здоровая клетка». А люди могут учиться без учителя, и делают это с самого первого дня своей жизни. Мы подошли к вратам Мордора , и долгий путь будет напрасным, если не обойти это препятствие. Но вокруг бастионов и стражников есть тропинка, и награда близка. Следуйте за мной… "
                                                                                                                          Педро Домингос 

       Знаменитый ученый практик в принципе описал всю суть проблемы машинного обучения. За последние десятилетия интерес к машинному обучению вырос в десятки тысяч раз и занимает лидирующую позицию в мире высоких технологий. Именно поэтому для своего нового коммерческого проекта Phobos я решил для начала написать сверточную нейронную сеть которая при помощи процедурного алгоритма научится находить на сайте застройщиков картинки, но не просто картинки , а планировки квартир, таким образом формируя обучающую выборку для ИИ. Не буду описывать все тонкости алгоритма, покажу лишь часть возможностей.


        Далее по тексту описываются не совсем "честные" методы работы, скорее методы получения информацию любыми методами и средствами, ее группировка, сортировка и т. д. Учился я изымать информацию на примере сайта самого крупного застройщика, алгоритм перебором открывал индексируемые поисковиками Yandex и Goolge страницы сайта, для примера :

         Человек за доли секунды определяет планировку квартиры из всего объема информации, но машину нужно научить выполнять это, именно поэтому я написал под этот сайт сверточную нейронную сеть которая работала совместно с процедурным алгоритмом (ботом) парсинга. После того как парсер(бот) выполнил свою черную работу, в дело вступает ИИ, который определяет есть ли на изображении планировка квартиры и где она находится:

              С точки зрения машинного обучения, найти планировку квартиры задача не сложная, но весьма трудоемкая для вашего ПК, поэтому глубокому обучения тренируют нейросети на серверных кластерах.

              Но я не пошел таким сложным путем, я просто парсил все содержимое индексируемых страниц и далее перебирал все картинки, нейросеть сама определяла существует ли планировка квартиры на изображении или нет. Получалось что-то в таком виде:

          В случае если изображение не несет никакой информации об планировке то я получал следующее:

         Но это касается только определенных сайтов, если нейросеть отпустить анализировать весь мировой интернет, то получилась бы не совсем удачная попытка, но у меня цель была составить базу планировок и проанализировать ее из определенных сайтов.

         После того как у меня была база из сотен тысяч картинок планировок, мне необходимо было отсеять повторяющиеся или незначительно отличающиеся. Этот момент я опущу из повествования, так как кроме рекурсивных функций сортировки, они же рекурсивные нейросети, рассказать нечего как и показать, там просто сложная математика.

        По итогу сортировки, оказалось все плохо, среди застройщиков в СНГ база сформировалась из не более чем 1000 не типовых планировок. Если интересно , можете сравнить расположение мебели у различных застройщиков, везде одинаково. 

        Далее по полученным данным уже пытался преобразовать 2D информацию в 3D, например гостиная комната:

     

          Но об этом чуть позже.
          P.S. На момент написания статьи я не знаю в удачный или нет эксперимент я влез ... все очень сложно и не однозначно.