Юданся I Дан
Отправлено 15 Ноябрь 2019 - 21:36
а что такое смекалка у человеков?
Вот:
http://www.scs.stanford.edu/brop/
Покажите мну сеть, которая придумает что-либо подобное 
Интересно про bias. для меня это b в Ax + b
И это верно. Только через b Вы не перекроете весь спектр возможных биасов. (по крайней мере, мне так кажется).
ГАНы - это про другое. Результат - лучше, да. Но вроде не принципиально. Пока.
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 21:47
Я думаю, Вы сильно недооцениваете "изобретательность" этих тварей и роль доступности вычислительных мощностей 
Во всяком случае, у меня вот такое ощущение. А ещё -- роль "нечеловечености" решений.
И это верно. Только через b Вы не перекроете весь спектр возможных биасов. (по крайней мере, мне так кажется).
Поэтому я и спрашиваю, о чем идет речь.
ГАНы - это про другое. Результат - лучше, да. Но вроде не принципиально. Пока.
Лично я считаю, что в таком виде это вообще тупик.
Но результат лучше, и лучше значительно.
А значит -- стекаются люди, создающие картинки котов, заменяющих лошадей на зебр и обратно и раздевающих одноклассниц на видео. Эти люди ещё и статьи публикуют. Эти статьи читают другие люди.
А людям нравятся котики и сиське. Так что....
Но, простите, области нет пяти лет. Я не энтузиаст, если что, я скептик.
Сообщение отредактировал tickosen: 15 Ноябрь 2019 - 21:49
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 22:01
Поэтому я и спрашиваю, о чем идет речь.
https://en.wikipedia.../Inductive_bias
Образно говоря, если Вы покажете девайсу тысячу картинко, то существует бесконечное количество способов генерализировать эти тысячу картинко на все остальные картинко. Можно сказать "все картинко, где челожопы бегают", а можно сказать "Все картинко, где уровень белого шума превышает Х". Вот в какую сторону девайс будет генерализировать, называется bias.
Я думаю, Вы сильно недооцениваете "изобретательность" этих тварей и роль доступности вычислительных мощностей
Для этого сетям придется разобраться, что такое "стек". Когда разберутся, тогда пожалуйста. Только этот процесс ИМХО иерархический, как у человеческих детей. Ежели Вы построете 30-этажный комп, напиханный гракартами, со в 100 раз больше нейронов чем у челопендера, и тупо накидаете туда публикаций неважно в каком виде, то ждать Вам придется лет овердофига миллионов, прежде чем появится выхлоп.
А значит -- стекаются люди, создающие картинки котов, заменяющих лошадей на зебр и обратно и раздевающих одноклассниц на видео. Эти люди ещё и статьи публикуют. Эти статьи читают другие люди.
А людям нравятся котики и сиське. Так что....
Deep fake. Пугает меня на порядок больше, чем скайнет.
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 22:11
https://en.wikipedia.../Inductive_bias
Образно говоря, если Вы покажете девайсу тысячу картинко, то существует бесконечное количество способов генерализировать эти тысячу картинко на все остальные картинко. Можно сказать "все картинко, где челожопы бегают", а можно сказать "Все картинко, где уровень белого шума превышает Х". Вот в какую сторону девайс будет генерализировать, называется bias.
И что мы имеем для этого? Loss function. Как мы вознаграждаем.
А что мы делаем, когда не можем изобрести адекватный loss? Правильно, ставим ещё одну сетку отличать правду от вымысла.
Для этого сетям придется разобраться, что такое "стек". Когда разберутся, тогда пожалуйста. Только этот процесс ИМХО иерархический, как у человеческих детей. Ежели Вы построете 30-этажный комп, напиханный гракартами, со в 100 раз больше нейронов чем у челопендера, и тупо накидаете туда публикаций неважно в каком виде, то ждать Вам придется лет овердофига миллионов, прежде чем появится выхлоп.
Почему Вы так думаете? Вот это -- действительно интересно
Deep fake. Пугает меня на порядок больше, чем скайнет.
Меня тоже. И очень упорные системы наведения ещё.
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 22:33
И что мы имеем для этого? Loss function. Как мы вознаграждаем.
А что мы делаем, когда не можем изобрести адекватный loss? Правильно, ставим ещё одну сетку отличать правду от вымысла.
Вы заменяете картинко на выхлоп генератора. И это замечательно. Даже гениально. Но принципиальную проблему-то все равно не отменяет. Ента конструкция из генератора-дискриминатора все равно не знает, что Вы от нее хотите. Может, Вы кормите ее котегами, и сиськэ, а хотите уровень вторичного излучения после облучения сиськэ нейтронной радиацией.
С картинко то может это все и взлетает (читайте - по какой-то случайности биас оказался адекватен), но есть ведь проблемы поабстрактнее картинко с сиське.
Почему Вы так думаете?
У меня не хватит говна на лопате, чтобы объяснить. Знание, оно кагбэ сложное. Комплексное. Чтобы бороться с комплексностью, нужно "разделяй и властвуй". То бишь организовывать знание иерархически. Не, можно попытаться закидать проблему баблом. Памятью и вычислительной мощностью. И чтобы оно долго и нудно варилось само в себе, пока внезапно не прозреет. Если таким образом взлетит, то замечательно. И одновременно жизнь станет интересной, ибо контроля у челодрына останется ноль целый ноль десятых. Он просто не поймет, что происходит.
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 22:33
Вы заменяете картинко на выхлоп генератора. И это замечательно. Даже гениально. Но принципиальную проблему-то все равно не отменяет. Ента конструкция из генератора-дискриминатора все равно не знает, что Вы от нее хотите. Может, Вы кормите ее котегами, и сиськэ, а хотите уровень вторичного излучения после облучения сиськэ нейтронной радиацией.
С картинко то может это все и взлетает (читайте - по какой-то случайности биас оказался адекватен), но есть ведь проблемы поабстрактнее картинко с сиське.
а именно про это я и писал уже не знаю сколько раз.
мы создаем всё более сложные схемы, и мы НЕ ПОНИМАЕМ (и не задаемся такой целью) понимать, что происходит в латентных слоях.
в чем разница-то с человеческим творчеством? Количество этажей, набитых видеокартами? или задачи?
AndyN, если что, я не опасаюсь, что мой ноутбук завоюет планету
А вопрос, который я поднимаю: где граница-то?
Мы пока на уровне насекомых. Но мы очень хорошо научились педагогике этих насекомых.
Попробуйте научить таракана распознавать цифры -- поймете, о чем речь У таракана свои задачи.
Сообщение отредактировал tickosen: 15 Ноябрь 2019 - 22:37
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 22:49
в чем разница-то с человеческим творчеством? Количество этажей, набитых видеокартами? или задачи?
У человека, если он не тупой, со временем образуется некий хак, который позволяет решать задачи с меньшим потреблением энергии. Некий мета-скилл. К примеру, математик может быстрее освоить новое направление математики, чем не-математик. Область может и другая, но логику к примеру никто не отменял.
Эта проблема для сетей тоже известна, я даже где-то видел какие-то жалкие унылые публикации на эту тему. Но она не решена. Вы можете попытаться закидать проблему баблом. Но я боюсь, что количество бабла будет расти экспоненциально.
Попробуйте научить таракана распознавать цифры -- поймете, о чем речь
Можно попытаться обучить обезьяну арифметике. Обезьяна продемонстрирует overfitting, то бишь выучит некоторые операции наизусть. Но никогда не научится считать.
Казалось бы - в чем проблема. Там нейронная сеть, и в челопендре тоже. А у дельфинов мозг даже больше и производительней. Но вот никто и никогда не научил обезьяну считать. Даже закидывание баблом не помогло.
А вопрос, который я поднимаю: где граница-то?
Где граница того, что можно экономически целесообразно достичь нейронными сетями, или как?
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 22:52
У человека, если он не тупой, со временем образуется некий хак, который позволяет решать задачи с меньшим потреблением энергии. Некий мета-скилл. К примеру, математик может быстрее освоить новое направление математики, чем не-математик. Область может и другая, но логику к примеру никто не отменял.
Давайте я ещё раз повторю идею: на примере зашумленных несчастных MNIST цифр у пары слоев образуется некий "хак". Который позволяет им работать с новыми цифрами.
Если собрать простейший автоэнкодер -- можно понаблюдать за развитием этого хака.
Эта проблема для сетей тоже известна, я даже где-то видел какие-то жалкие унылые публикации на эту тему. Но она не решена. Вы можете попытаться закидать проблему баблом. Но я боюсь, что количество бабла будет расти экспоненциально.
я не собираюсь закидывать проблему баблом Даже карман не особо собираюсь подставлять под поток бабла (но думаю в этом направлении).
Плюс я не считаю это проблемой. Я считаю это задачей (хотя текущие варианты кажутся мне тупиком).
Историческая справка: 20 лет назад "проблемы" не было.
Поэтому я Вас спрашивал про "миллионы лет"
4 кю
Отправлено 15 Ноябрь 2019 - 22:58
Давайте я ещё раз повторю идею: на примере зашумленных несчастных MNIST цифр у пары слоев образуется некий "хак". Который позволяет им работать с новыми цифрами.
Если собрать простейший автоэнкодер -- можно понаблюдать за развитием этого хака.
я не собираюсь закидывать проблему баблом
Плюс я не считаю это проблемой. Я считаю это задачей (хотя текущие варианты кажутся мне тупиком).
Историческая справка: 20 лет назад "проблемы" не было.
Поэтому я Вас спрашивал про "миллионы лет"
Разница в том, что человек понимает, что перед ним стоит задача, программа ничего не понимает, она просто занимается вычислением в рамках заложенных функций.
"Постройка здания на слизи" пример такого непонимания. Стоит выйти за рамки заданных функций и все эти супе-пупер ИИ становятся беспомощны.
И да, если я правильно понимаю, теория нейросетей появилась в 40-ых годах и мало что изменилось за это время.
В плане написание функций и алгоритмов конечно.
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 23:01
Давайте я ещё раз повторю идею: на примере зашумленных несчастных MNIST цифр у пары слоев образуется некий "хак". Который позволяет им работать с новыми цифрами.
Немножко не про то. Если Вы попытаетесь обучить сеть другому множеству символов, предыдущий опыт сети поможет мало. Немного, правда, поможет: всякие там low-level нейроны, которые распознают элементарные вещи вроде прямых и округлых отрезков, можно будет утилизировать для новой задачи. Но у этого процесса очень быстро появляюся границы.
Настоящий интеллект иерархичен: существует некое мета-обучение, которое оптимирует обучение. А у этого обучения может существовать мета-мета обучение, и так много раз.
4 кю
Отправлено 15 Ноябрь 2019 - 23:01
Можно попытаться обучить обезьяну арифметике. Обезьяна продемонстрирует overfitting, то бишь выучит некоторые операции наизусть. Но никогда не научится считать.
Казалось бы - в чем проблема. Там нейронная сеть, и в челопендре тоже. А у дельфинов мозг даже больше и производительней. Но вот никто и никогда не научил обезьяну считать. Даже закидывание баблом не помогло.
Где граница того, что можно экономически целесообразно достичь нейронными сетями, или как?
Ну почему некоторых обезьян научили считать до сотни)))
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 23:10
У человека, если он не тупой, со временем образуется некий хак, который позволяет решать задачи с меньшим потреблением энергии. Некий мета-скилл. К примеру, математик может быстрее освоить новое направление математики, чем не-математик. Область может и другая, но логику к примеру никто не отменял.
давайте ещё раз. возьмем Pix2Pix по преобразованию аэрофотосъёмки в карту. Попробуем её научить преобразовывать
зашумленную аэрофотосъёмку в красивые картинки.
Потом возьмем её же и сотрём ей мозги. Просто инициализируем параметры.
Сравним время.
Это как пример.
В чем принципиальная разница с человеками?
Можно попытаться обучить обезьяну арифметике. Обезьяна продемонстрирует overfitting, то бишь выучит некоторые операции наизусть. Но никогда не научится считать.
И где пролегает граница-то?
Где граница того, что можно экономически целесообразно достичь нейронными сетями, или как?
У искусственных нейросетей есть важные экономические преимущества:
- у них нет эволюционно заданного поведения
- нейрохирургия -- запросто. Можно брать одни обученные слои и приклеивать к другим -- слова никто не скажет
- обученную нейросеть можно копировать запросто
- обученная нейросеть не бегает за тараканихой, а целиком посвящает себя разбору рукописных цифр
- мы знаем, как наращивать скорость обучения нейросети тупо надстраивая этажи, забитые видеокартами
Разница в том, что человек понимает, что перед ним стоит задача, программа ничего не понимает, она просто занимается вычислением в рамках заложенных функций.
это звучит гордо.
И да, если я правильно понимаю, теория нейросетей появилась в 40-ых годах и мало что изменилось за это время.
По-моему, backpropagation -- это где-то 80е все-таки
Область может и другая, но логику к примеру никто не отменял.
Она работает
Сколько потребовалось лет человечеству на формулировку и выстраивание системы обучения?
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 23:13
И где пролегает граница-то?
А вот ХЗ. Но еще никто не обучил бибизяну абстрактному мышлению. И нейронную сеть тоже.
давайте ещё раз. возьмем Pix2Pix по преобразованию аэрофотосъёмки в карту. Попробуем её научить преобразовывать
зашумленную аэрофотосъёмку в красивые картинки.
Потом возьмем её же и сотрём ей мозги. Просто инициализируем параметры.
Сравним время.
Это как пример.
Это я непонел.
Сколько потребовалось лет человечеству на формулировку и выстраивание системы обучения?
1-4 миллиона?
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 23:14
А вот ХЗ. Но еще никто не обучил бибизяну абстрактному мышлению. И нейронную сеть тоже.
по поводу обезьяны -- тупик. Хотя абстрактно она мыслит, не надо вот тут человекоцентризма.
Но есть задачи у нейросетки обезьяны, и в режиме обучения она (нейросетка) проводит не так уж много времени.
Успешность решения задач подтверждается фактом существования обезьян.
С искусственными нейросетями в ход вступают совсем другие закономерности. Первая из них: дармовое копирование. Т.е. практически даром.
Вторая: возможность экспериментов далеко за пределами любой экологической ниши, которую можно вообразить.
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 23:14
У искусственных нейросетей есть важные экономические преимущества:
- у них нет эволюционно заданного поведения
- нейрохирургия -- запросто. Можно брать одни обученные слои и приклеивать к другим -- слова никто не скажет
- обученную нейросеть можно копировать запросто
- обученная нейросеть не бегает за тараканихой, а целиком посвящает себя разбору рукописных цифр
- мы знаем, как наращивать скорость обучения нейросети тупо надстраивая этажи, забитые видеокартами
Так это у всех скайнетов. Впрочем, за кем будет бегать нейронная сеть, это вопрос нетривиальный.
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 23:18
Так это у всех скайнетов. Впрочем, за кем будет бегать нейронная сеть, это вопрос нетривиальный.
У неё есть режим "выключить обучение" Но это пока
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 23:24
давайте ещё раз. возьмем Pix2Pix по преобразованию аэрофотосъёмки в карту. Попробуем её научить преобразовывать
зашумленную аэрофотосъёмку в красивые картинки.
Потом возьмем её же и сотрём ей мозги. Просто инициализируем параметры.
Сравним время.
Это как пример.
В чем принципиальная разница с человеками?
А, стоп, это я понел. Принципиальная разница в том, что у нейронной сетки быстро появятся границы оного. От челопендра я ожидаю куда большего прироста производительности за счет совсем других принципов.
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 23:28
А, стоп, это я понел. Принципиальная разница в том, что у нейронной сетки быстро появятся границы оного. От челопендра я ожидаю куда большего прироста производительности за счет совсем других принципов.
о. вот тут становится интересно.
Каких принципов?
1-4 миллиона?
ну, разумная оценка. При этом большая часть мозга занята обеспечением повседневных нужд. Ну и заодно тиражированием определенных полимеров.
А, стоп, это я понел. Принципиальная разница в том, что у нейронной сетки быстро появятся границы оного. От челопендра я ожидаю куда большего прироста производительности за счет совсем других принципов.
что за принципы? человеки не подвержены mode collapse может? или vanishing gradients?
(выше шутки со смыслом)
Юданся I Дан
Отправлено 15 Ноябрь 2019 - 23:33
о. вот тут становится интересно.
Каких принципов?
Ну допустим Вы хотите систему, которая определяет танк, замаскированный под растительность. Вам выделяют для этого папуаса из Новой Гвинеи. Если Вы ему объясните, что танк имеет объем, а пушка - длину, Вы поднимете его производительность на порядок. И когда задача поменяется с танка на БТР, то и время его обучения будет гораздо меньше.
По моему личному мнению (оценочное суждение)
Отправлено 15 Ноябрь 2019 - 23:35
Ну допустим Вы хотите систему, которая определяет танк, замаскированный под растительность. Вам выделяют для этого папуаса из Новой Гвинеи. Если Вы ему объясните, что танк имеет объем, а пушка - длину, Вы поднимете его производительность на порядок. И когда задача поменяется с танка на БТР, то и время его обучения будет гораздо меньше.
т.е. мы берем слои, которые способны понимать концепцию объекта, а так же его геометрических измерений.
(кстати насчет объяснений могут быть нюансы не только с папуасами).
разница с папуасами: запас папуасов, скорость копирования, доступность нейрохирургии
Кроме того, надоить конкретную условно-правильную сеть (а для указанной задачи подойдет что угодно сверточное) выйдет быстрее, чем папуаса. потому что у папуаса, как и у обезьяны, и у вашего покорного слуги -- есть и другие задачи.
А у сетки -- нет.
Сообщение отредактировал tickosen: 15 Ноябрь 2019 - 23:39
0 пользователей, 0 гостей, 0 анонимных
Тема закрыта
