Сообщений в теме: 121

[AndyN]

т.е. мы берем слои, которые способны понимать концепцию объекта, а так же его геометрических измерений. 

 

И тем самым подбираемся к иерархическому обучению.

[tickosen]

И тем самым подбираемся к иерархическому обучению.

 

чего к нему подбираться, открываете гугль. 

 

всё в зачаточной стадии. 20 лет назад -- не существовало.

 

градиенты -- высокие. 

[AndyN]

что за принципы? человеки не подвержены mode collapse может? или vanishing gradients?

 

(выше шутки со смыслом)

 

А Вы хотите сказать, в человеке back propagation имплементировано?

 

Это неважно на самом деле. Прикол в том, что у человека на мозговых нейронах сидит несколько уровней абстракции, в то время как с нейронной сетью Вы работаете на чистом субстрате. Это как писать программу без операционной системы и компилятора на машинном языке.

чего к нему подбираться, открываете гугль. 

 

всё в зачаточной стадии. 20 лет назад -- не существовало.

 

градиенты -- высокие. 

 

Вы хотите сказать, что на нейронной сети можно построить интеллект? - заявляю: можно. Где подписать?

[tickosen]

А Вы хотите сказать, в человеке back propagation имплементировано?

 

 

в человеке всё гораздо консервативнее. 

 

 

 

Это неважно на самом деле. Прикол в том, что у человека на мозговых нейронах сидит несколько уровней абстракции, в то время как с нейронной сетью Вы работаете на чистом субстрате. Это как писать программу без операционной системы и компилятора на машинном языке.

 

Вопрос в том, насколько нужна операционная система "как дышать и трахаться" системе определения цифр  

 

Про "уровни абстракции нейрона" -- оставляю на Вашей совести  

 

но Ax + b | reLU | Ax + b | batchNormalization | reLU -- вроде работает неплохо

 

"машинный язык" химии вроде как не особо нужен.... очень много гемора....

 

 

Вы хотите сказать, что на нейронной сети можно построить интеллект? - заявляю: можно. Где подписать?

 

Вот тут и тут. 

 

Здесь -- кровью. Извините, порядок такой ( 

[AndyN]

но Ax + b | reLU | Ax + b | batchNormalization | reLU -- вроде работает неплохо

 

Если неплохо, попробуйте заставить ее автоматически изобретать BROP

 

http://www.scs.stanford.edu/brop/

 

 

Вопрос в том, насколько нужна операционная система "как дышать и трахаться" системе определения цифр

 

 

Трахаться - это уже приложение  Теорию Хомского о врожденном языке кто-то отменил, или еще живая? Врожденный язык был бы одним из "уровней абстракции нейрона".

[tickosen]

Если неплохо, попробуйте заставить ее автоматически изобретать BROP

 

http://www.scs.stanford.edu/brop/

 

 

 

Зачем? Почему Вы хотите от умного таракана человеческих решений?  

 

 

 

Трахаться - это уже приложение   Теорию Хомского о врожденном языке кто-то отменил, или еще живая? Врожденный язык был бы одним из "уровней абстракции нейрона".

 

 

 

я бы изначально не сказал, что это была теория  

[AndyN]

Зачем? Почему Вы хотите от умного таракана человеческих решений?

 

Скайнету необходимо для захвата компа с непропатченным досом, с которого производится пуск ядерных ракет. См. терминатор 1.

 

 

я бы изначально не сказал, что это была теория

 

В смысле, принципиально против?

[Чайникк]

Почитал, ни хрена, естественно, не понял. То бишь, эти самые нейросети могут решать новые задачи, опираясь на базу данных, забитых в них, так? При этом, для нахождения совпадений, полных или частичных, они способны использовать не только изначально указанные контрольные точки, но и находить или вычленять новые, так? И по аналогии находить решение, так? При этом способны находить алгоритмы решения, изначально не предусмотренные, так? Но все таки в пределах известных им данных, так?

[tickosen]

 

 

В смысле, принципиально против?

 

В смысле, сказал бы что это концепция

Почитал, ни хрена, естественно, не понял. То бишь, эти самые нейросети могут решать новые задачи, опираясь на базу данных, забитых в них, так? При этом, для нахождения совпадений, полных или частичных, они способны использовать не только изначально указанные контрольные точки, но и находить или вычленять новые, так? И по аналогии находить решение, так? При этом способны находить алгоритмы решения, изначально не предусмотренные, так? Но все таки в пределах известных им данных, так?

Примерно так. Только "базы данных задач" у них, как таковой нет. У них есть "память" о свойствах данных, которые они видели при обучении. Что за свойства они выделяют -- это, вообще говоря, не всегда понятно, это никто не задает. 

 

Потом напишу ещё пример всё-таки про автоэнкодер, он, мне кажется, пояснит.

Сообщение отредактировал tickosen: 16 Ноябрь 2019 - 11:12

[AndyN]

Почитал, ни хрена, естественно, не понял. То бишь, эти самые нейросети могут решать новые задачи, опираясь на базу данных, забитых в них, так? При этом, для нахождения совпадений, полных или частичных, они способны использовать не только изначально указанные контрольные точки, но и находить или вычленять новые, так? И по аналогии находить решение, так? При этом способны находить алгоритмы решения, изначально не предусмотренные, так? Но все таки в пределах известных им данных, так?

 

Нет, ИМХО совсем не так. Базы данных у них нет. А аналогии там нет даже и близко. 

 

Нейронная сеть - это овердофига параметров, которые называются весами. Крутя веса в разные стороны, можно заставлять ее решать ту или иную задачу. Прикол состоит в том, что сеть может сама настроить свои веса, если ей говорить, правильно она решает задачу или неправильно.

 

Причем решать она может любые задачи. От слова совсем. Но вот дойдет ли до нее, что от нее хотят, или не дойдет, и сколько примеров ей для этого придется показать, зависит от ее биаса, то бишь направления, в котором она развивается при обучении.

В качестве примера: Вы показываете сетке 1000 картинок с сиське и 1000 картинок с котегами. И говорите: вот это сиське, а вот это котег. В идеале сетка генерализирует, то бишь на выходе будет отличать любое сиське от любого котега, по одним лишь ей известным признакам.

[tickosen]

Но вот дойдет ли до нее, что от нее хотят, или не дойдет, и сколько примеров ей для этого придется показать, зависит от ее биаса, то бишь направления, в котором она развивается при обучении.

 

Подождите. Всё-таки я хочу уточнить  

 

Развивается она в одну сторону -- в направлении градиента. Она может свалиться в локальный минимум и там остаться, может проскакивать "правильные" ямки... 

 

Это зависит от начальных весов (случайных), от скорости обучения, использованного оптимизатора.

 

adversarial пока не рассматриваем. 

 

Что из этого "биас"? 

В идеале сетка генерализирует, то бишь на выходе будет отличать любое сиське от любого котега, по одним лишь ей известным признакам.

 

Для Чайника: 

 

В случае с этим примером очень велика вероятность, что она привяжется к какой-нибудь хрени типа количества телесных цветов на картинке. Тупо потому, что это самое очевидное, если не иметь концепции котиков.

 

Чтобы этого не происходило -- начальные данные нужно предварительно обработать. 

[AndyN]

Подождите. Всё-таки я хочу уточнить  
 
Развивается она в одну сторону -- в направлении градиента. Она может свалиться в локальный минимум и там остаться, может проскакивать "правильные" ямки... 
 
Это зависит от начальных весов (случайных), от скорости обучения, использованного оптимизатора.
 
adversarial пока не рассматриваем. 
 
Что из этого "биас"? 

Все, что влияет на результат обучения, есть биас.
-топология
-начальные веса
-алгоритм обучения
-параметр скорости обучения
-dropout
-...

Вот какие картинко, сколько их и в каком порядке - это уже не биас.

[tickosen]

Все, что влияет на результат обучения, есть биас.
-топология
-начальные веса
-алгоритм обучения
-параметр скорости обучения
-dropout
-...

Вот какие картинко, сколько их и в каком порядке - это уже не биас.

 

понятно. 

 

если биас -- это направление, в котором развивается, то не совсем понятно, как сравнивать сетки разных топологий (точнее, понятие направления развития для них)

 

Порядок "картинок", кстати, запросто может влиять. Если тупо  показывать 1000 сисек, потом 1000 котиков... Будет нехорошо. даже batch size может влиять, теоретически. 

[AndyN]

понятно. 
 
если биас -- это направление, в котором развивается, то не совсем понятно, как сравнивать сетки разных топологий (точнее, понятие направления развития для них)
 
Порядок "картинок", кстати, запросто может влиять. Если тупо  показывать 1000 сисек, потом 1000 котиков... Будет нехорошо. даже batch size может влиять, теоретически.

Может, но биас - это все-таки свойство системы. На практике же недостатки биаса решаются закидыванием ресурсов. Больше картинко, алгоритмическая генерация картинко, шум в картинко, короче - забивание сети пинками в нужном направлении.

В топодогиях я не спец ни разу, но в качестве примеров:

- CNN учится быстрее fully-connected для картинко.
- Числом параметров можно регулировать сеть между biasing и overfitting
- LSTM лучше для многих аппликаций, где требуется память

[tickosen]

Может, но биас - это все-таки свойство системы. На практике же недостатки биаса решаются закидыванием ресурсов. Больше картинко, алгоритмическая генерация картинко, шум в картинко, короче - забивание сети пинками в нужном направлении.
 

 

В нужном -- это в направлении большего обобщения? (кстати mode collapse у GAN)

 

Тогда да -- шум и регуляризация данных это "пинки". 

 

С топологиями  плюс естественных нейронок -- миллионы лет эволюции.

 

 

В топодогиях я не спец ни разу, но в качестве примеров:

 

- CNN учится быстрее fully-connected для картинко.

 

Конечно, потому что картинка отличается от строчки цифр пространственные отношения играют роль

 

И далее -- тоже всё правильно. 

 

Буду считать, что я понял про bias

[AndyN]

В нужном -- это в направлении большего обобщения?

Необязательно... Обобщения бывает слишком много, к примеру - все машина, что имеет колеса. Значит, тыкаешь ее носом в мотоцикл и говоришь - фу, плохая нейронная сеть, плохая!

[tickosen]

Необязательно... Обобщения бывает слишком много, к примеру - все машина, что имеет колеса. Значит, тыкаешь ее носом в мотоцикл и говоришь - фу, плохая нейронная сеть, плохая!

 

ок, теперь еще больше понял. надеюсь, не слишком обобщил

 

ну, как бы да. распределение учебных примеров должно быть близко к распределению примеров, с которыми зверушке потом работать. 

 

Кстати, предлагаю дальше не забираться в дебри. А то останемся мы тут с Вами (а, скорее, это уже случилось).

Сообщение отредактировал tickosen: 16 Ноябрь 2019 - 17:12

[maksim]

В качестве примера: Вы показываете сетке 1000 картинок с сиське и 1000 картинок с котегами. И говорите: вот это сиське, а вот это котег. В идеале сетка генерализирует, то бишь на выходе будет отличать любое сиське от любого котега, по одним лишь ей известным признакам.

А теперь я не понял. Что значит «по одним лишь ей известным признакам»? Набор признаков задает оператор, разве нет? Нейросеть на этапе обучения комбинирует признаки, вырабатывая лучшую их комбинацию, и потом этой комбинацией орудует, разве нет?

[tickosen]

А теперь я не понял. Что значит «по одним лишь ей известным признакам»? Набор признаков задает оператор, разве нет? Нейросеть на этапе обучения комбинирует признаки, вырабатывая лучшую их комбинацию, и потом этой комбинацией орудует, разве нет?

 

Мне кажется, вся тема крутится вокруг понимания этого. 

 

Нет, оператор не задает признаки.

 

Оператор подбирает данные и режим обучения. Педагогика.

[AndyN]

Вы там того, привыкайте. Скоро эта дрянь будет везде.