인공지능은 어떻게 '메모리'를 얻나요?
먼저 '파국적 망각'이 무엇인지부터 설명해보자.
기존 인공지능 기술의 가장 밑바닥은 여러 층의 신경망을 이용해 문제를 정량적으로 분석하는 머신러닝 기술이다. 결국, 가장 합리적인 방식으로 문제를 분해하는 방법을 알고 있었지만, 정확도 외에 네트워크 매개변수 값의 다른 논리적 의미와 최종 결과를 알지 못했던 비교적 신뢰할 수 있는 신경망이 얻어졌습니다. .
그래서 학습해야 할 두 가지 새로운 항목 A와 B가 있다고 가정하고 일련의 신경망을 사용하여 이를 차례로 학습하면 매우 당황스러운 상황이 발생합니다.
p>
인공지능이 A를 학습한 후 B를 학습하게 하면, A 작업을 완료하기 위해 이전에 구축한 신경망은 쓸모 없게 되어 다시 0부터 축적되어야 합니다. 신경망이 문제 B를 해결하는 방법을 학습한 후 문제 A에 대한 해결책을 다뤘습니다. 이는 "망각"에 해당합니다.
무슨 말을 하고 싶었지만 방해를 받아 갑자기 잊어버리는 것이 얼마나 답답한지 아실 겁니다.
비전문가의 관점에서 보면 이 신경망 세트는 A와 B 두 가지를 동시에 학습할 수 있지만 두 가지를 동시에 완료할 수 없기 때문에 본질적으로 신경망은 아닙니다.
이 기능은 인공지능이 일반화 방향으로 나아가는 것을 가로막는 '높은 벽'과도 같다. 바로 일반화할 수 없기 때문에 현재 우리가 보고 있는 인공지능은 오랫동안 '약한 인공지능(한 가지 또는 한 가지 유형의 실무 문제만 풀 수 있음)' 단계에 머물러 있었습니다.
이 문제를 해결하기 위해 DeepMind는 이번에 새로운 알고리즘 시스템 EWC(Elastic Weight Consolidation)를 도입했는데, 그 원리는 복잡하지 않습니다.
두 가지 작업 A와 B, 그리고 이에 상응하는 두 개의 신경망
아직 A와 B라는 두 가지를 학습해야 하지만 EWC 알고리즘에서는 A를 학습한 후 추가 단계가 있습니다. 결과와의 관계 강도에 따라 신경망의 각 뉴런에 해당 시간 보호 설정을 추가합니다. 새로운 B를 다시 학습할 때 A의 가장 중요한 신경망 구조는 그대로 유지되므로 작은 부분이라도 다시 학습할 수 있습니다.
위안싱위안은 "이번 딥마인드 발전의 핵심은 19개 게임이 동일한 신경망을 사용한다는 점"이라고 구체적으로 지적했다. 이 결과만으로도 이번 딥마인드의 실험은 성공한 것으로 평가된다.
이것은 인간의 두뇌가 작동하는 방식과 매우 유사하다고 말씀드리고 싶습니다. 인간의 뇌도 노동을 왼쪽과 오른쪽으로 나누고 대뇌 피질의 다른 위치가 다른 작업을 담당하기 때문입니다. 특정 문제를 다룰 때 뇌의 해당 영역이 자연스럽게 작동합니다. EWC의 출현은 동시에 작동하지 않는 이러한 신경망을 어떻게 별도로 유지해야 하는지를 측정하는 것입니다.
사실 DeepMind 알고리즘의 참조 대상은 인간과 포유류의 뇌입니다. 왜냐하면 둘 다 이전에 습득한 기술과 기억을 통합하는 능력을 갖고 있기 때문입니다. 신경과학 분야의 현재 연구 결과에 따르면 뇌의 지식을 통합하는 두 가지 주요 방법은 시스템 통합과 시냅스 통합입니다.
시스템 통합 과정에서 인간의 두뇌는 빠른 학습 부분에서 얻은 기억을 느린 학습 부분으로 전달합니다. 이 전달 과정에는 의식적 기억과 무의식적 기억이 모두 포함됩니다. 이 전달 과정은 인간이 꿈을 꾸고 있을 때 완료될 수 있습니다. 시냅스 강화에서는 이전 학습에서 기술이 매우 중요했다면 뉴런 간의 연결은 다루지 않습니다.
딥마인드가 이번에 발표한 EWC 알고리즘은 시냅스 통합을 실제로 시뮬레이션한 것이다. 그러나 EWC 알고리즘을 탑재하더라도 현재 인공지능의 메모리 복잡도는 인간에 비해 훨씬 낮다는 점은 의심할 여지가 없다.
노새인가요, 말인가요? 꺼내서 몇 가지 게임을 해보자
이제 알고리즘이 나왔으니 테스트해 보는 게 당연하다.
DeepMind는 친숙한 프로젝트인 19 ATARI 2600(1977년에 출시된 고전 픽셀 게임 콘솔로 가장 고전적인 게임이 다수 포함되어 있음) 게임을 선택했습니다.
이르면 2015년부터 DeepMind는 자체 개발한 신경망 Deep Q를 사용하여 이러한 게임에서 인간의 점수를 능가했습니다.
아직도 익숙한 프로젝트인데, 이번에 DeepMind가 Deep Q를 기반으로 한 EWC 알고리즘을 추가했습니다.
동시에 EWC 알고리즘의 유효성을 검증하기 위해 평가 조건을 추가했습니다. 각 게임은 2천만 번만 학습한 후 다음 게임으로 전환할 수 있습니다. 19개의 게임을 모두 한 번 학습한 후, 첫 번째 게임부터 다시 학습을 시작하세요.
마지막으로 다음과 같은 결과를 얻었습니다.
참고: SGD(파란색)는 EWC를 적용하지 않은 학습 결과, 빨간색은 EWC 알고리즘을 추가한 후, 단일 게임(검은색))은 결과입니다. 하나의 게임을 지속적으로 학습하는 것입니다.
추가 설명이 필요한 점은 이 차트의 가로 좌표가 학습 횟수이고, EWC는 지속적인 학습의 결과가 아니라는 점입니다. EWC는 실제로 두 번의 최고점과 최저점 사이에 18개의 게임을 더 배웠습니다.
결과에 대한 간단한 통계: 19개 게임 중 총 11개의 EWC 점수가 단일 게임의 점수에 도달했거나 이에 근접한(80으로 계산) 것입니다.
반면 EWC와 SGD 점수의 비교에서도 매우 흥미로운 추세를 볼 수 있습니다. 대부분의 게임에서 둘 다 '재학습' 후에 점수가 크게 하락하지만 EWC SGD의 성능 일반적으로 SGD보다 높으며 전체 변동 범위는 점점 작아집니다. 그리고 이것은 EWC가 이 게임을 플레이하는 방법을 기억하고 있다는 것을 증명합니다.
그러나 동시에 다른 흥미로운 결과도 찾을 수 있습니다.
1. 브레이크아웃, 스타거너, 아스테릭스 등의 게임에서는 데이터 축적이 매우 중요합니다. Single 게임의 규칙은 학습량이 어느 정도 쌓인 후에야 찾아지며, 각 게임당 학습 시간이 2,000회에 불과하기 때문에 EWC와 SGD는 (계속 늘려도) 진전이 불가능합니다. 라운드 수는 희망이 매우 희박합니다).
2. 캥거루 게임에서는 다양한 학습 시도가 점수를 높이는 것으로 보입니다. 여러 라운드를 거친 후 EWC는 단일 게임을 초과하는 여러 결과를 달성했습니다(이는 인간이 게임을 하는 데 필요한 상태와 다릅니다). ) , 영감은 다소 비슷합니다).
3. Demon Attack, Defender, Space Invaders 등의 게임에서는 몇 라운드 후에 EWC 성능이 저하되었습니다. 몇 차례 공부를 계속해도 나아지는 게 없었어요. 이는 학습 시간이 부족하기 때문일 수도 있고, EWC 네트워크가 유지해야 하는 신경망 구성요소를 올바르게 선택하지 못한 결과일 수도 있습니다.
이 실험은 EWC가 실제로 작동할 수 있음을 입증했습니다. 그러나 성능은 게임마다 크게 다릅니다. "기억"이 필요한 신경망을 선택하는 방법과 각 학습 횟수를 결정하는 방법은 무엇입니까? 이러한 어려운 조건도 알고리즘을 통해 균형을 이루어야 합니다. 현재 EWC 알고리즘은 불완전하다고 할 수도 있습니다.
Yuan Xingyuan은 또한 실험의 이 부분에 대한 몇 가지 의견을 지적했습니다.
1. DeepMind는 게임 자체의 이유로 ATARI 2600 게임을 테스트 샘플로 선택했습니다. 유형, 게임 플레이 및 결과는 다르지만 입력은 일관되어 신경망의 보편적 특성을 어느 정도 보장합니다.
2. 이 메모리 시스템의 구축은 강력한 인공 지능으로의 길을 직접 열어주지는 않습니다.
3. 현재의 신경과학 축적은 기본적으로 인공지능에 의해 '공허화'되었습니다. 인공지능의 다음 발전은 시행착오를 통해 계속 추진되어야 합니다.
강인공지능의 조기 도래를 위한 길을 닦는 메모리
앞서 언급한 것처럼 '메모리'의 도입은 궁극적으로 인공지능의 궁극적인 목표인 '강인공지능'을 달성하는 것이다. , 이는 또한 가장 이상적인 도로 중 하나입니다.
위안 싱위안(Yuan Xingyuan)은 강력한 인공지능을 향한 두 가지 경로, 즉 언어와 기억에 대한 자신의 현재 이해를 공유했습니다. "알파고와 마찬가지로 알파고도 현재 매우 강력하며 미래에는 분명히 인간을 능가할 것입니다. 하지만 현재로서는 무엇을 할 수 있을까요? 이런 식으로 인간을 이길 수는 있지만 인간은 그 생각을 이해할 수 없기 때문에 알파고가 어떻게 학습할 수 있는지를 적는 것이 가장 좋겠다. 책을 쓰려고? 첫 번째는 알파고의 체스 플레이 경험, 즉 기억을 기록할 수 있어야 한다는 것이고, 두 번째는 이러한 기억을 인간이 이해할 수 있는 코드와 언어로 변환하는 것입니다.
물론 딥마인드가 이번에 시도한 알고리즘은 아직 매우 제한적이어서 완전한 메모리 시스템이라고 볼 수는 없다. 인공지능에게 가장 필요한 메모리는 무엇일까? Yuan Xingyuan은 "기억하는 것이 필요합니다. 핵심은 그것들을 하나씩 책으로 바꿀 수 있는 것, 즉 외부적으로 받아들일 수 있는 결과를 출력할 수 있는 것입니다. 이런 식으로 다양한 인공 지능이 지식을 교환할 수 있습니다. , 그리고 인간도 배울 수 있습니다." ”
시간적 관점에서 볼 때 이러한 책은 실제로 장기 기억으로 정의될 수 있으며 영구적으로 보존되고 업데이트될 수 있다면 가장 좋을 것입니다.
언어의 경우 차이윤 AI의 최신 제품인 '차이윤 샤오이(Caiyun Xiaoyi)'는 인공지능 기반 번역 제품이다. 그는 이전 Xtecher와의 인터뷰에서도 "현재 우리가 하고 있는 일은 사람 간의 언어 번역이다. 앞으로는 실제로 기계와 사람 사이의 소통을 위한 가교 역할도 할 수 있다"고 강조하기도 했다.