LLM 인공지능이란게 아직 인간의 수준이 아닙니다18
- 아세요모르세요
- 등록일 2024-03-30 21:36
- 조회수 981
|
||
파워링크 
등록안내
|
 0
 0
1명이 할일을 사람없어도 되게 해주진 않지만 100명이 할일을 20명만 있어도 할수있게 해줌
2024-03-30
|
|
|
0
0
 [* 비회원 *]
ㅋㅋㅋㅋ
2024-03-30
|
|
0
0
스웰링
코딩은 잘 헬프
2024-03-30
|
|
|
0
0
바람의정원
"단어와 단어 문장과 문장 사이에 점수메기는 방식...."
그쵸 말로만 보면.. 엄청난 알고리즘은 아닌 것처럼 보이죠..
근데, 문제는 그 "사이"에 들어가는
알고리즘들이 중요하고 어려운거죠. ㅎㅎ
2024-03-30
|
|
0
0
아세요모르세요
이미 알고리즘이 있던거였고, OPENAI가 수천명의 사람들에게 몇개월간 점수를 수동으로 입력해 만든거예요
오픈소스 LLM의 경우에는 수천명한테 시킬수 없고 알고리즘으로 따라가다보니 어려운 겁니다
2024-03-30
|
|
|
0
0
바람의정원
음...
일단 초기 GPT모델은 1억만개 정도의 파라미터를 가지고 있어던게 지금 GPT-4는 수십조개의 파라미터를 가지고 있습니다. 즉 제가 얘기하는 "사이"의 알고리즘이라는게 바로... 증가된 모델이 학습할 수 있는 데이터의 양과 복잡성을 처리하는 알고리즘처럼 굉장히 어렵고 복잡하다라는 겁니다;;
근데.. 그 차이를 사람이 수동으로 메꾼다고요? ㅡㅡ;;; (별것도 아닌 알고리즘 다른 열강들은 왜 못 따라 잡을까요?)
2024-03-30
|
|
|
0
0
구국국구
이 글을 인공지능을 이용해 작성했습니다라고 나올줄 알았네요
2024-03-30
|
|
0
1
타노
전반적으로 알고계시는 사실이 많이 다릅니다.
현재의 LLM은 점수를 매기는 스코어링 방식이 아닙니다. 어탠션 매커니즘을 이용하여 주어진 단어(프롬프트)에서 통계적으로 나올 단어를 예측하는 형태 입니다. 따라서, ROOM도 이해하고 어떤 맥락에서 해당 단어가 나왔는지 그 맥락도 고려해서 단어를 예측해줍니다.
LLM은 이미 상용화가 진행중인 상태라고 보시면 되고, 오히려 동영상 제작이 컴퓨팅 파워 때문에 상용화가 어렵습니다.
2024-03-30
|
|
|
0
0
아세요모르세요
파워 문제 말고 퀄리티의 문제죠, 창작의 영역은 이상한게 나오면 다시 하는거지만 대화라는건 이상하면 더이상 이용을 하기가 어렵잖아요
매개변수를 첨에 만들때 수천명에서 몇개월간 스코어링한걸 기반으로 chatgpt를 만들었다고 알려져 있습니다 지금 오픈소스로 나오는 것들은 학습 표준 데이타들이 정착되어 있는거구요
2024-03-30
|
|
|
0
0
타노
네, 모델 학습에는 스코어링이 쓰이지 않고, 이후 모델 튜닝을 위한 학습에가 RLHF가 사용되는 건 맞습니다. SORA만 하더라도 A100 500대를 그리드로 엮어서 사용하고 있다고 들었는데, 1분 미만의 동영상 제작에 그정도 GPU를 쓰는데, 개인용 서비스로 내기는 힘들겁니다. 그래서 각 영화 제작사와 컨텍하고 있는 것 일테구요. 어쨌든 SFX 비용보다는 저렴하게 먹힐 테니까요 게다가, 기대수익에 비해서 리스크가 지나치게 큽니다. 당장 국가기관에서 범죄 동영상을 걸러낼 시스템이 마련되어 있지 않은 상황에서 성급하게 상용화 하기는 더더욱 어려울 겁니다.
반면에 LLM의 경우에는 단순히 대화를 주고받는 것을 뛰어넘어서 인지 기능만 잘라서 현재 상황을 파악하고, 사전에 정해진 시나리오에 맞춰서 미리 TASK를 실행하는 형태로 실제로 현업에서 이미 쓰이고 있습니다.
2024-03-30
|
|
|
0
0
아세요모르세요
@타노 그쵸 그래서 대부분 llm은 btob 잖아요~~ ㅋㅋ
2024-03-30
|
|
|
0
0
바람의정원
@타노
현재 개인용으로도 사용할 수 있는 가능성은 Langchain과 같은 프레임부터 모델링의 크기를 줄일 수 있는 양자화까지 이미 충분히 열려있다고 생각합니다.
생각보다 더 빠르게 발전하고 있는 것으로 보입니다. 그리고 얼마전 뉴스에서도 Azure나 AWS에서도 몇 백조 단위로 투자한다고 하니 더 급격히 발전되지 않을까 싶습니다.
2024-03-30
|
|
|
0
0
아세요모르세요
@바람의정원 매개변수 계속 늘리면서 뭘 한다는게 너무 비생산적인건 맞습니다, 지금도 엄청난 파워를 이용하는데 엉뚱한 소리를 해대잖아요 btoc요
2024-03-30
|
|
|
0
0
타노
@바람의정원 네, LLM은 이미 개인용으로 사용되고 있고, SLLM 등으로 로컬 모델 등 사용범위도 확대될 거라고 생각합니다. 얼마 전에 스태빌리티에서 설치형 5B llm 출시했던데 그 사이즈 치고 생각보다 괜찮은 퍼포먼스를 보여주더군요. 제한적인 용도에 사용되면 좋을 것 같다고 생각했습니다.
2024-03-31
|
|
0
0
CalmDownMan
ChatGPT는 단어 토큰도 토큰인데 subword도 같이 뽑아서 쓰고 있다는거 같던데요?
OOV 처리도 문제 없는거 봐선 쓰고 있는거 맞는거 같은데..
2024-03-30
|
|
|
0
0
아세요모르세요
아직도 매개변수 전쟁중이잖아요
2024-03-30
|
|
|
|
 |
|
| △ 이전글▽ 다음글 | -목록보기 |
|
