assembAI 프로젝트 설명, 중단한 이유

저는 많은 지피티 상품을 구독하고 있습니다.

 

chatGPT, Grok, Perplexity

이렇게 세 가지를 구독하고 있습니다. Grok과 Perplexity는 연 구독으로 해버려서, 곧 끝나는지라 연장을 할지말지 고민을 하고있는 편이고, 가장 사용량이 많은건 chatGPT입니다.

 

중대한 결정을 내릴 때도 AI모델들에게 질문을 하는 편인데요, 최대한 객관적인 분석을 위해 위 세 개의 AI 모델에다가 Gemini까지 합쳐서 총 4개의 AI모델들에게 공통되는 프롬프트로 질문을 합니다.

 

그 네 개를 직접 읽으면서 정리하기도 하고, 다른 AI에게 종합정리를 맡겨서 하나의 보고서로 읽어보기도 합니다.

 

이 과정을 하나의 웹페이지에서 구현하고싶었습니다.

 

1. 기존 GPT UI와 비슷하게 구성

2. 모델 선택에서 GPT, Gemini, Claude, Grok 등 다양한 AI모델 선택 제안

3. 복수선택 가능, 하나만 선택 가능

4. 복수선택할 경우 한 번의 프롬프트 입력으로 선택한 모든 AI에게 질문하고, 해당 대답을 종합하여 하나의 보고서 제출

5. 복수선택을 하더라도 각각의 응답을 볼 수도 있음

 

이게 기본 서비스입니다.

 

중단한 이유

비용 문제

복수의 모델을 선택할 경우, 그만큼 api 비용이 발생하게 됩니다.

4개의 모델을 선택하고, 거기서 또 좋은 모델을 선택해서 응답을 요청하면, api비용이 꽤나 나오겠죠.

물론 복수선택으로 큰 비용을 요구할수록 대답 요청 횟수를 줄여버리는 경우의 수도 있지만, 그렇게되면 사용자 경험이 딱히 크지 않을겁니다. 구독 비용을 늘려도 마찬가지일거고요.

경제적 해자의 문제

해당 서비스는 각종 AI모델들의 api를 불러오면 만들 수 있는 서비스입니다.

즉, 저만의 서비스라고 하기에는 다른 기업들도 너무 구현하기 쉽다는거죠.

Perplexity와 같은 기업은 이미 한 번의 구독으로 다른 ai 모델들을 사용할 수 있도록 하기때문에, 여기서 그냥 선택가능 폭만 중복으로 늘려주면 됩니다.

 

그냥 연습해보는셈 치고 만들면 안돼? 라고 할 수도 있겠지만, 저는 프론트/백보다는 인프라에 집중하고싶었기 때문에...

그래도 Lambda함수와 api gateway를 원없이 사용했던 것 같습니다.

 

여기서 나름의 문제들과 생각들을 한번 쭉 적어보도록 하겠습니다.