AI를 잘 쓰는 건 기술이 아닙니다

by 그릿 | GROWTH_ESSAY | 2026-03-31

요즘 이런 질문을 많이 받습니다.

"프롬프트 엔지니어링 어떻게 하세요?"
"AI 잘 쓰려면 뭘 배워야 하나요?"
"생산성 높이려면 어떤 기법을 써야 하나요?"

좋은 질문입니다. AI를 잘 활용하고 싶다는 의지가 보입니다.

그런데 이 질문들에는 전제가 숨어 있습니다. AI를 잘 쓰는 건 기술의 문제라는 전제. 뭔가 비법이 있고, 그걸 배우면 된다는 전제.

저는 조금 다르게 생각합니다.

프롬프트 엔지니어링은 이미 지나간 말입니다

2023년에 ChatGPT가 나왔을 때, "프롬프트 엔지니어링"이 유행했습니다. 프롬프트를 어떻게 쓰느냐에 따라 결과가 크게 달라졌으니까요. 마법의 문장을 찾는 게 의미가 있었습니다.

지금은 다릅니다.

모델이 좋아졌습니다. 자연어를 훨씬 잘 이해합니다. 문장을 예쁘게 다듬는 게 예전만큼 중요하지 않습니다.

WSJ에서는 2025년 기준으로 프롬프트 엔지니어라는 직군이 사실상 사라졌다고 보도했습니다. Microsoft 조사에서도 기업들이 향후 채용할 역할 중 프롬프트 엔지니어는 거의 꼴찌였습니다. OpenAI 출신의 Andrej Karpathy도 "프롬프트 엔지니어링보다 컨텍스트 엔지니어링이라는 용어를 선호한다"고 했습니다.

용어가 바뀐 건 본질이 바뀌었기 때문입니다.

프롬프트가 아니라 맥락입니다

Karpathy의 비유가 좋습니다.

LLM을 CPU라고 하면, 컨텍스트 윈도우는 RAM입니다. 우리가 해야 할 건 그 RAM에 지금 이 작업을 해결하는 데 필요한 정보를 정확히 올려놓는 것입니다.

프롬프트를 어떻게 예쁘게 쓰느냐가 아닙니다. 어떤 맥락을 얼마나 적절하게 제공하느냐가 핵심입니다.

"막연하게 질문하면 일반적인 답변이 온다."

많은 분들이 이렇게 느낍니다. 맞습니다. 그런데 해결책이 "프롬프트를 잘 쓰는 기법을 배우자"가 아닙니다.

내가 지금 뭘 모르는지를 먼저 파악하고, 그 맥락을 AI에게 충분히 전달하는 것. 이게 해결책입니다.

결국 메타인지의 문제입니다

AI를 잘 활용하는 건 "어떻게 질문하느냐"의 기술적 문제가 아닙니다.

"내가 뭘 모르는지 아느냐"의 메타인지 문제입니다.

내가 뭘 모르는지 알면, 질문이 구체적이 됩니다. 질문이 구체적이면, 답변도 구체적이 됩니다. 프롬프트 기법을 몰라도 좋은 결과가 나옵니다.

내가 뭘 모르는지 모르면, 질문이 막연합니다. 질문이 막연하면, 답변도 막연합니다. 프롬프트 기법을 아무리 적용해도 한계가 있습니다.

결국 돌고 돌아 본질로 갑니다. AI를 잘 쓰는 사람은, 자기가 뭘 모르는지 아는 사람입니다.

모르는 걸 모를 때는 어떻게 할까요

역설적인 상황이 있습니다. 내가 뭘 모르는지조차 모를 때.

그럴 때 오히려 AI와 먼저 대화를 시작하는 게 방법입니다.

완벽한 질문을 준비해서 한 방에 답을 받으려는 게 아닙니다. "나 지금 이런 상황인데, 뭘 먼저 파악해야 할까?" 이렇게 던지는 겁니다. AI를 답변 기계가 아니라 사고 파트너로 쓰는 거죠.

예를 들어 새로운 기술을 도입해야 하는데 어디서부터 손 대야 할지 감이 안 올 때. 프롬프트를 정교하게 다듬는 데 시간을 쓰는 게 아니라, 이렇게 물어봅니다.

"우리 시스템은 이런 구조인데, X를 도입하려면 내가 먼저 이해해야 할 개념이 뭐야?"

AI가 내가 미처 생각 못 한 고려사항들을 꺼내줍니다. 거기서 "아, 이 부분을 모르고 있었구나"를 발견합니다. 그 발견이 다음 질문의 구체성으로 이어지고, 결과물의 퀄리티가 자연스럽게 올라갑니다.

한 번에 완벽한 프롬프트로 완벽한 답변을 받으려고 애쓰지 않아도 됩니다. 여러 번 대화하면서 점차 더 좋은 결과물을 만들어가면 됩니다.

시간이 오버헤드처럼 느껴질 때

AI와 대화하면서 프롬프트를 다듬고, 맥락을 정리하는 시간. 이게 오버헤드처럼 느껴질 수 있습니다.

하지만 이 시간은 낭비가 아닙니다.

직접 코드를 작성하는 물리적인 시간을 줄이는 대신, 더 나은 설계와 관점을 고민하는 시간에 투자하는 겁니다. 트레이드오프입니다.

AI를 쓰면서 절약되는 건 코드 타이핑 시간입니다. 그 시간이 더 좋은 설계를 고민하는 데로 이동하는 겁니다. 그게 더 나은 개발입니다.

그리고 이렇게 AI를 활용하다 보면, 거시적인 관점에서 내 개발 패턴 중 반복되는 부분이 보이기 시작합니다. 그때 그 반복을 자동화하거나, 다른 사람들의 효율적인 패턴을 벤치마킹해서 적용하면 됩니다. 그게 진짜 생산성을 높이는 방법입니다.

정리하면

AI를 잘 쓰는 건 기술의 문제가 아닙니다.

프롬프트 엔지니어링은 이미 지나간 말입니다. 지금 중요한 건 어떤 맥락을 제공하느냐입니다.

그리고 그 맥락을 제공하려면, 내가 뭘 모르는지 알아야 합니다. 결국 메타인지의 문제입니다.

모르는 걸 모를 때는, AI와 대화하면서 발견하면 됩니다. 완벽한 질문을 준비하려고 애쓰지 마세요. 사고 파트너로 쓰세요.

AI를 잘 쓰는 사람은, 프롬프트를 잘 쓰는 사람이 아닙니다.

자기가 뭘 모르는지 아는 사람입니다.