생성형 AI를 업무에 도입할 때 겪게 되는 “생산성 J 곡선” 현상, 즉 초기 생산성 하락 후 점진적으로 향상되는 현상을 극복하기 위한 체계적 실험 접근법이 필요하다. 전기나 인쇄기처럼 생성형 AI 역시 기업 입장에서는 즉각적인 가치 실현이 어렵다. 2025년 McKinsey 조사(The state of AI)에 따르면 80% 이상의 기업이 생성형 AI를 도입했음에도 아직 수익에 큰 영향을 주고 있지 못한 이유 중 하나 일 것이다.

저자들은 이러한 문제를 해결하기 위해 단일 의사결정이 아닌 조직적 실험의 포트폴리오 접근을 주장한다. 다시 말해 AI를 도입한다 만다를 결정하기 보다는 A/B 테스트처럼 시작할 필요가 있다. 생성형 AI를 확장하기 전에 테스트하여 어떻게 작동하는지, 누구를 위해, 어떤 조건에서 작동하는지 체크해야 한다. GitHub와 Google의 개발자 실험(21-55% 생산성 향상), Fortune 500 기업의 고객지원 실험(전체 14%, 신입 34% 생산성 향상), P&G의 제품개발 해커톤, Siemens의 작업장 보조도구 실험 등을 예로 들 수 있겠다.

성공적인 실험을 위해서는 다음과 같은 요소들이 필요한데, 첫번째는 고객 니즈에 대한 깊은 이해이다. 전략적 차별화 요소와 사소한 불편함을 구분하여, 영향력이 큰 실험에 집중해야 한다. 두번째는 실제로 사용 가능한 프로토타입을 개발하는 것이다. 사람들이 실제로 사용하고 테스트할 수 있는 초기 프로토타입을 조기에 확보해야 한다. 세번째는 빠른 반복과 고객 참여를 강조하는 학습 마인드 셋이다. 네번째는 가설 설정과 통계적 분석을 포함한 실험적 전문성인데, 예를 들어 아마존이 학계의 전문가와 협력한 것을 예로 들 수 있다. 마지막은 다양한 이해 관계자들과의 파트너십 역량이다.

My  Insight

• 다른 모든 변화처럼 생성형 AI도 생산성 J 곡선을 따른다. 제조업에서 전기 도입이 40년이 걸렸다. 생성형 AI도 마찬가지다. “기술이 작동하는가?”가 문제가 아니라 “누구에게, 어떤 조건에서, 어떻게 작동하는가?”라 핵심이다.
• 조직의 실험은 리스크를 줄이는 것을 넘어 불확실성을 경쟁 우위로 전환하는 메커니즘이다. 실험을 통해 학습하는 기업은 앞서 나갈 수 밖에 없다.
• 생성형 AI가 인간을 대체하는 것이 아니라 보완하는 것이라는 관점이 중요하다. Simens 사례에서 작업장 보조 도구는 유지보수 기술자의 역량을 확장하고, 프로세스 엔지니어가 더 높은 가치에 집중할 수 있었다.
• 학계-산업 협력의 필요성이 있다. 전문적인 실험 설계가 필요할 수도 있다.
• 고객 요구에 대한 깊은 이해가 필요하다. “있으면 좋은”과 “반드시 필요한” 솔루션을 구분하는 것이 중요하다.

마지막 부분의 말이 재미있다.

“While you’re debating gen AI strategy, your competitors may be systematically learning what works.”

A systematic Approach to Experimenting with Gen AI에 대한 내용입니다.

https://hbr.org/2026/01/a-systematic-approach-to-experimenting-with-gen-ai