← Work
Lead · Full-Stack2025 — 현재

Evalia

AI 서비스 품질평가 플랫폼

기획 · 풀스택 · 평가단 단장

단순 설문이 아니라, 국제표준과 학계에서 검증된 측정 도구를 '조립'해 비교 가능한 점수를 만드는 설문 엔진을 직접 설계했습니다. 핵심 아이디어는 '무엇을 재는가'는 고정하고 '어떻게 묻는가'만 LLM이 바꾸게 하는 것 — 검증 도구의 신뢰도를 깨뜨리지 않으면서 어떤 서비스에도 적용됩니다.

aieval.site↗

19종

ISO 기반 구성개념

3종

검증 척도 (SUS·UEQ·TLX)

62명

검증 패널 설계

풀어야 했던 문제

  • 평가가 회차·서비스마다 기준이 달라 점수를 비교할 수 없었다
  • 검증된 측정 도구(SUS 등)를 LLM이 다시 쓰면 누적된 신뢰도·해석 기준이 무효가 된다
  • AI·웹·교육 등 서로 다른 서비스를 같은 틀로 평가해야 했다

측정 아키텍처 (4 Layer)

  • L0 구성개념 — ISO/IEC 25010·25059·25019를 불변 사전으로 고정 (19종)
  • L1 고정 척도 — SUS·UEQ·NASA-TLX를 원문 그대로 삽입 (LLM 금지)
  • L2 적응 문항 — 표준 도구가 없는 항목만 LLM이 '문구만' 생성
  • L3 정규화 — IRT·앵커링 비네트로 평가자 편향 보정 후 비교 가능화

직접 만든 것

  • Next.js 16 App Router 모놀리식 풀스택 (Server Actions 기반)
  • Prisma + PostgreSQL ERD 설계 (User·Project·Enrollment·Response·Message·Notification)
  • 역할 기반 접근 제어(USER·DEVELOPER·ADMIN), 설문 블록 조립 엔진, CSV 내보내기
  • Docker Compose + Watchtower 자동 갱신으로 단독 배포·운영

보안

  • Cloudflare WAF·HSTS, 원본 IP 비노출
  • fail2ban 무차별 대입 차단, HttpOnly 세션, bcrypt 해시
  • 업로드 MIME 화이트리스트·경로 순회 차단, 컨테이너 격리(DB 외부 미노출)

결제·보상 시스템 (설계)

  • 기업 → 플랫폼(수수료 15%) → 학생 보상 흐름, 등급 가중(S×1.3/A×1.0/B×0.8)·원천징수 8.8% 대행
  • 토스페이먼츠(가상계좌·지급대행)·팝빌(세금계산서) 연동, Prisma PaymentPool 에스크로 상태기계
  • 외부 확장 시 스마트 컨트랙트 에스크로 + 블록체인 앵커링(Polygon)으로 무결성 보장

Stack

Next.js 16TypeScriptPrismaPostgreSQLOpenAIDockerCloudflare
NextNOTI→