상호작용형 디지털 학습 환경을 위한 텔레메트리 설계
IVR 시뮬레이션, VR 실습, AI 스튜디오, 사이버 레인지처럼 상호작용이 많은 학습 환경은 “나중에 로그를 붙이면 되겠지”라고 생각하는 순간 연구하기 어려워집니다. 이 가이드는 움직임, 클릭, 시선, 힌트 사용, 실패, 센서 데이터를 학습의 직접 증거로 착각하지 않으면서도 분석 가능한 흔적으로 남기는 방법을 다룹니다.
저자: 문제웅, The University of Alabama · jmoon19@ua.edu
로그를 마지막에 붙이면 좋은 학습 환경도 연구 도구가 되기 어렵다.
완성도 높은 IVR 실습이나 시뮬레이션도 최종 점수, 완료 여부, 총 시간만 저장한다면 전략, 실패 후 회복, 힌트 사용, 절차 수정, 공간적 주의, 윤리적 판단을 재구성하기 어렵습니다.
점수와 완료 여부만 남아 과정 증거가 사라진다.
모든 움직임과 클릭은 남지만, 당시 상태와 선택 가능성이 빠진다.
학습 주장, 과제 상황, 관찰 가능한 행동, 이벤트 구조, 해석 한계를 함께 설계한다.
이벤트 테이블보다 먼저 증거 사슬을 설계한다.
가장 좋은 텔레메트리는 데이터베이스 컬럼이 아니라 “무엇을 말할 수 있어야 하는가”에서 시작합니다.
무엇을 말하고 싶은가?
어떤 역량을 추론하는가?
어떤 과제가 증거를 만들 수 있는가?
추측 없이 볼 수 있는 것은?
어떤 상태를 함께 남길까?
어디까지 말할 수 있는가?
같은 행동도 환경 상태가 다르면 전혀 다른 의미가 된다.
좋은 이벤트 한 줄은 학습자가 무엇을 보고, 만지고, 선택하고, 수정할 수 있었는지 복원할 수 있어야 합니다.
| 필드 | 왜 필요한가 | 예시 |
|---|---|---|
| schema_version | 스키마가 바뀌어도 예전 로그를 해석할 수 있다. | interactive-telemetry-v1 |
| environment_version | 콘텐츠/인터페이스 변화와 학습자 차이를 구분한다. | 0.3.2 |
| task_id / state_id | 어떤 장면과 상태에서 행동이 일어났는지 복원한다. | lab-safety / burner_station |
| event_type | 분석 가능한 통제 어휘를 만든다. | hazard_inspected |
| pre_state / post_state | 행동이 무엇을 바꾸었는지 보여준다. | tool_ready → procedure_revised |
| privacy_tier | 보관, 공유, 익스포트 규칙을 결정한다. | low / moderate / sensitive |
버튼이나 화면이 아니라 상호작용 패턴을 기준으로 기록한다.
스테이션 진입, 도구 집기, 위험 확인, 절차 수정, 피드백 열람.
위치 이동, 유물 스캔, 시선 머무름, 공간 주석, 동선 수정.
노드 확인, 추적 실행, 위협 포트 식별, 격리 시도, 사후 노트.
프롬프트 작성, 출력물 비평, AI 사용 공개, 프로토타입 수정.
로거를 만들기 전에 연구 주장을 점검한다.
논문이나 보고서에서 말하고 싶은 문장을 먼저 쓴다.
그 주장을 지지하거나 약하게 만드는 행동이 무엇인지 정한다.
행동 전후의 환경 상태, 선택지, 지원 가능성을 함께 남긴다.
동기, 능력, 주의, 정서, 협업처럼 지금 설계로 말할 수 없는 것은 미리 적어 둔다.
대부분의 텔레메트리 문제는 기록보다 해석에서 생긴다.
| 원자료 신호 | 위험한 주장 | 더 안전한 표현 | 추가로 필요한 증거 |
|---|---|---|---|
| 클릭이 많음 | 더 몰입했다. | 더 많은 대상과 상호작용했다. | 대상 관련성, 상태, 순서, 반복 여부. |
| 시간이 김 | 끈기가 있다. | 과제 안에서 활동 시간이 길었다. | 비활동 시간, 실패, 재시도, 이후 회복. |
| 힌트 사용 | 학습자가 약하다. | 특정 상태 이후 지원을 열었다. | 힌트 가능성, 이전 시도, 힌트 후 행동. |
| 헤드셋 움직임 | 주의 깊게 봤다. | 특정 구간에서 시야가 움직였다. | 시야, 대상 가시성, 거리, 과제 목표. |
IVR 실험실 안전: 몸의 움직임을 어떻게 증거로 바꿀까.
가상 실험실에서 학습자가 버너 주변으로 이동하고, 위험 요소를 확인하고, 도구를 집고, 절차를 수정한다고 해봅시다. 움직임 자체가 이해를 증명하지는 않지만, 상태와 함께 기록하면 안전 절차 수행의 흔적이 됩니다.
| 순간 | 이벤트 | 주요 필드 | 해석 한계 |
|---|---|---|---|
| 스테이션 접근 | zone_entered | 위치, 시야, 위험 요소 가시성 | 볼 기회가 있었다는 뜻이지, 봤다는 뜻은 아니다. |
| 도구 조작 | tool_manipulated | 도구 ID, 자세, 대상, 전후 상태 | 동작 경로이지 숙련도 자체는 아니다. |
| 위험 확인 | hazard_inspected | 위험 ID, 거리, 머무름, 지원 가능성 | 검사 행동이지 완전한 이해는 아니다. |
| 절차 수정 | step_revised | 이전 단계, 새 단계, 피드백, 활동 시간 | 수정 행동이지 절차 지식의 진단은 아니다. |
맞춤 이벤트를 쓰더라도 표준의 사고방식은 가져간다.
xAPI와 Caliper의 actor-action-object-context 구조는 IVR, VR, 시뮬레이션처럼 고유한 이벤트가 필요한 환경에서도 로그를 설명 가능하게 만듭니다.
| 로컬 필드 | 역할 | 예시 |
|---|---|---|
| user_id | Actor | 가명 처리된 학습자 또는 팀 |
| event_name | Action / Verb | hazard_inspected, tool_manipulated |
| target_id | Object / entity | 도구, 위험 요소, 증거, 프롬프트, 노드 |
| task_id | Context | 장면, 스테이션, 레벨, 과제 |
로그만으로 부족할 때만 모달리티를 더한다.
정서, 협업, 몸의 움직임, 공간적 주의가 핵심 구인이라면 시선, 자세, 음성, 화면 녹화 같은 자료가 필요할 수 있습니다. 하지만 민감한 자료를 더 많이 모은다고 해석이 자동으로 강해지는 것은 아닙니다.
작은 테트리스형 과제를 플레이하면서 로그가 쌓이는 모습을 본다.
이 데모는 GitHub Pages에서 바로 돌아가는 순수 HTML/CSS/JS 예시입니다. 이동, 회전, 드롭, 고정, 줄 제거, 실패 상태가 오른쪽 로그에 쌓입니다.
키보드: ← → 이동, ↑ 회전, ↓ 소프트 드롭, Space 하드 드롭.
각 행은 행동, 과제 상태, 조각, 결과, 순서 정보를 함께 남깁니다. 이 로그는 상호작용 행동에 대한 증거이지 공간 능력이나 학습을 직접 측정한 값은 아닙니다.
| # | event_type | action | state | payload |
|---|
Stealth assessment는 왜 텔레메트리를 증거 설계에서 시작해야 하는지 보여준다.
아래 영상은 이 가이드의 평가 설계 논리를 설명하기 때문에 포함했습니다. 상호작용 흔적은 목표 주장, 관찰 가능한 행동, 해석 규칙이 먼저 설계될 때 비로소 쓸 수 있는 증거가 됩니다.
Valerie Shute, “Stealth assessment: embedded evidence-based assessment in games.” 이 영상은 역량을 정의하고, 관찰 가능한 증거를 정하고, 과제 안에 평가 논리를 넣어야 로그가 해석 가능한 증거가 된다는 점을 설명합니다.
VR, 게임, 시뮬레이션에 관한 흥미로운 영상이라도 텔레메트리 설계 자체를 설명하지 않으면 이 페이지의 논리를 흐립니다. 로깅, 증거, 평가, 멀티모달 흔적, 프라이버시, 타당도를 직접 다루는 영상만 넣는 것이 좋습니다.
YouTube 영상을 고르고 임베드하는 기준
| 단계 | 판단 기준 | 임베드 옆에 써야 할 말 |
|---|---|---|
| 1 · 연결 | 영상은 전체 주제가 아니라 페이지 안의 특정 주장과 연결되어야 한다. | “이 영상은 …을 설명하기 때문에 넣었다.” |
| 2 · 확인 | 발표자, 제목, 호스트 페이지, 날짜, 접근 가능성을 확인한다. | iframe 근처에 공식 페이지나 아카이브 링크를 둔다. |
| 3 · 좁히기 | 일부만 관련 있다면 유용한 타임스탬프에서 시작한다. | 그 구간에서 무엇을 보면 되는지 적는다. |
| 4 · 보호 | 가능하면 privacy-enhanced YouTube 도메인을 쓴다. | youtube-nocookie.com을 iframe source에 사용한다. |
| 5 · 한계 | 영상이 다루지 않는 부분도 명시한다. | 스키마, 증거 맵, 트러블슈팅 섹션과 함께 읽도록 둔다. |
이 페이지에서 쓴 임베드 패턴
멀티모달 학습분석 쪽은 Marcelo Worsley의 CIRCL 웨비나 아카이브가 좋은 보조 자료입니다. 확인된 아카이브 페이지가 YouTube 임베드 타깃이 아니어서 여기서는 링크로 둡니다.
상호작용 패턴과 연구 주장을 바꾸면, 기록해야 할 로그도 바뀐다.
출력값은 첫 번째 텔레메트리 설계 리뷰로 쓰세요. IRB, 타당도 검토, 분석 계획을 대체하지 않습니다.
이미 로그가 지저분하다면, 어떤 가정이 깨졌는지부터 찾는다.
| 증상 | 가능한 원인 | 해결 방향 |
|---|---|---|
| 이벤트 순서가 꼬인다 | 클라이언트 시계 차이, 비동기 저장, 오프라인 업로드. | sequence_index로 정렬하고 서버 수신 시간은 따로 보관한다. |
| 같은 행동의 의미가 계속 달라진다 | 환경 상태를 같이 남기지 않았다. | pre_state, post_state, task_id, scene_id, available_actions를 추가한다. |
| 힌트 분석이 이상하다 | 힌트 사용이 이전 실패나 어려움과 섞여 있다. | 힌트 전 시도, 오류 유형, 경과 시간, 힌트 후 회복을 중심으로 다시 만든다. |
| time-on-task가 부풀려진다 | 비활동 시간, 탭 전환, 수업 중단이 섞였다. | focus/blur, pause/resume, 비활동 기준, active window를 기록한다. |
| MMLA 스트림이 맞지 않는다 | 영상/음성/센서 시작 시간이 게임 시간과 다르다. | 동기화 마커와 센서 시작 오프셋을 저장한다. |
| 모델 정확도는 높은데 쓸모가 없다 | 결과 이후 이벤트가 feature에 새어 들어갔다. | 예측 시점 이전에 실제로 존재하는 feature만 사용한다. |
민감한 데이터일수록 더 강한 이유가 필요하다.
자유서술, 미디어, 생체정보, 정밀 신체 흔적이 없는 가명 상호작용 이벤트. 순서, 지원 사용, 완료 분석에는 보통 이것만으로 충분하다.
자유서술 근거, 열린 응답, 민감 정보를 드러낼 수 있는 파생 feature. 익스포트 규칙과 검토가 필요하다.
원본 음성, 영상, 얼굴, 시선, 생체정보, 정확한 위치, 직접 식별 데이터. 연구 주장이 반드시 요구할 때만 수집한다.
바로 써볼 수 있는 공개용 파일
참고문헌
평가와 타당도 기반 자료
- Mislevy, R. J., Almond, R. G., & Lukas, J. F. (2003). A brief introduction to evidence-centered design. https://doi.org/10.1002/j.2333-8504.2003.tb01908.x
- Shute, V. J., & Ventura, M. (2013). Stealth assessment: Measuring and supporting learning in video games. MIT Press. https://doi.org/10.7551/mitpress/9589.001.0001
- Winne, P. H. (2020). Construct and consequential validity for learning analytics based on trace data. https://doi.org/10.1016/j.chb.2020.106457
- Gasevic, D., Greiff, S., & Shaffer, D. W. (2022). Towards strengthening links between learning analytics and assessment: Challenges and potentials of a promising new bond. Computers in Human Behavior, 134, 107304. https://doi.org/10.1016/j.chb.2022.107304
게임, 시뮬레이션, IVR/VR 텔레메트리
- Chung, G. K. W. K. (2015). Guidelines for the design and implementation of game telemetry for serious games analytics. In Serious games analytics. https://doi.org/10.1007/978-3-319-05834-4_3
- Lu, W., Griffin, J., Sadler, T. D., Laffey, J. M., & Goggins, S. P. (2023). Serious game analytics by design: Feature generation and selection using game telemetry and game metrics toward predictive model construction. Journal of Learning Analytics, 10(1), 168-188. https://doi.org/10.18608/jla.2023.7681
- Alonso-Fernandez, C., Calvo-Morata, A., Freire, M., Martinez-Ortiz, I., & Fernandez-Manjon, B. (2022). Game learning analytics: Blending visual and data mining techniques to improve serious games and to better understand player learning. Journal of Learning Analytics, 9(3), 32-49. https://doi.org/10.18608/jla.2022.7633
- Westera, W., Nadolski, R., & Hummel, H. (2014). Serious gaming analytics: What students' log files tell us about gaming and learning. International Journal of Serious Games, 1(2). https://doi.org/10.17083/ijsg.v1i2.9
- Tao, L., Cukurova, M., & Song, Y. (2025). Learning analytics in immersive virtual learning environments. https://doi.org/10.1186/s40561-025-00381-6
- Walkington, C., Nathan, M. J., Huang, W., Hunnicutt, J., & Washington, J. (2024). Multimodal analysis of interaction data from embodied education technologies. https://doi.org/10.1007/s11423-023-10254-9
표준, MMLA, 프라이버시, 영상 자료
- 1EdTech Consortium. (2020). Caliper Analytics specification, version 1.2. https://www.imsglobal.org/spec/caliper/v1p2/
- xAPI.com. (n.d.). xAPI overview. https://xapi.com/overview/
- Serrano-Laguna, A., Martinez-Ortiz, I., Haag, J., Regan, D., Johnson, A., & Fernandez-Manjon, B. (2017). Applying standards to systematize learning analytics in serious games. Computer Standards & Interfaces, 50, 116-123. https://doi.org/10.1016/j.csi.2016.09.014
- Moon, J., Ke, F., Sokolikj, Z., & Dahlstrom-Hakki, I. (2022). Multimodal data fusion to track students' distress during educational gameplay. Journal of Learning Analytics, 9(3), 97-117. https://doi.org/10.18608/jla.2022.7631
- Emerson, A., Cloude, E. B., Azevedo, R., & Lester, J. (2020). Multimodal learning analytics for game-based learning. British Journal of Educational Technology, 51(5), 1505-1526. https://doi.org/10.1111/bjet.12992
- Ochoa, X., & Worsley, M. (2016). Augmenting learning analytics with multimodal sensory data. Journal of Learning Analytics, 3(2), 213-219. https://doi.org/10.18608/jla.2016.32.10
- Cormack, A. N. (2016). A data protection framework for learning analytics. Journal of Learning Analytics, 3(1), 91-106. https://doi.org/10.18608/jla.2016.31.6
- Carter, M., & Egliston, B. (2023). What are the risks of virtual reality data? https://doi.org/10.1177/14614448211012794
- Transforming Assessment. (2011). Valerie Shute: Stealth assessment: embedded evidence-based assessment in games. https://transformingassessment.com/events_7_september_2011.php
- CIRCL Center. (2016). Marcelo Worsley: Making Sense of Multimodal Learning Analytics. https://circlcenter.org/events/making-sense-of-multimodal-learning-analytics/