본문
며칠 전, 데이터 품질(data quality)을 다룬 글 한 편이 여기저기서 회자됐다 [1][2]. 저자 Abraham Thomas의 주장은 짧지만 날이 서 있다. 데이터에는 내재적 품질이라는 게 없다는 것이다. 우리는 흔히 품질을 데이터에 새겨진 성질처럼 여긴다. 이 데이터는 정확하니까 좋고, 저 데이터는 구멍이 많으니까 나쁘다는 식으로. 그런데 그는 품질이란 데이터에 붙어 있는 무엇이 아니라, "데이터의 가치를 높여 주는 그 무엇"일 뿐이라고 잘라 말한다. 품질은 명패가 아니라 관계라는 이야기다.
그가 그린 품질의 지도는 네 칸짜리 사다리다. 맨 아래에 개별 레코드의 품질(정확성·완전성 같은)이 있고, 그 위에 여러 레코드를 모아 놓고서야 보이는 집합의 품질(커버리지·중복 제거·대표성)이 있다. 다시 그 위에 "이 데이터가 지금 내가 풀려는 문제에 맞는가"를 묻는 목적 적합성(fitness-for-purpose)이 있고, 꼭대기에는 그래서 실제로 매출이나 의사결정을 바꿨는가를 따지는 비즈니스 성과가 놓인다. 이 사다리는 두 방향으로 작동한다. 아래 칸은 아래 칸을 정당화한다. 아무리레코드가 깨끗해도 아무 결정도 바꾸지 못하면 그 청결함은 헛돈 것이고, 반대로 성과를 노린다면서
밑바닥 데이터가 엉망이면 그 성과는 글 내내 되뇌는 문장이 그래서 오래남는다. "The use case is everything." 쓰임새가 전부다.
이 글을 덮고 나서 든 생각은, 데이터는 그 자체로 가치가 없다는 이 명제가 실은 새로운 발견이라기보다 아주 오래된 통찰의 다른 옷이라는 점이었다. 컴퓨터과학은 이미 이 이야기를 여러 방언으로 해 왔다.
가장 먼저 떠오르는 것은 정보이론이다자체가 아니라 불확실성의 감소량으로정의했다 [3]. 어떤 신호가 담은 정보의 양은 신호의 생김새가 아니라, 그것이 놓인 확률 분포 — 그러니까 맥락 — 에 의해 정해진다. 이미 답을 아는 사람에게 정답을 알려 주는 일에는 정보가 담기지 않는다. "내일 해가 동쪽에서 뜬다"는 문장은 문법적으로 멀쩡하지만 정보량이 0에 가깝다. 우리가 이미 확신하는 사실이라 줄여 줄 불확실성이 없기 때 , 진공 속에서 홀로 값을 갖는 법이없다. 언제나 "무엇에 대한 불확실성을 얼마나 줄이는가"라는 물음 위에 얹혀야 비로소 값이 매겨진다.
의사결정이론은 같은 이야기를 한층 더 매정하게 벼린다. 하워드의 정보가치(Value of Information) 이론 [4]은 이렇게 말한다. 어떤 정보의 가치는 오직 그것이 내 결정을 바꿀 때에만 생겨난다고. 우산을 챙길지 말지 이미 마음을 정한 사람에게 일기예보는 아무런 값이 없다. 예보가 그의 행동을 티끌만큼도 흔들지 못하는 한, 그 정보의 가치는 정확히 0이다. 아무리 정밀하고 빈틈없이 수집된 데이터라도 마찬가지다. 그것이 내 다음 행동을 조금도 바꾸지 못한다면, 장부상 아무리 값비싸 보여도 실제 값은 0이다. 이 결론은 Thomas의 사다리 꼭대기 — 채택되었는가, 결정을 바꾸었는가, 측정 가능한 임팩트를 냈는가 — 와 놀랍도록 정확히 포개진다. 좋은 데이터란 결국 결정을 바꾸는 데이터다.
그렇다면 한 걸음 더 나아가 물어볼 만하다. 왜 컴퓨터과학과 디지털은 이 판에서 유독 강한 힘을 갖는가. 내 짐작으로 그 답은 포지티브썸(posit . 정보라는 재화는 물질과 결이다르다. 정보재는 비경합적(non-rival)이어서, 내가 쓴다고 당신 몫이 줄지 않는다 [5]. 사과 하나는 내가 먹으면 사라지지만, 지식 한 조각은 내가 안다고 해서 당신이 못 아는 게 아니다. 게다가 복제의 한계비용은 사실상 0에 수렴한다. 물질을 나누는 경제는 근본적으로 파이를 두고 다투는 제로섬에 가깝지만, 정보는 재사용되고 다른 것 가 불어난다. 이 지점에서 컴퓨터과학이 실제로 하는 일이 또렷해진다. 그것은 데이터의 쓰임새를 디지털 위에서 빠르게 다시 정의하는 일이다. 인덱싱과 쿼리, API와 파이프라인 — 이름은 제각각이지만 하는 역할은 하나로 모인다. 같은 데이터를 새로운 쓰임새에 꽂아 넣을 때 드는 마찰을 끊임없이 낮추는 것. Thomas의 언어로 옮기면, 데이터를 목적 적합성 칸으로 끌어올리는 비용을 깎는 일이다. 그래서 디지털은 정해진 가치를 이 주머니에서 저 주머니로 옮기는 데 그치지 않고, 가치의 총량 자체를 늘린다.
디지털이 마찰을 낮춰 가치를 불린다면, AI는 그 마찰을 한 번 더 극적으로 무너뜨린다. 두 개의 축에서 그렇다.
첫째는 개인화다. 정보가치의 관점에서 보면 똑같은 데이터라도 "누구의, 어떤 결정"에 붙이느냐에 따라 값이 달라진다. 같은 구매 기록이라도 물류 담당자의 결정에 쓰일 때, 그데이터가 줄여 주는 불확실성은 전혀 쓰임새를 기껏해야 몇 개의 집단으로뭉뚱그릴 수밖에 없었다. 반면 AI는 쓰임새를 집단이 아니라 개인 단위까지 잘게 쪼갠다. Thomas가 말한 목적 적합성을, 사람마다 다른 맞춤 형태로 사실상 대량 생산하는 셈이다.
둘째는 비정형 데이터를 다루는 능력이지, 영상 같은 날것의 비정형 데이터를목적에 맞는 형태로 바꾸는 일은 값비싼 노동이었다. 사람이 하나하나 읽고, 라벨을 붙이고, 표의 칸에 맞춰 넣어야 했으니까. 그렇게 손이 많이 가다 보니, 수많은 비정형 데이터가 어딘가에 쌓인 채 "가치 0"으로 방치되곤 했다. 그런데 표현학습(representation learning)과 임베딩 [6]은 이 지형을 바꿔 놓았다. 비정형 데이터를 의미 공간의 벡터로 값싸게 옮겨 주기 때문이다. 사다리의 아래 두 칸, 그러니까 개별 품질과 집합 품질을 다듬는 작업이 대거 자동화되고, 예전 같으면 창고에서 먼지만 쌓여 갔을 데이터가 사다리 위로 성큼 끌어올려진다. 가치의 문턱 아래 잠겨 있던 데이터가 문턱 위로 떠오르는 것이다.
그래서 결론은 이렇게 정리된다. "우리 데이터, 얼마나 좋아?"는 애초에 잘못 놓인 질문이다. 물어야 할 것은 "이 데이터가 대체 어떤 결정을 바꾸는가"이다. 데이터는 명사라기보다 동사에 가깝다. 그것은 서랍 속에 고이 놓여 있을 때가 아니라 누군 순간에만 가치로 응결된다. 그리고 AI시대의 진짜 지렛대는 데이터를 더 많 데이터를 가치로 바꾸는 그 마찰을얼마나 낮추느냐에 있다.
참고자료
[1] On Data Quality (1): The Fundamentals, Abraham Thomas, 2024, https://pivotal.substack.com/p/on-data-quality-1-basics
[2] 데이터 품질의 기본 — 4단계 사다리 (GeekNews), 2026, https://news.hada.io/topic?id=31428
[3] A Mathematical Theory of Communication, Claude E. Shannon, 1948, https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
[4] Information Value Theory, Ronald A. Howard, 1966, https://ieeexplore.ieee.org/document/4082064
[5] Information Rules: A Strategic Guide to the Network Economy, Carl Shapiro & Hal R. Varian, 1998, https://www.hbs.edu/faculty/Pages/item.aspx?num=131
[6] Representation Learning: A Review and New Perspectives, Yoshua Bengio, Aaron Courville & Pascal Vincent, 2013, https://arxiv.org/abs/1206.5538