在进行市场调查时，无论是初学者还是资深专家，都无法避免遇到数据中的缺失值和异常值。这些问题不仅会影响最终的分析结果，也可能导致决策者的错误判断，从而影响整个项目的成功率。在这篇文章中，我们将探讨新手如何有效地处理这些问题。
首先，需要明确的是，缺失值和异常值并不等同于错误或不可信的数据。它们是真实存在于任何大规模数据集中的现象，只不过需要适当的方法来处理它们。因此，在开始之前，我们需要了解什么是缺失值和异常值，以及它们为什么会出现。
缺失值
缺失值通常指的是没有被记录或未能获取到的信息。当收集问卷或者进行访谈时，由于各种原因，如填写疏忽、设备故障或者参与者的不愿意提供某些信息等，不少条目可能被遗漏了。这意味着在分析过程中，这些特定的字段上有空白，有时候甚至可以直接看作是一个“X”或者一个数字代表“不知道”。
异常值
异常值则不同，它们与正常分布中的其他观测点形成对比，即那些远离平均数、众数或模式（如果存在）的观测点。例如，如果我们研究顾客购买产品后的满意度，并且发现某个顾客给出了极高或极低分，那么这个分数就可能是一个异常情况，因为它与其他顾客所表达的情绪显得格外突出。
如何识别并分类
要正确地处理这些问题，首先必须能够识别出来。一种简单但有效的手段就是使用统计图表，比如箱线图，可以帮助我们直观地看到分布状况。在箱线图上，一般来说，将50%的数据点落入盒子内部，而顶端及底端分别为25%至75%之间的一小部分，这样的标准可以用来确定哪些样本偏离了主体趋势。
对于缺失项，最常见的做法之一是在所有相关计算之前去除这一行或列，但这样做往往忽略了大量潜在有用的信息。如果我们选择删除带有大量空白项的行，则我们的样本大小将减少，从而降低统计上的效力。此外，如果只删除单一变量带有许多空白项的情况，那么这种选择性去除可能引入偏差，使得剩下的数据更难以解释。
相反，有一种更为精细化的手段，就是使用多次迭代逼近算法（Multiple Imputation）来填补这些空白。但这通常要求较大的资源投入，而且每次迭代都涉及复杂计算，对初学者来说显然不是容易掌握的事情。
处理方式
对于异常价值，大多数情况下都会采取一些规则制定，以自动排除那些显著偏离正常范围内的情况。比如设定一个阈限，当超过这个界限时，就认为该成绩是个例外并从进一步分析中排除出去。但这种方法也有其局限性，因为它依赖预定义阈限，而实际情况很难完全符合预期，因此还需根据具体情境调整阈限设置。
另外，还有一种叫做均匀量化（Equal Frequency Binning）的技术，它通过把连续变量分成几个区间，然后对每个区间重新编号，使得每个区间里包含相同数量的人物，从而消除了原始顺序因素产生的心理效应。这使得后续分析更加公平，同时也提高了可读性，但也增加了一定的误差风险，因为原有的顺序信息丢弃掉了多少?
最后，要注意的是，不要轻易抛弃任何类型的原始数据，即便是看似无关紧要的小部分也不例外；因为即使只是其中一条消息——是否有人说他喜欢你的产品——都能揭示关于客户行为模式的一个重要方面。而且，在你试图解决这个问题的时候，你仍然应该保持警觉，以防止自己过度简化事物，让你的结论变得过于草率。
总之，无论是新手还是经验丰富的人士，在面对市场调查时遇到缺省和异常价值的问题，都应当认真对待，并尽力找到合适的手段来解决它们。不仅如此，他们还应该意识到，每一步操作都需要谨慎考虑，以确保最终结果准确无误，为业务决策提供坚实基础。不过，在此过程中，最重要的是记住，没有完美答案，所以不断学习、尝试新的工具以及思考不同的策略都是必要步骤之一。
