《数据分析思维》

1. 《数据分析思维》

 根据分析目标，使用合适的分析方法和数据工具完成分析并输出洞见
   1.明确分析目标（同时明确数据来源和准确性，明确业务指标的理解）   2.使用数据工具提取、清洗数据   （excel-sql-python）   3.选择分析方法分析数据中的现象，得出结论 （多维度拆解为子问题，对拆解部分使用假设检验法验证，用对比分析等方法确定问题所在，用相关分析来确定问题原因）   4.根据分析结论给出解决方案
                                                                                   （1）what——是什么？目的是什么？做什么工作？   （2）why——为什么要做？可不可以不做？有没有替代方案？   （3）who——谁？由谁来做？   （4）when——何时？什么时间做？什么时机最适宜？   （5）where——何处？在哪里做？   （6）how ——怎么做？如何提高效率？如何实施？方法是什么？   （7）how much——多少？做到什么程度？数量如何？质量水平如何？费用产出如何？
   这个方法很好理解但是在复杂的商业问题面前不起作用，因为复杂问题不会只有一个原因。
   尝试使用逻辑树分析解答费米问题（估算问题）    1.芝加哥有多少钢琴调音师？    如果芝加哥居民300万，平均每户4人，拥有钢琴的家庭占1/3，则全市有250000架钢琴。如果一架钢琴每5年调音一次，则全市每年有50000架钢琴要调音。如果一个调音师一天调4架钢琴，一年工作250天，那么，芝加哥市大约有50个调音师    2.地球的周长是多少？    已知纽约到洛杉矶3000英里，时差3小时，而一天即地球自转一周的时间为24小时，即3小时的8倍。所以，地球的周长就是3000乘以8，等于24000英里。与精确值的24902.45英里相比，误差不到4%。
    对一个行业宏观环境进行分析的方法    
                                           
   1.从指标构成拆解   2.从业务流程拆解   
                                                                                   
    提出假设-搜集证据-得出结论 
   相关关系不等于因果关系
    最近一次消费间隔、消费频率、消费金额    
                                                                                   
   用户增长模型

2. 数据思维。是什么？

什么是数据思维？数据思维是如何形成的？作者给出了自己的理解。

3. 什么是数据思维

数据思维是指把营销过程中的各项因素转化成数据进行研究。数据实际上是营销的科学导向的自然演化。
1.定量思维，即提供更多描述性的信息，其原则是一切皆可测。不仅销售数据、价格这些客观标准可以形成大数据，甚至连顾客情绪（如对色彩、空间的感知等）都可以测得，大数据包含了与消费行为有关的方方面面。

2.相关思维，一切皆可连，消费者行为的不同数据都有内在联系。这可以用来预测消费者的行为偏好。

3.实验思维，一切皆可试，大数据所带来的信息可以帮助制定营销策略。

这就是三个数据运用递进的层次：首先是描述，然后是预测，最后产生攻略。
第一步：进行数据的基本管理，先得有数，这里面第一个要有数据意识，看到一些重要的数据要把它记下来，不管是记在头脑当中还是电脑里面，要有这种意识。同时也要求门店或者下属，或者代理商要实时准确客观地传递数据，对企业来讲如果门店没有实时管理这些数据，谈数据化管理就是白谈。

第二步：是要有养数据的意识，我们常常到数据都会想到数据，但是现在很多零售企业都误解了数据这个词，运用数据并不一定就是大数据。传统领域的数据往往都是小数据，离大数据还有很远的距离。特别是很多零售店铺连最基本的数据都没有，现在相当多的零售店铺采用手工输入存储数据的方式。所以数据思维归根结底先得有数据，再去积累数据，最后把数据运用到业务中去，我们才能谈得上去做分析，去做绩效考核，去做管理。

4. 数据思维是什么

数据思维是指把营销过程中的各项因素转化成数据进行研究。数据实际上是营销的科学导向的自然演化。
数据思维的十大原理

1.数据核心原理：从“流程”核心转变为“数据”核心;
2.数据价值原理：由功能是价值转变为数据是价值;
3.全样本原理：从抽样转变为需要全部数据样本;
4.关注效率原理：由关注精确度转变为关注效率;
5.关注相关性原理：由因果关系转变为关注相关性;
6.预测原理：从不能预测转变为可以预测;

7.信息找人：从不能预测转变为可以预测；

8.机器懂人原理：由人懂机器转变为机器更懂人；

9.电子商务智能：数据改变了电子商务模式，让电子商务更智能。商务智能，在今天大数据时代它获得的重新的定义;

10.定制产品原理：由企业生产产品转变为由客户定制产品。

5. 数据思维：理解数据

“理解数据”是数据思维课的第三大部分，怎么知道数据告诉我们的信息？这部分的内容主要分析理解数据的4个方面，分别是：
  
 1.表征：如何确定你到底是谁?
  
 2.分类：谁是他?谁是我?
  
 3.分解：究竟谁对你影响最大?
  
 4.因果：如何缓解反事实难题?
  
 ==================================================================================
  
 1.表征：如何确定你到底是谁?
  
 理解数据最常见的问题就是：我们怎么从这些数据中得出判断，从而给事物定性呢?用数据的术语来说就是，我们怎么用数据去表征一个事物呢?
  
 用数据来给事物定性，在生活中我们并不陌生。—叶落而知天下秋，—叶落就表征了秋天的开始。开车的时候，后视镜里的汽车越来越大，说明它的速度比你快。跟姥爷打麻将，他一旦用大拇指反复蹭桌子，你就知道他听牌了，因为你非常了解他的习惯，也就是他的行为模式。
  
 但是现实中大量的事物都是不可见的，它的特征隐藏在数据中，我们只能从数据中获得信息来形成判断。这是我们理解数据的重要任务之一。
  
 在使用数据之前，必须完成两件事：第一，识别真正的挑战是什么，明确我们到底想定性什么；第二，不断反思自己对这件事的认知。
  
 根据信息调整表征方向：现实生活中的情况，我们事先不知道我们要表征的方向是什么，只能在寻找的过程中确定。在面对复杂问题时，我们需要随着信息的增加而不断调整表征方向。
  
 在现实中已经有了现成的数据，但这些数据能解决你的问题吗？这个问题分为两层。第一层的问题：怎么确定一个数据到底表征的是什么呢？第二层问题：如果没有现成的变量能表征我们想要的概念，怎么办呢？自己构造。利用现有数据构造新指标来表征你的想法是有风险的事情，但是坚持尝试是很有必要的。只有坚持实践，才能磨练你的技能，提高你的数据思维。
  
 
  
  
 2.分类：谁是他?谁是我?
  
 工作和生活中，分类是我们每天都要做的。看到一朵花，我们需要分辨是玫瑰还是月季；看到沙发上趴着一个宠物，需要分辨它是猫还是狗；店里进来一个顾客，需要分辨他是来逛逛还是要买东西；接手—份重要工作，需要马上分辨它是重要不紧急，还是重要且紧急......
  
 分类的任务很清楚，就是把总体分成几个小组，我们一直在凭直觉或者经验去做。但是，如果我们面对的问题特别复杂呢？比如，怎么按照职场优势给员工分类，然后把他们匹配到最适合的岗位呢？怎么给客户划分类型，然后有针对性的出方案呢？这时候，直觉和经验就都不靠谱了。怎么办？用数据的方法解决。
  
  要保证分类是有效的，首先要做到的第一点就是——按照量的标准来分类 。什么是量的标准呢？就是我们用来区别事物的那个变量和这个变量的一个特别数值。是不是只能把一个量作为标准呢？当然不是。紧急且重要，紧急不重要，不紧急重要，不紧急且不重要，这种分类就用了两个维度，每个维度都有一个区别的量的标准。（可能是某个标准，一维的或者是多维的）
  
 最常见的解决办法就是寻找—组指标，建立一个判别模型。怎么建立判别模型呢？先把样本分成两部分，一部分用来做模型训练，这样我们就会得到一个模型，然后用另一部分样本评价这个模型的预测准确率。等这个模型通过考验之后，就可以执行任务了。
  
 是不是只要按照量的标准划分，就一定保证我们的分类是正确的呢？不一定。 按照量的标准做区分，要保证组内差异小，组间差异大。 
  
 既然分类的依据是量的标准，也是学习到的结果，那么 分类的结果就一定是概率性的 ，而不是确定性的。也就是说，判别模型给出的结果，不管准确率有多高，都仍然有出错的可能。
  
 一切理论最终都要回归现实。知道什么数据对应什么结果，这样就很好划分。如果我们压根不了解事情到底是怎么回事，不知道正确的分类标准，那该怎么分类呢？从数据中找规律。
  
 只有在数据和现实生活中见建立可靠的连接，才能用数据解决现实问题。任何单—维度的数据都不能全面理解这个世界。如果数据不与现实结合，就很可能会犯错。
  
  总结： 
  
     （1）分类就是按照量的标准把一个总体分成几组，必须保证组内差异小，组间差异大。
  
     （2）分类的结果一定是概率性的，有出错的可能。
  
     （3）当没有标准答案，仅仅能通过分析数据来分类时，最重要的就是建立数据与现实世界的连接。只有这样，才能确保我们的发现是合情合理的。
  
 
  
  
 3.分解：究竟谁对你影响最大?
  
 现实生活中，我们面对的问题都特别复杂，常常是各种因素交织在一起。这时候，怎么把各种因素分开，又怎么把理解的难度降低呢？解决这类问题，就要靠分解来完成。
  
 一定要建立分解的意识，不要一见到差异，就想当然地认为都来源于一个单一因素。很多事情，有差异是正常的，平等不等于相等。
  
 没有数据思维的人只看结论，有数据思维的人看产生结论的过程。
  
 如果研究者非常明确地知道要分解成哪些因素，那就给研究者指明了方向，有方向是—件特别幸运的事。很多时候，我们并不知道一个总效应是由什么因素组成的，那是不是就没有办法了呢？当然不是。我们可以用数据挖掘的技术来帮忙。相关的方法很多，这里介绍一种常用的——因子分解方法。
  
 因子分解有一个数学上的优点，就是提取的几个公共因子之间是相互独立的。也就是说，在数学上保证了它们代表的是不—样的东西。这就把相互纠缠的因素分开了，本质就更易于理解了。从信息的角度看，原来大量的复杂冗余的原始信息就被浓缩精简了。公共因子是依照统计标准提取出来的，如何解释是一个主观建构的过程。也就是说，因子解释是事后进行的，这个过程有数据的依据，有技能的应用，更是研究者认知水平的反映。
  
 没有包打天下的技能神器，了解每一种数据技能的优点、缺点、适用条件是非常重要的。
  
 总结：
  
     （1）所谓的分解，就是把影响一个复杂事物的各种复杂纠缠的因素分开。通过分解，可以浓缩信息，探究本质。
  
     （2）要建立分解的意识，不要一见到差异，就想当然地认为都源于一个单一因素。
  
     （3）分解的办法有很多种，因子分解只是其中的一种。每种分解方法都有各自的优点、缺点和适用条件。如果不确定你要解决的问题应该用哪种方法，可以找数据专家咨询。
  
 
  
  
 4.因果：如何缓解反事实难题?
  
 找到事物之间的因果关系是讨论理解数据的另一个重要挑战。确认一件事是另一件事的原因，是我们最常用的思考方式之一。只有知道了原因，我们才能 做预测 ， 做解释 ， 做干预 。这三件事，对人来说都是大事。但是，因果关系是典型的那种你不问我我觉得我知道，但是你一问我我就不知道的问题。确认因果关系，这件事很难。
  
 先讲一个故事：一位女司机给4S店打电话，说︰“我在超市，车发动不了了，你们来解决—下。”店里的工程师问︰“你做什么了?”女士说:“我去买玫瑰花了。但是我买百合花，就没有这个问题。”工程师当然认为这是鬼扯，但是没办法，只好去了现场。你猜怎么着，女士说的一点没错，买百合车子就能发动，买玫瑰就不能。问题来了，现在经过了事实验证，你同意玫瑰花是导致汽车不能发动的原因吗？（工程师在现场发现，这家超市很奇怪，卖百合花的地方和卖玫瑰花的不在一个地方。百合花离停车场近，玫瑰花离停车场远。这样，女士买百合，回来车还是热的，很容易发动﹔买玫瑰，回来车就凉了，导致车辆冷启动困难，于是就发动不了。这才是真正的因果关系，和你买的是百合还是玫瑰没有关系。）
  
 这个案例很好的反映了通过数据去发现和确认因果关系的复杂和艰难之处。特别是当我们进入一个全新的领域，这个领域如何运行，没有人告诉我们。我们能做的，就是猜测、验证和迭代。如果对因果关系的追寻有一个总原则的话，那就是保持谦卑。
  
  因果关系成立的必要条件： 
  
 我们先讨论最简单的情况：如果两个变量之间是因果关系，那它一定具备哪些特征呢？也就是说，因果关系成立的必要条件有哪些呢？
  
  第一，如果两个变量之间是因果关系，那它们之间肯定有相关。 发现事物之间的相关性也是理解数据的一个重要任务，并不附属于因果关系的追寻。
  
 如果把问题反过来，两个变量之间看不到相关，就肯定没有因果关系吗？答案是，不一定。两件事没有相关，可能是真实的，也可能只是表象。确定因果关系，不能只看这两件事情之间，而必须看到世界运作的全景。要是你还没有能力看到全景，那么请再一次保持谦卑，慎重下结论。
  
  第二，两个变量之间有先后。 因果关系，必须原因在前，结果在后。（人类社会层面）
  
  第三，两个变量之间的关系不被第三个变量解释。 
  
 现实世界是普遍联系的，各种事情交织在一起，这时候怎么寻找因果关系呢？ 整体思路 是这样的：先建立所研究问题整体的运行图景，说明各个变量之间的联系。然后去收集数据，让数据逼近这个理论图景。再然后，用数据验证这个理论。如果验证通过，就对理论更相信一点。如果不通过，就改进理论或者收集新的数据，再次验证。如此循环下去。
  
 为什么寻找因果关系难？因为缺少数据。----反事实难题
  
 因为反事实难题的存在，在社会领域推断因果关系时，我们必须牢记以下三个重要的认知：
  
     （1）我们只能对群体做因果推断，不能对个体做因果推断。
  
     （2）我们只能对因果关系做概率表述，不能做确定性的表述。
  
     （3）随机试验不能完全解决问题，推广到总体时要很小心。随机试验仅仅是对一部分人做试验，这部分人能不能代表人类整体，不能想当然。
  
 总结：
  
     （1）两个变量之间因果关系成立的必要条件有三个：一，两个变量有相关：二，两个变量有先后：三，两个变量的关系不能被第三个变量解释。
  
     （2）因果关系的寻找是一项重大挑战，没有保证成功的一般法则。其中，最大的困难就在于反事实难题的存在。
  
     （3）面对现实问题，我们能做的就是猜测、验证和迭代。如果对因果关系的追寻有一个总原则的话，那就是保持谦卑。

6. 数据思维是什么？

7. 数据思维有感

信息随机性和不确定性充斥在决策环境当中，  如何利用数据提高决策的成功概率，已经成为现代人的一个命题。 
  
 虽然，我们已经意识到数据的重要性，试图将决策因素囊括到决策模式当中，但也不能避免做出不明智的决定。篇幅所限，以下将自己体会最深的两种思维模式给以说明，并在最后给出改善思维模式的不成熟建议。
  
  1、线性思维 
  
 人们习惯于将结果归因到决策，然后将决策的好坏等同于结果的好坏。例如，一个人投资成功，会想到是由于个人卓越的分析能力的必然之果；一个人投资失败，旁人会认为是个人糟糕的投资决策造成的。但是，我们是否能够换个角度，坏的结果真的由于单一的决策因素造成的吗？如果思考方式是直线的，那我们会认为这是一个怀决策并且是唯一的原因。可以是实际的决策环境中呢？在我们面临选择时，除了决策能力以外，往往运气、第三方因素、社会环境等因素也会是结果形成的综合因素。所以，归因的过程，应该是多因一果，而不是一因一果。
  
 万维钢在为《对赌》作序中举了一个例子。假设摆在你面前有两个选项：选A，成功率是65%；选B，成功率只有35%。科学的决策是坚决选A。如果你选了A之后却发现结果是B正确，你能说当初不该选A吗？
  
 线性思维的后果在于，习惯性地将大多数的坏结果归咎于坏决策意味着我们错失了对真实世界的审视。把好结果归结于好能力意味着可能会巩固那些不该被巩固的坏决策，失去了改善决策的机会。
  
  2、二元思维 
  
 人们习惯于将所有事情看成“非友即敌”，“非此即彼”，“非好即坏”等等彼此对立的关系。实际上，我们在生活中参与的“决策局”总会面临非常多的不确定因素，通常是在信息不完整的情况下做决策，因此我们其实是无法以对错来区分的，而是以可能与否的概率来决定的。
  
 例如，上班过程中可能堵车，也可能不堵车。这其实是一个常见且简单的选择模式，如果是到更为复杂的商业环境，所牵扯的因素和背后的可能性会变得更得交叉复杂，随之而来衍生更多的问题。但人的大脑恰好非常不善于处理不确定的信息，无法同时间处理大量的信息，慢慢地会将复杂环境抽象简单化成二元经验模式。
  
 二元思维的后果在于，习惯于确定性的选择，太执著于自己眼睛看见的，耳朵听到的，失去用觉知力去判断，回归本心的能力。
  
 面对线性思维和二元思维，要怎样才能破局呢？数据思维是一个不错的心智模式。
  
 在面对选择决策的时候，我们要把决策环境的各项因素尽量全的考虑之内，不确定的因素尽可能地“概率化”，综合各项因素得出决策选择的一个概率。
  
 就我个人而言，在接触到数据思维，便能在生活或工作中灵活应用是不可能的，毕竟这不是一个概念，而是一门脑力的“手艺”，需要刻意练习和转换过往的认知模式。但是，尝试以数据“概率化”视觉去审视世界，逐步避免线性思维和二元思维，却是值得我们去予以重视的。
  
 快思考和慢思考，快思考是我们的直觉，人是感情的物种，感情是利益导向的，在巨大利益前，会驱使我们变得不理智，最后会在决策上轻率All In。慢思考是我们的数据思维，时刻提醒我们脱离内心的不理智，回归理性，用观数据来度量决策质量。

8. 数据思维：感知数据

“感知数据”是数据思维课的第一大部分，主要从一下几个方面进行拆解：
  
     （1）转行：如何培养数据敏感度
  
     （2）背景：为什么孤独的数据没有意义
  
     （3）推理：怎么发现数据隐藏的信息
  
     （4）差异：为什么同样的数据感受不一样
  
     （5）估算：为什么要敢于不精确
  
     （6）映射：数据究竟是什么？
  
 ===================================================================================================================================================
  
 （1）转行：如何培养数据敏感度？
  
         如何通过练习提高自己对数据的敏感度呢？三个方法：
  
                 ① 量转型。思考、谈论和使用一个东西时，有意识地把过去定性的方式转变为定量的方式。
  
                 ② 量定义。如果一个事物的性质是用某一方面的量来定义的，就搞清楚它具体是怎么定义的。
  
                 ③ 对应值。在量定义的基础上，为事物确定一个明确的量的标准。
  
 （2）背景：为什么孤独的数据没有意义？
  
                 ① 背景不同，数据代表的意义就不同。只有确定了数据的背景，才能准确理解数据的意义。
  
                 ② 掌握数据的背景可以帮助我们理解什么信息呢?第一，理解事物的属性；第二，理解事物的相对情况；第三，理解当事人的意图。
  
 （3）推理：怎么发现数据隐藏的信息？
  
             单一的一个数据包含的信息也不是那么少，我们需要把隐含的信息挖掘出来。三个方法：
  
                 ① 数学推断。先利用数学知识做出假设，然后进行推断。
  
                 ② 逻辑推理。从各个领域的规则和限制条件出发，进行合理化推测。
  
                 ③ 切换视角。在不同的视角、关系下观察数据，数据就会发出不同的隐含信息。
  
 （4）差异：为什么同样的数据感受不一样？
  
                 ① 如果从人这一端来看，人的生物性和人与人之间的差异会导致我们在面对同样的数据时，产生不同的感觉、解释和观点。
  
                 ② 人与人的差异主要包含三个方面：生理倾向差异、文化属性差异、价值立场差异。
  
                 ③ 由于人自身的差异而导致对数据感知的差异，既是正常的，也是要警惕的。一定不要把自己的特点当成全人类的特点，大家对数据的感知可能真的不太一样。
  
 （5）估算：为什么要敢于不精确？
  
                 ① 对数据精度的过分迷恋是一件要警惕的事情。根据目标确定需要什么精度的数据，才是好的数据思维。
  
                 ② 估算能让我们在知道很少信息的情况下得出相对靠谱的数据。估算时要做到两点——敢于不精确，但不能太离谱。
  
                 ③ “二八法则”和“1%法则”是两个非常好用的估算技巧。
  
 （6）映射：数据究竟是什么？
  
            对于“数据究竟是什么”这个问题，我们可以从三个方面来理解：
  
                 ① 数据是对现实世界实体的映射，是在某种方法之下对实体的数字化表达。
  
                 ② 数据需要元数据来说明、描写和记录它的关键特征。
  
                 ③ 不要把数据容器和数据本身混淆，也不要以为数据自动蕴含信息。数据中蕴含什么信息，需要有数据思维的人专门处理。
  
 ====================================================================================================================================================