AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

在全球化市场中,用户的声音往往是产品和服务优化的重要指引。对于以家居设计和 3D 渲染技术为核心的 Coohom 来说,海外客户的反馈更是理解多元化需求、提升用户体验的关键。然而,面对来自不同文化、语言背景的海量评论,如何高效地进行调研和分析,成为了 Coohom 面临的重要挑战。

幸运的是,像 ChatGPT 这样的人工智能工具,凭借其强大的自然语言处理能力,能够帮助团队快速定性解析评论内容,提炼出核心洞察,为产品优化和市场拓展提供数据支持和战略参考。这项技术不仅提升了调研效率,更为 Coohom 的全球化发展注入了创新动力。

更多用研干货:

一、如何获取海外用户评论 - SaaS 平台评论的获取

国外主流的 SaaS 平台软件测评主要有四个:G2, Capterra, Trustpilot, Software Advice。在这些基础上,还有一些社交媒体中的评论可以浏览,如 Facebook,Youtube 评论,Reddit,Instagram 等。

然而,就信息量而言,社交媒体上的信息有的时候只是随意抒发的言论,存在信息量少,信息嘈杂的特点。因此,如果想要系统的爬取分析,最好从上述提到的四个专业网站上进行获取。

这几个网站,通常会要求用户对对应软件进行评分,对软件撰写长评,并且对软件的优缺点进行分析。因此,查找这些网站的数据时,不但可以获取评论,还可以收集多名用户对于软件的评分,获取多维度的分析。

在本次对于 Coohom 海外用户评论的调研中,笔者对 Trustpilot 和 Software Advice 两个网站的评论内容进行了爬取和分析,运用了 Octparse 这款非代码用户友好的软件。之所以选择这两个网站,是因为 G2 与 Capterra 有反爬虫机制,运用 Octparse 无法从上面提取内容。因此,只爬取了上述两个网站。

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

*Trustpolite - Coohom 评分和评论。 

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

*Software Advice - Coohom 评分,评论,和优缺点分析 

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

*Octparse - 网站评论爬取界面 

Octparse 爬取输出的内容,为包含用户信息,评论时间点,评论网址,评论内容等的 excel 表格。爬取时,由于代码的重复获取的因素,会有大量的 depulicated 评论。对于这部分评论的处理方式有两种:

  1. Octparse 有自动去重复评论的机制,因此可以要求其自动去除。
  2. 但在自动去除时,有些评论可能会识别错误或者读取不灵,所以请务必浏览一下。可以将 Octparse 提取出来的评论部分单独复制进一个新的 excel 表格中,灵活运用 excel 的内置功能查找重复项,然后进行处理。

与此同时,还有一点需要注意,由于海外文化对于隐私保护及其敏感,因此,最好将原文件的评论部分单独复制出来进一个新的 excel 文件,再进行分析。与此同时,源文件的其他内容,最好销毁,至少也是进行加密处理,以防隐私泄露。在处理数据时,尤其是海外数据,保护隐私这一习惯应当作为肌肉记忆来进行培养。

第一部分操作的产物,应当为一个或者几个 excel 表格 - 每个表格包含且只包含了对应网站上爬取的评论内容。

二、评论的初步分析 - 利用 ChatGPT 进行主题获取

在第一步评论获取和去重完成之后,笔者获得了 387 条有效评论。但该评论只是评论源文本,还未进行主题分类。这个时候第一步,是需要运用 ChatGPT 对原文本进行主题的粗提取。

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

*GPT 现有的模型 

图示为 GPT 现有的 3 个模型:4o,o1 和 o1-mini。就这次分析的经验来说,4o 宛若一个智障,不但要多次返工还会瞎编,所以在不建议作为主力分析模型使用。o1 和 o1-mini 的文字归纳和推理能力尚可,因此可以在进行评论主题分类的时候使用。

这两者中,o1 和 o1-mini 推理能力有所差别 - 就如名字所指示的那样,o1-mini 在长文本推理和归纳方面是 o1 的阉割版,并且文本处理条数也受限,因此,如果需要处理长评或者复杂文本,o1 是首选,其次 o1-mini。除非在实在没有办法的情况下,不要用 4o,如果不得已要用,请务必校准其输出结果。

但是考虑到大模型的资源受限(笔者的 GPT 账号是个人会员版),其中 o1 以及 o1-mini 都是有限次数使用,因此,需要将 4o,o1-mini 和 o1 搭配着使用,其中 o1 在核心推理步骤才使用,其余时间都是使用 4o 和 o1-mini。至于什么是核心推理步骤,下面会详细说明。当然,如果后续人使用的是富裕的 pro 版,那就无脑 o1,因为推理性能最好。

源数据到手,就是 387 条乱序评论。这时候需要进行主题的初步框定。笔者尝试过将 387 条评论一次性输入进 GPT(o1 模型)中进行分析,但是得到的结果是:文本量过大,无法处理。因此,只能采取分批次处理策略,一次性输入 20-30 条,然后对这些评论进行主题分析,归纳出对应主题;然后再次输入下 20-30 条,填充进现有主题,或者增添新主题,直到所有评论按批次处理完毕。

在前期主题提取的过程中使用的模式是 o1 - 因为需要从无到有的创造主题,因此对于模型的推理能力要求更高;但是,当笔者发现主题饱和出现之后,果断将模型切换为 o1-mini - 因为这种情况下对于文字推理的能力要求出现降低,只需要在现有的主题框架下填充评论即可。

但是,由于 o1-mini 本身的推理能力限制,在该模型进行推理完输出评论后,务必人工校准一下,因为 mini 偶尔会出现主题归纳不规范的情况。这时候,需要手动校准 - 错误概率不是很多,可能每 40-50 条评论,或者模棱两可的评论会出现这样的情况。

在主题提取的过程中,笔者从领导那里获取了一个框架:需要区分正/负面评论。那在该大框架下,笔者又手动调校了一个二级框架,设定为:

正面评论(P) 

主题一

主题二

主题...

负面评论(N) 

主题一

主题二

主题...

在完成这一步之后,接下来是训练人工智能。首先,就像笔者刚才所说的那样,非关键步骤不要使用 o1,因此,在这步,先使用 4o - 开启 GPT 一个新主题,第一个 prompt,开始介绍背景:"我现在需要给 Coohom 这一设计工具进行用户评论的定性分析。接下来,我会给你输入一个框架,你理解一下输出给我你的理解。如果和我要求的一致,我会给你输入新的指令。”

这时候,GPT 应该给你一个继续指令的回复。下一步,就是将框架输入给它,然后看它的理解。我输入给它框架后,它的答复如下:

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

很幸运,它的回答基本与我想要的一致。那我现在告诉它:我现在会给你输入评论,以 20 条为单位。这样子,它会回答你准备开始接收。这个时候,就做好了 AI 定性分析环境的搭建。

这个时候开始主题分析。在这种情况下,需要将模型切换为 o1,因为要开始复杂文字推理 - 进行主题提取和创建。于此同时,在复制评论的过程中也有一个小细节 - 从 excel 中直接复制过去的评论,是不带句首序列点的。因此,GPT 带读取的过程中,可能会出现语句混淆,然后影响分析精度。

因此,excel 中复制评论过来,需要新开一个 word 处理一下,对每条评论进行手动标序,并且人工校准。这样,GPT 读取的评论才是精准的,可以用来主题分析。

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

*未手动标号,直接从 excel 中复制粘贴的评论,会使得 GPT 的文本分析进行混淆 

因此,在将 20 条评论进行手动标号之后,我会先给它做一点准备工作 - 将模型切换为 4o, 输入这 20 条评论,然后跟他同步:“这是我要你分析的评论,你先记住,我稍后会给你指令”。等它形成记忆之后,再切换为 o1,输入指令:”参考我最开始教会给你的框架,首先区分正面和负面评论,输出结果我们对齐。“当结果输出被分类为正面评论和负面评论后,再次使用 o1 输入指令:”在你之前分析的基础上,我需要在正面评论(P-category)和负面评论(N-category)下对评论进行子主题的提取。你分析这些评论,提取主题,然后将对应评论放在相应的主题下。不要分析单个词语,要分析完整的句子上下文,然后打印这些完整的句子在主题下。“

这一步其实有三个要点:

  1. 与 GPT 对齐评论是为了使得它形成记忆,方便后续分析进行提取。
  2. 分步式的输入指令:虽然我说 o1 推理能力相对较强,但是如果它在同一步的指令过多,它也会智障化,不是瞎编就是漏掉这个漏掉那个,徒增工作量。因此分步式的操作有利于提高精度。并且,当分步式的分析流程形成后,也可以 push GPT 打包这一部分操作过程,使得它形成 AI 版的定性分析 SOP,后续只需对 SOP 包中的 prompt 进行微调即可。
  3. 如果不加下划线那个要求,它默认会根据单个词语或者词组的意思进行主题分类,这与人工分析中读取上下文的分析习惯不符,也容易造成错误。因此,这一部分指令要添加。

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

*GPT o1 模型根据评论所形成的主题 

当前一步完成之后,GPT 中就应该有了由 20 条评论形成的粗主题框架。在进行下一步操作之前,可以将之前分步式操作形成的 SOP 创建一下。可以要求 GPT: 我刚才给你展示的一个工作流程。接下来,我会再次给你输入 20 条评论,你按照上面教你的方法,先对评论进行 P/N categories 的分类,然后在把对应 category 下的评论放置在子评论的范围内;如果出现新主题,创建新主题并放置评论。我要求你输出 P/N category 下创建的主题,然后每条主题下打印出详细的评论内容,并且 index 回原输入的评论批次,标明是评论中的第几条。如果你学会了,回答 yes.

这么创建 prompt 有两个原因:

  1. push GPT 形成工作记忆 SOP,之后就可以直接扔给它评论输出结果
  2. 要求它打印出详细的答案,适合分析完之后直接校验。在定性分析时,AI 对于上下文的读取未必与我们理解的相同,故务必校验,且 GPT 会瞎编,要小心。

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

*教会 GPT 新的工作流程后的产物 

在用这流程的 prompt 进行每 20 条多轮迭代之后,穷尽所有评论,GPT 应该会给你一组所有评论归纳出来,由 P/N category 分类后的主题。这时候,需要将主题 copy 进一个 word 文档中再进行微调,因为有的时候 GPT 给你的主题可能没有按照业务想要的逻辑进行拆分,那样其实在针对性上会出现问题。这个时候,就需要与业务或者领导进行沟通,共同协助进行主题拆分。在本次调研中,拆分后的主题如下:

正面评价主题

  1. 渲染质量与速度: 提供高质量渲染效果,速度快,满足高效设计需求。
  2. 用户友好性与易用性: 界面直观、操作简单,适合新手和专业用户,学习成本低。
  3. 素材与模型库:提供丰富的 3D 模型和素材库,支持定制与更新,节省设计时间。
  4. 工具功能丰富:提供多样化设计工具,支持复杂建模和自定义设计需求。
  5. 模板丰富:提供多种设计模板,简化创意设计流程,助力高效设计。
  6. 设计与创意支持:支持创新设计,提供可视化和优化设计呈现效果的功能。
  7. 价格与价值:提供高性价比的功能与订阅选项,满足个人与小型企业需求。
  8. 客户支持与服务:良好的客户服务与支持

负面评价主题

  1. 价格与订阅策略问题:价格较高,订阅续费机制不透明,部分功能需额外收费。
  2. 素材与模型库问题:模型和素材不足,缺乏更新,导入导出兼容性差。
  3. 界面复杂:用户界面设计不合理,操作不直观,难以快速上手。
  4. 功能复杂:功能设置繁琐,工具间过渡不流畅,操作步骤过多。
  5. 渲染速度慢:渲染时间过长,影响设计效率,尤其是在高分辨率或复杂项目中。
  6. 渲染效果失真:渲染结果与预期不符,出现色差、光影效果不自然等问题。
  7. 技术与性能问题:软件运行缓慢、卡顿,渲染时出现延迟或错误,影响用户体验。
  8. 客户支持与服务问题:客服响应慢,问题解决不及时,缺乏详细操作指导和帮助资源。

在 GPT 的原版分析中,P category 下“工具功能丰富”和“模板丰富”原本隶属于一个主题下。但是领导根据对于业务的洞察力,要求笔者分为了两个维度。同时,N category 下的“界面复杂”和“功能复杂”原本也是同一个主题,同样按照相同的逻辑进行了拆分。再进行主题微调并于领导沟通过之后,就可以开始最后一轮的定性分析,评论 solidate 了。

三、最后一轮定性分析

这一部分的起手势,是先将模型调成 4o,然后将方才调整过的主题输入 GPT: 这是一组主题框架,你先记住,我稍后输入指令。当 4o 回答记住之后,将模型调整为 o1,输入指令:我接下来会给你 20 条评论,你根据整句上下文,将相应评论放置在对应主题下。打印出每个主题下的详细评论内容,以及每个主题的频数,以及 P/N category 的总频数。将详细内容打印给我,我需要校对。然后输入标好号的评论,GPT 输出结果将如下:

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

每 20 条评论校对完毕之后,建议创建一个 word 文档保存输出结果,因为 GPT 能力有限,当上下文过多,特别是在 300 多条评论的情况下,其上下文索引会出错。因此,分阶段保存,是预防这个风险的方法。后续如果需要统计频数和百分比,手动计算即可。

当评论在新的主题下分类完毕之后,操作者应该就有了一个统计性文件:定性主题以及每个主题下的所有评论,以及相应的频数。这个时候稍作整理,创建一个 excel 表格,可以将相关内容全部整理在上面。

四、精选评论

当每个主题下的评论全部整理完毕时,这个时候可以要求 GPT 进行评论的精选。对于频数多的主题,可以精选 10 条; 频数少的,可以精选五条或者更少。为了达到此步骤的目的,需要先切换模型为 4o,输入 prompt: 我接下来要给你输入一组评论,你先记住,我稍后会告诉你怎么操作。

然后,将模型切换为 o1,输入:从刚才的评论中精选出信息量最大的 10 条(信息量大的定义为评论者不但说出了渲染好,还说出了原因),每条索引到原评论的序号,然后打印出评论内容,选取原因和中文翻译。这样的 prompt 输出的内容便于人工校准,如果不满意,还可以另换。如果某个主题下评论内容过多(大于 150 条)GPT 算力不够的话,可以分批次处理精选,再优中选优,最后达到目标。GPT 的输出效果如下:

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

当所有主题的评论都跑完毕的时候,就可以输出整体文件内容啦!

五、定性分析中写 GPT prompt 的技巧

  1. 避免一次性输入过多内容,分批次处理校准
  2. prompt 的内容精确,标准化,比如规定处理要素和输出内容等(避免只处理词组,输出完整内容)
  3. prompt 忌一次性输入太多要求,可以分步式要求 GPT 处理,确认其学会后,打包为 SOP 为下面分析做准备。
  4. 重要分析步骤记得备份,当 GPT 涉及的上下文过多时,其可能会混淆。

以上

欢迎关注作者微信公众号:「群核科技用户体验设计」

AI应用实战!产品出海如何用 ChatGPT 完成用户调研?

收藏 3
点赞 23

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。