因子权重分布(雷达图)
综合权重排序
一致性检验(CR)
| 评审人 | 单位 | A→B CR | B1→C CR | B2→C CR | 状态 |
|---|
提交时间线
评审人间一致性(Fleiss' Kappa)
感性词判定分布
涂装相关判定分布
高一致性词汇 TOP 20
SD均值对比 — 测试图
每行一对SD词,每列一张测试图
文化主题辨识正确率
辨识置信度 (CI-2)
视觉线索选择频次 (CI-3)
每步用时分布
词对区分度分析
标准差越大区分度越好;中间值(4)选择率过高表示缺乏区分力
被试反馈汇总
各群体提交数
偏好排序分布
SD均值对比 — 全部图像
6张图像 × 18对SD词,按图像分组
文化主题辨识正确率
辨识置信度
群体间SD均值差异(主题图)
各群体在文化主题图上的平均SD总分对比
视觉线索选择频次
§4.4.1 取样适当性检验(KMO & Bartlett)
判断数据是否适合进行探索性因子分析
§4.4.2 维度信度(各评价维度 Cronbach's α)
按论文预设的6个评价维度分别计算内部一致性
§4.4.3 方案间信度一致性
各涂装方案的18项SD评分内部一致性
§4.4.4 项目筛查(CITC & Alpha-if-Deleted)
预EFA筛查:CITC < 0.3 的项目在因子分析中可能需剔除
被试异常检测
标记直线作答、极低方差、异常速度的提交
提交时间线
样本量与剔除余量(PROTOCOL §3.7 / 分层招募)
主样本=设计类学生(可分析 20 / 招募 24);从业者验证层 8–12;有效=非「剔除」。招募含剔除余量。
被试分层构成
逐份可用性判定
逐份质检(respondent-level)
注意力核对全过、必答完成、直线作答、S2 位置偏好、用时下限 → 可用 / 存疑 / 剔除。用时下限为可配置启发阈,非 PROTOCOL 固定值。
S1 指标—人判一致性(Spearman ρ + 自助法 95% CI)
判据(PROTOCOL S1):ρ≥0.5 且 CI 下界>0.2 → 可作人判代理;0.3≤ρ<0.5 → 弱代理;ρ<0.3 → 维持指标口径。①sem↔clip_t ②sty↔clip_i ③geo↔edge_iou/ssim_d。
| 指标对 | ρ | 95% CI | n(图) | 判定 |
|---|
S1 评分者间一致性 ICC(2,k)(分块,取较低者)
块内完全交叉设计;两块分别计算,正文报较低者。需块内评分者×图完整交叉方可计算。
S2 配对偏好(2AFC,效度锚+方法差距)
判据(PROTOCOL S2):far 正确率须显著>0.5(二项检验 α=0.05),否则 S2 无效;far 通过后 near 显著>0.5 → 方法差距可感知,否则「低于感知辨别阈」。
S3 工况归属分类正确率(2AFC)
判据(PROTOCOL S3):按工况标签的分类正确率显著>0.5(二项检验)→ 两工况准则感知可分。
层间一致性(学生主样本 vs 从业者验证层)
PROTOCOL 要求报层间一致性;层间一致性阈值在 PROTOCOL 中标注为「待作者确认」,此处只并列呈现不判定。从业者 8–12 人仅够检出 p≈0.70,凡只靠该层的读法一律 exploratory。
| 子研究 | 学生主样本 | 从业者验证层 | 差值 | 阈值判定 |
|---|
外部数据导入(Credamo / 见数 → KV)
管理员限定。映射到与自托管一致的 KV schema,导入前逐份校验;写入数据标记来源 external,与自托管可区分。JSON=提交对象数组(同 /api/export 的 he schema);CSV=宽表,列名 background,years,started,finished,s1_01_sem…,s2_01…,s3_01…,gate_8_sem…。
逐份可用性判定
主设计载体偏好(Q11)与分支路径分布
题材偏好均值(Q8 · 五类画像砖题材)
仅统计有效样本(可用/存疑),1=完全不喜欢 … 5=非常喜欢。
应用场景偏好(Q13 · 单选)
旧矩阵格式的 Q13 提交不计入本图,单列于逐份质检表。
逐份质检(respondent-level)
完成度、Q11→Q12A–D 分支一致、Q13 旧矩阵格式识别、主题/选项枚举有效、直线/雷同、用时下限 → 可用 / 存疑 / 剔除 / 旧矩阵(单列)。用时下限为可配置启发阈,非固定协议值。
外部数据导入(外部问卷平台 → KV)
管理员限定。映射到冻结的 wdneed 提交 schema,导入前逐份校验;写入数据标记来源 external,与自托管可区分。JSON=提交对象数组(同 /api/export 的 wdneed schema,每项含 answers/q12_branch);CSV=宽表,列名 lang,q1,q2,q2_other,q3,q4_i1…,q5_i1…,q6(分号或竖线分隔多选),q6_other,q7_i1…,q8_i1…,q9_i1…,q10_i1…,q11,q12A_i1…(按 q11 选中的分支填),q13,q14_i1…,q15_i1…,q16,started,finished,total_ms,user_agent。
六项评价指标综合权重
B层与C层权重
逐份AHP原始比较与一致性
code为原始17档选项编号;左÷右为转换比值:code1=9、code9=1、code17=1/9。B层仅Q6—Q8检验CR,RI(3)=0.58;Q9—Q11为2×2。必答完成计53个响应,无法判断仍计已答,非法或未答不计;原始数据保留,不追加剔除阈值。
候选场景评分(Q12—Q18)
逐单元统计全部本问卷答卷中的有效1—5分,不因B层CR未通过而剔除。均值分母为有效n;样本SD使用n−1,n<2显示—。code6=资料不足/无法判断,按缺失单列;未答与非法值另列,不代3或6分。Q17静态与Q18动态分别呈现;源文未规定C6拆分合成规则,暂不输出候选综合排名。
Q19 修正建议与开放反馈
本页只做采集监控与数据质量
采集期内本页不显示任何偏好结果:不给门内侧或 NSGA 侧的被选比例,也不给逐题的目标侧,以免在采集未完成时看到预登记的结果。偏好结果面板只在该问卷在管理后台被置为「已关闭」(或截止日期已过)之后才由服务端计算并返回。锚题映射与区块表只存在于服务端。
每日提交数
分层与版本分布
采集概览
有效提交=payload 的 protocol_version 为 heb-v2;缺该字段或取其他值的单列为「旧版/无效」,不并入任何有效量。去重按 _session_id,同一会话保留最新一份。
逐份质量表(respondent-level)
注意力门=六道锚题答对数,锚题上选「两张都不符合」计不通过,≥5/6 为通过。时长下限 4 分钟是提示阈值,协议未定此值,只标记不剔除。判定标签按「旧版 > 门不过 > 未完成 > 时长偏短 > 侧别偏倚 > 完整」取首个命中。
汇总:第三项比例、注意力门与停留
「都不符合」比例按协议 §6.8 口径:分子为该分组内 response_side 取 neither 的响应数,分母为该分组内的非锚题响应数;锚题上的第三项作答单列,不并入。