Google Research 研究:AI 评测需要多少标注者才够?
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中提出,AI 评测常用的每项 1-5 名标注者往往不足,要反映人类意见差异常需每项超过 10 名标注者。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中提出,AI 评测常用的每项 1-5 名标注者往往不足,要反映人类意见差异常需每项超过 10 名标注者。
Google Quantum AI 发布白皮书,称未来量子计算机破解保护加密货币的椭圆曲线加密(ECDLP-256)所需的量子比特和门数比此前认为的更少。
推荐理由:Google Quantum AI 更新了破解 ECDLP-256 所需的量子资源估算,并给出面向加密货币社区的 PQC 迁移与负责任披露建议。
Google 发布 TurboQuant 压缩算法,并配套提出 QJL 与 PolarQuant,用于解决向量量化中的内存开销问题。
推荐理由:Google 提出 TurboQuant 等三种向量量化算法,可在不损失精度下把 KV cache 压到 3 bit,读者可了解其原理与实测结果。
Google Research 发布自监督框架 S2Vec,通过 S2 Geometry 网格划分与特征栅格化,把道路、建筑、商铺等建成环境数据转成多层图像,再用掩码自编码(MAE)学习通用嵌入向量。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项研究,评估 AI 用于乳腺筛查的表现与流程整合。
推荐理由:两项 Nature Cancer 研究给出 AI 参与乳腺筛查的具体检测率与读片量变化,可了解人机协作流程的实际收益与局限。
Google 与康奈尔大学在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位专家按 6 项指标盲评打分。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层次结构,以约少 10 倍的消融次数达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。
Google 发布 Groundsource,一种用 Gemini 从非结构化新闻中提取灾害事件的方法,首个开放数据集收录 260 万条城市山洪记录,覆盖 150 多个国家、时间跨度从 2000 年至今。
推荐理由:Google 用 Gemini 从 80 种语言的新闻中抽取洪水事件,构建 260 万条历史数据集,并给出人工核验的准确率。
Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让 AMIE 在门诊初级保健就诊前与患者进行文本问诊,全程由医生通过视频实时监督。
推荐理由:Google 与 BIDMC 首次在真实门诊流程中部署 AMIE 做就诊前问诊,读者可了解其安全监督机制与诊断表现。
Berkeley AI Research 提出一种基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,在彩色摄影、射电天文、无透镜成像和显微镜四个领域预测解码器性能。该方法用已知噪声物理直接计算 H(Y|X),仅需学习 H(Y),优化后的设计在更少内存和算力、无需任务专用解码器的情况下达到与端到端方法相当的水平。
一篇新研究提出用"分治"范式替代时序差分(TD)学习来做 off-policy 强化学习,通过将轨迹对半切分并组合子段价值来更新整体价值,理论上把 Bellman 递归次数从线性降到对数级。
伯克利 AI 研究团队提出首个可定量预测 word2vec 学习过程的理论,证明在现实训练条件下其学习问题可化简为无权重最小二乘矩阵分解,梯度流动态有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。