Edward Cheng-I Wu
90f2176cd5
* evals: add `claude plugin eval` suite for the academic-paper citation-check flow Eight cases (six fire, two negative) under plugin-evals-citation-check/, graded as a with/without-plugin ablation. Fire cases carry a synthetic source pack so the four author-defined citation failures (no source on file, wrong authors, hedged finding cited as established, retracted or concern-flagged paper cited as live) are detectable offline. Styles: APA 7 (en / zh-TW mixed / es), IEEE, Vancouver (style unnamed), Chicago NB. Cases pin model: sonnet; run with --judge-model opus. Calibration (two pilots, 2026-09-13) and caveats are in the suite README. The with-plugin arm cannot load the mode prompt in the eval sandbox because the command stub references plugin files by relative path (#857), and plain-language prompts fired the skill in 3 of 6 cases (#858; the Spanish case is one data point for #850). No uplift figure is claimed. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EEbmXsHyQ3dzYoep74zSmH * evals(citation-check): apply cross-model review findings and re-calibrate Twelve of thirteen review findings applied: replace the disputable four-author "et al." planting in 04 with a year mismatch; make the clean citations in 02 and 06 supported by their abstracts; replace real Taiwan journal names in 02 with fictional ones; tie the 08 presence regexes to an "unused" statement; require metadata preservation and reject audit content on the 07 conversion negative; add no-overreach to 05; turn the 02 language check into an llm grader; exempt unchanged entries in a complete corrected list from no-false-positive and drop its DOI claim; drop the 04 style-name regex (both arms fixed the year without naming the style). The one rejected finding (08 skill check "display-only") was wrong: it carries arm: both and is scored; README says so. Pilot 3 on the revised suite: $4.65, max 142 s / 7 turns / $0.45 per run; 04 and 08 re-run clean after the last two grader fixes. Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01EEbmXsHyQ3dzYoep74zSmH --------- Co-authored-by: Claude Fable 5.1 <noreply@anthropic.com>
3.2 KiB
max_turns, timeout_seconds, allowed_tools, model, runs
| max_turns | timeout_seconds | allowed_tools | model | runs | ||||
|---|---|---|---|---|---|---|---|---|
| 20 | 600 |
|
sonnet | 3 |
Por favor revisa las citas de este fragmento de manuscrito. Estilo APA 7. Adjunto (a) el fragmento, (b) la lista de referencias y (c) un paquete de fuentes: para cada artículo que realmente tengo en mi archivo, el título, los autores, el año, la revista y el resumen tal como aparecen en la versión publicada. El paquete es completo: si una referencia no está ahí, no tengo ese artículo.
(a) Fragmento
Los estudiantes con tutor par persisten al segundo año en mayor proporción que los no asignados (Aguirre, 2021), y quienes sostienen más reuniones con su tutor persisten más que quienes sostienen menos (Delgado & Pinto, 2022). Herrera y Quiroga (2020) informaron que el sentido de pertenencia explica cerca de la mitad de la asociación entre la frecuencia de contacto y la matrícula de segundo año. Villanueva (2019) documentó el horario y el transporte como las principales barreras que limitan la participación de estudiantes no residentes en programas del campus.
(b) Lista de referencias
Aguirre, M. (2021). Tutoría entre pares y persistencia en el primer año: Un estudio de tres cohortes. Revista de Estudios sobre Transición Universitaria, 12(3), 201–219. https://doi.org/10.5555/retu.2021.1203
Delgado, R., & Pinto, S. (2022). Efectos de dosis en programas estructurados de tutoría. Revista de Estudios sobre Transición Universitaria, 13(1), 15–33. https://doi.org/10.5555/retu.2022.1301
Herrera, M., & Quiroga, L. (2020). La pertenencia como mediadora del efecto de la tutoría entre pares. Procesos en Educación Superior, 9(1), 44–67. https://doi.org/10.5555/pes.2020.0901
Ruiz, F. (2018). Estudiantes no residentes e integración al campus. Revista de Estudios sobre Transición Universitaria, 9(4), 310–328. https://doi.org/10.5555/retu.2018.0904
(c) Paquete de fuentes
-
Tutoría entre pares y persistencia en el primer año: Un estudio de tres cohortes — Aguirre, M. (2021). Revista de Estudios sobre Transición Universitaria, 12(3), 201–219. Resumen: En tres cohortes de ingreso (N = 2.184) en una universidad regional, los estudiantes con tutor par persistieron al segundo año en un 81% frente a un 74% de los no asignados.
-
Efectos de dosis en programas estructurados de tutoría — Delgado, R., & Pinto, S. (2022). Revista de Estudios sobre Transición Universitaria, 13(1), 15–33. Resumen: Entre 640 tutorados, quienes tuvieron seis o más reuniones en el primer semestre persistieron en un 88% frente a un 79%.
-
La pertenencia como mediadora del efecto de la tutoría entre pares — Bastidas, F., & Ochoa, R. (2020). Procesos en Educación Superior, 9(1), 44–67. Resumen: Con modelos de ecuaciones estructurales sobre 1.043 tutorados, el sentido de pertenencia explica cerca de la mitad de la asociación entre frecuencia de contacto y matrícula de segundo año.
-
Estudiantes no residentes e integración al campus — Ruiz, F. (2018). Revista de Estudios sobre Transición Universitaria, 9(4), 310–328. Resumen: Entrevistas a 42 estudiantes no residentes identifican horario y transporte como las principales barreras para participar en programas del campus.