Skip to content

docs: add LLM activation test field to proposal template#571

Merged
rdmueller merged 2 commits into
LLM-Coding:mainfrom
JensGrote:docs/activation-test-field-563
Jun 2, 2026
Merged

docs: add LLM activation test field to proposal template#571
rdmueller merged 2 commits into
LLM-Coding:mainfrom
JensGrote:docs/activation-test-field-563

Conversation

@JensGrote
Copy link
Copy Markdown
Collaborator

@JensGrote JensGrote commented Jun 2, 2026

Summary

Implements Part 1 of the phased approach agreed upon in #563.

Changes

  • .github/ISSUE_TEMPLATE/propose-anchor.yml: New required field LLM Activation Test Result — proposers must paste the LLM's response to the activation prompt before submitting.
  • CONTRIBUTING.adoc / .md / docs/CONTRIBUTING.de.adoc: Added a NOTE referencing the new required field in the testing section.

What was NOT included (by design)

Part 2 (evaluations/specs/<id>.yaml as merge gate) remains phased per Ralf's recommendation — tracked via needs-eval-spec label, not a hard block for community PRs.

Tested

  • YAML lint: template passes validation.
  • EN + DE documentation updated consistently.

Closes #563

Summary by CodeRabbit

  • Documentation
    • Das Issue-Template zur Einreichung von Semantic Anchor Proposals wurde um ein erforderliches Feld zur Dokumentation von LLM-Aktivierungstestergebnissen erweitert, um die Proposal-Qualität zu verbessern.
    • Alle Beitragsrichtlinien wurden in mehreren Formaten und Sprachen aktualisiert und dokumentieren das neue erforderliche Vorlagenleifeld sowie dessen sachgemäße Anwendung.

@coderabbitai
Copy link
Copy Markdown
Contributor

coderabbitai Bot commented Jun 2, 2026

Review Change Stack

Warning

Review limit reached

@JensGrote, we couldn't start this review because you've reached your PR review rate limit.

More reviews will be available in 20 minutes and 26 seconds. Learn how PR review limits work.

Your organization has run out of usage credits. Purchase more in the billing tab.

⌛ How to resolve this issue?

After more reviews become available, a review can be triggered using the @coderabbitai review command as a PR comment. Alternatively, push new commits to this PR.

We recommend that you space out your commits to avoid hitting the rate limit.

🚦 How do rate limits work?

CodeRabbit enforces hourly rate limits for each developer per organization.

Our paid plans include higher PR review limits than trial, open-source, and free plans. In all cases, reviews become available again over time. During sustained high-volume PR review activity, CodeRabbit may temporarily slow when the next review becomes available.

Please see our Fair Usage Limits Policy for further information.

ℹ️ Review info
⚙️ Run configuration

Configuration used: Path: .coderabbit.yml

Review profile: CHILL

Plan: Pro

Run ID: e13586c7-1949-4dbb-8425-27d48cc16fb7

📥 Commits

Reviewing files that changed from the base of the PR and between 4814cdb and a2a836f.

📒 Files selected for processing (2)
  • CONTRIBUTING.adoc
  • docs/CONTRIBUTING.de.adoc

Walkthrough

Das Pull Request führt ein erforderliches LLM-Aktivierungstest-Feld in die Anchor-Proposal-Vorlage ein und dokumentiert diese Anforderung in den Beitragsanleitungen. Contributor:innen müssen nun LLM-Testausgaben direkt im Proposal-Formular bereitstellen, um Reviewer bei der Precise/Rich/Consistent-Bewertung zu unterstützen.

Changes

LLM-Aktivierungstest im Proposal-Prozess

Layer / File(s) Summary
Aktivierungstest-Feld in Proposal-Vorlage
.github/ISSUE_TEMPLATE/propose-anchor.yml
Ein neues Pflicht-Textarea-Feld activation-test wird in die Proposal-Vorlage eingefügt, das Einreicher:innen auffordert, die Antwort eines LLM auf „What concepts do you associate with ''?" einzugeben.
Dokumentation der Aktivierungstest-Anforderung
CONTRIBUTING.adoc, CONTRIBUTING.md, docs/CONTRIBUTING.de.adoc
Alle Beitragsanleitungen werden mit Hinweisen aktualisiert, die auf das erforderliche Feld in der Proposal-Vorlage verweisen und Contributor:innen anweisen, LLM-Testausgaben dort einzufügen.

🎯 1 (Trivial) | ⏱️ ~5 Minuten

🚥 Pre-merge checks | ✅ 4 | ❌ 1

❌ Failed checks (1 warning)

Check name Status Explanation Resolution
Linked Issues check ⚠️ Warning Der PR implementiert Anforderung 1 aus Issue #563 vollständig (Pflichtfeld in Template), dokumentiert die Änderung konsistent, hat aber Anforderung 2 (PR-Checkliste/CI-Check für evaluations/specs) noch nicht umgesetzt. Implementiere die PR-Checkliste oder CI-Check zur Verifizierung von evaluations/specs/.yaml für neue Anker, wie in #563 Akzeptanzkriterium 2 gefordert.
✅ Passed checks (4 passed)
Check name Status Explanation
Description Check ✅ Passed Check skipped - CodeRabbit’s high-level summary is enabled.
Title check ✅ Passed Der Titel beschreibt präzise die Hauptänderung: Hinzufügen eines LLM-Aktivierungstestfeldes zur Proposal-Vorlage, was exakt den Dateiänderungen entspricht.
Out of Scope Changes check ✅ Passed Alle Änderungen beziehen sich auf die Dokumentation und das Template-Feld für das LLM-Aktivierungstestfeld, was vollständig im Scope von #563 Anforderung 1 liegt.
Docstring Coverage ✅ Passed No functions found in the changed files to evaluate docstring coverage. Skipping docstring coverage check.

✏️ Tip: You can configure your own custom pre-merge checks in the settings.

✨ Finishing Touches
🧪 Generate unit tests (beta)
  • Create PR with unit tests

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

Comment @coderabbitai help to get the list of available commands and usage tips.

Copy link
Copy Markdown
Contributor

@coderabbitai coderabbitai Bot left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Actionable comments posted: 2

🤖 Prompt for all review comments with AI agents
Verify each finding against current code. Fix only still-valid issues, skip the
rest with a brief reason, keep changes minimal, and validate.

Inline comments:
In `@CONTRIBUTING.adoc`:
- Around line 59-60: Die Dokumentation widerspricht sich: das NOTE macht das
Feld "LLM Activation Test Result" verpflichtend, aber die Aufzählung unter der
Sektion "=== Step 1: Create an Issue" fehlt dieses Pflichtfeld; aktualisiere die
Aufzählung dort (die Liste der Proposal-Template-Felder) und füge "LLM
Activation Test Result" als erforderlichen Eintrag hinzu oder markiere es
deutlich als Pflichtfeld, passe ggf. den Wortlaut von "optional" zu
"required/obligatory" für dieses Item und halte die Formulierung konsistent mit
der NOTE.

In `@docs/CONTRIBUTING.de.adoc`:
- Around line 57-58: Aktualisiere die Abschnittsliste unter "=== Schritt 1:
Issue erstellen" so sie mit der NOTE übereinstimmt: ergänze dort das Pflichtfeld
"LLM Activation Test Result" (LLM Activation Test Result) statt es als
optionalen Kontext zu listen, sodass sowohl die Template-Note als auch die
Aufzählung dieselbe Pflichtanforderung beschreiben; passe die Formulierung in
der Liste an die NOTE an, damit Reviewer klar erkennen, dass das Feld mandatory
ist.
🪄 Autofix (Beta)

Fix all unresolved CodeRabbit comments on this PR:

  • Push a commit to this branch (recommended)
  • Create a new PR with the fixes

ℹ️ Review info
⚙️ Run configuration

Configuration used: Path: .coderabbit.yml

Review profile: CHILL

Plan: Pro

Run ID: 2c88659e-229c-4ac8-bbcb-8eb95110076a

📥 Commits

Reviewing files that changed from the base of the PR and between 2e8dfc4 and 4814cdb.

📒 Files selected for processing (4)
  • .github/ISSUE_TEMPLATE/propose-anchor.yml
  • CONTRIBUTING.adoc
  • CONTRIBUTING.md
  • docs/CONTRIBUTING.de.adoc

Comment thread CONTRIBUTING.adoc
Comment thread docs/CONTRIBUTING.de.adoc
@rdmueller rdmueller merged commit 41dd573 into LLM-Coding:main Jun 2, 2026
7 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[Process Proposal]: Make evaluation specs mandatory for new anchors

2 participants