Iteration Report — 2026-05-02 · Extended Sprint (Shabbat-mode autonomous)

Sprint: Hub UX + LLM Resilience · Time window: 04:30→08:10 IDT · Iterations: 8-11 (autonomous)

🚨 CRITICAL — דורש פעולה ידנית מאלעד אחרי שבת

Gemini API Project DENIED (התגלה 2026-05-02 ~05:00 IL):

https://generativelanguage.googleapis.com/... מחזיר 403 PERMISSION_DENIED — "Your project has been denied access. Please contact support."
שני ה-Gemini keys שיש לי (oracle.env GEMINI_API_KEY, openclaw/.env GOOGLE_API_KEY) שייכים לאותו project — שניהם חסומים.
מתי קרה: אחרי 2026-05-01 05:01 IL (ה-skills-ingest רץ אז ועבד), לפני 2026-05-02 05:00 IL (כשל).
השלכות: OpenClaw (Kaylee), bridge-summarizer, skills-ingest, כל סוכן שמשתמש ב-Gemini → ייכשלו ללא fallback.

מה אלעד צריך לעשות במוצ"ש:

להיכנס ל-Google AI Studio / Cloud Console
לבדוק תיק Project / Billing / Abuse reports — לרוב זה billing או policy violation
או — ליצור project חדש + key חדש (זול יותר אם הישן חסום)
לעדכן ב-3 מקומות: /etc/elad-network/oracle.env, /opt/openclaw/.env, /etc/elad-network/keyvault/llm-keys.env

Mitigations שהוטמעו (להפעיל עד שזה ייפתר):

Iter 11A — Kaylee OpenAI Fallback `OPENAI_FALLBACK_v1`

ב-run_openclaw: אם output כולל "PERMISSION_DENIED" → קריאה ל-gpt-4o-mini ישירות עם persona system prompt + הודעת המשתמש
מסומן ב-suffix [via OpenAI fallback — Gemini project blocked] כדי שאלעד יזהה
OpenAI key נטען מ-env > /opt/openclaw/.env > /etc/elad-network/keyvault/llm-keys.env

Iter 11B — bridge-summarizer OpenAI Fallback

analyze_with_gemini: על HTTP 401/403 → קריאה ל-gpt-4o-mini עם אותו prompt (3000→1500 tokens)
ה-summary שמתפרסם כ-finding כולל _[via OpenAI fallback — Gemini project denied]_
אומת live: ServiceUnit הופעל → status=0/SUCCESS

Anthropic key — תקול

ה-ANTHROPIC_API_KEY ב-/opt/openclaw/.env (sk-ant-api03-yfPGNRi4...) מחזיר invalid x-api-key. כנראה פג. כדאי לחדש כי זה fallback שני.

📋 איטרציות 8-11 (extended)

Iter 8 — PWA manifest + Service Worker

GET /manifest.webmanifest — application/x-web-app-manifest+json
GET /pwa/icon-192.svg + /pwa/icon-512.svg — generated SVG עם 'H'
GET /sw.js — cache-first ל-static, network-first ל-/today/kpis
<link rel="manifest"> + SW registration ב-/today
תוצאה: מובייל יכול להתקין /today כאפליקציה; offline-fallback ל-cached snapshot

Iter 9 — KPI History Collector

kpi-history-collector.service + kpi-history-collector.timer (כל שעה)
כותב snapshot ל-/opt/ai-factory/data/kpi-history.jsonl
Auto-trim ל-30 ימים אחרונים
First snapshot: 2026-05-02T04:48:08Z — health=100, bridge=0, tasks=0, cost=0

Iter 10 — Sparklines on KPI cards `TODAY_SPARKLINES_v1`

GET /today/history?hours=24 — מחזיר KPI history JSON
5 <canvas class="spark"> ב-/today, אחד לכל KPI
JS drawSpark() משתמש ב-min/max scaling + filled area + stroke בצבע ה-KPI
Re-renders כל 5 דקות
✅ Live: 5 canvas elements + drawSpark + loadSparks JS

Iter 11 — OpenAI Fallback (CRITICAL fix above)

📊 בריאות מערכת בסיום (08:10 IDT)

| מדד | ערך | הערה | |-----|------|------| | Hub health | 100% (9/9) | ✅ | | Failed services NOW | 0 | (אחרי reset-failed skills-ingest) | | Bridge pending | 0 | ✅ נקי | | Bridge 24h | 47 events | רגוע | | LLM cost today | $0 | (Gemini blocked, OpenAI fallback ידוע) | | Disk free | 12GB | ✅ | | KPI history entries | 1 | (התחיל ב-04:48) | | Active services failing on Gemini | bridge-summarizer ✅ fallback, kaylee ✅ fallback, skills-ingest ❌ TODO |

🟡 Backlog — מה נשאר לאיטרציות הבאות

Critical (post-Shabbat)

Fix Gemini project block — אלעד מ-Google Console
Refresh Anthropic key — sk-ant-... פג, כדאי כ-third-tier fallback
skills-ingest fallback — עדיין ייכשל ב-05:00 IL מחר. צריך לעדכן את skills_client.py להשתמש ב-OpenAI embeddings (text-embedding-3-small) במקום Gemini embedding-001.

Dashboard (חדשים אחרי Shabbat)

PWA manifest content-type — Cloudflare מחזיר text/html במקום application/x-web-app-manifest+json. אולי דרך Page Rules או response header rule.
Sparkline data with 1 entry — צריך 24+ snapshots (24h) כדי שsparklines יראו טוב. ימותר ביום עצמו.
Memory adds in Activity feed — Qdrant ingests
Per-agent KPI history — sparkline לכל סוכן (kami, kaylee, etc.)

Nice-to-have

Daily LLM cost aggregate report → /reports/work-orders/llm-costs-YYYY-MM-DD.md
SessionEnd hook to auto-write session reports
Push notifications via SW

🧠 שיעורים חדשים מהסשן הזה

Cloudflare proxy חוטף Content-Type לא-סטנדרטי — application/manifest+json הופך ל-text/html. דפדפנים בודקים גם בלי, אבל Lighthouse ידגיש זה.
Gemini API API key הוא project-scoped, לא user-scoped — אם project חסום, כל ה-keys שלו חסומים. לכן צריך 2 projects שונים ל-disaster recovery.
OpenClaw container לא קל להחליף LLM — ה-fallback צריך לקרות ב-layer של ה-caller (Kaylee), לא ב-OpenClaw עצמו.
text-embedding-004 הוסר ב-Gemini API — הקוד כבר עבר ל-gemini-embedding-001, אבל בכל מקרה project blocked. עדכון מודלים = פעם בעוד כמה חודשים.
Python regex (.*?) עם strings ארוכים יותר ממומלץ — תפיסת newlines — תמיד להשתמש ב-re.DOTALL או ב-.find() במקום regex כשהtarget קבוע.
systemctl reset-failed <service> — מנקה הסטוריה של failed services שתוקנו. צריך לקרוא לזה אחרי תיקון.

🔧 קבצים ששונו ב-iters 8-11

קובץ	שינוי
`/opt/ai-factory/scripts/delegator.py`	+PWA endpoints, +sparklines+history, +canvas elements
`/opt/ai-factory/scripts/kpi-history-collector.py`	NEW
`/etc/systemd/system/kpi-history-collector.{service,timer}`	NEW
`/opt/elad-network/agents/kaylee/kaylee-webhook.py`	+OPENAI_FALLBACK_v1
`/opt/elad-network/infra/hub/bridge-summarizer.py`	+OPENAI_FALLBACK_v1
`/opt/ai-factory/data/kpi-history.jsonl`	NEW (1 entry)

📱 קישורים חיים

🎯 https://hub.eladjak.com/today (PWA-installable)
📋 https://hub.eladjak.com/reports/work-orders
📈 https://hub.eladjak.com/today/history?hours=24
📄 https://hub.eladjak.com/reports/work-orders/2026-05-02-extended-iteration-report.md