Synoria AI Corporationشركة برمجيات ذاتية التشغيل
البيانات والتحليلات

Stopping at Significance Isn't a 5% Test

Checking a test once gives roughly the 5% false-positive rate you asked for. Checking ten times along the way and stopping at the first crossing gives about 20%, and twenty times gives about 24% - simulated here on two identical arms, where there is nothing to find and every winner is a false one. The threshold was never wrong; it was applied ten times to the same experiment. The page also sizes the test before it runs (5% to 6% at 5% significance and 80% power needs 8,159 per arm) and, for a test already finished, works out the smallest effect that sample could reliably have seen - so 2,000 an arm on a 5% baseline is told plainly that it could only detect about 2 points, and a null result at half a point means the test was never going to find it.

← كل المنتجات

صُنع هذا المنتج لسوق United States.

البيانات والتحليلات

Product and growth teams running conversion tests, and anyone who has been asked to call a winner on day three because the dashboard went green.

كيف يعمل

  1. Enter the baseline, the effect worth detecting, and your traffic to size the test.
  2. Set how many times you would check along the way and run the simulation on two identical arms.
  3. Read the calibration row: a single look must come back at the nominal rate, or the figure above it is not trustworthy either.
  4. Enter a finished test's numbers to see the smallest effect it could have detected.

ماذا تكسب

  • Simulates what happens when you peek at a test's result before it's finished, and shows how often that habit produces a 'significant' result that is actually false — on data you know has no real effect.

لقطة شاشة

Stopping at Significance Isn't a 5% Test

تفاصيل تقنية

أساسية6.99 USD · 1500 طلبًا · ترخيص 31 يومًا · دفعة واحدة · وصول لمدة 31 يومًا
Pro13.98 USD · 6000 طلبًا · ترخيص 31 يومًا · دفعة واحدة · وصول لمدة 31 يومًا
العزلنسخة مخصصة لكل ترخيص
قياس الاستخداميُقاس استخدام LLM لكل ترخيص
الوصولدخول عبر الويب بمفتاح الترخيص

كيفية الإعداد والاستخدام

  1. اشترِ الترخيص — يظهر مفتاحك (lic_...) في صفحة الطلب وبريدك الإلكتروني.
  2. سجّل الدخول في app.synoriaai.com بمفتاح الترخيص.
  3. لا حاجة للتثبيت — يعمل المنتج في المتصفح على نسختك المعزولة.
  4. 1. Enter your baseline conversion rate, the minimum effect you care about, the significance level, and the desired power, then click 'Save plan'.
  5. 2. The page shows the required sample size per arm and the critical z-value for your plan.
  6. 3. Set the number of times you plan to peek at the data, the number of simulation trials, and a seed for reproducibility.
  7. 4. Run the simulation to see the actual false-positive rate when peeking at two identical arms.
  8. 5. Review the results: the page will show how much the significance rate inflates due to peeking, and it will also display the smallest effect your actual sample could detect.

الأسئلة الشائعة

Is my data safe when using this tool?

Yes. All calculations happen entirely in your browser. No data you enter is sent to any server, and nothing is stored or tracked.

Does this tool provide a corrected p-value or a sequential testing method?

No. This page only demonstrates the inflation of false positives from peeking. It does not implement a sequential design or offer any correction. For valid inference with multiple looks, you would need a proper sequential method.

What does the 'smallest effect your actual sample could detect' mean?

It calculates the minimum effect size that your current sample size (based on your inputs) would be able to detect with the specified power. This helps you interpret a null result: if the effect you care about is smaller than this, your study may be underpowered.

بعملات USDT أو USDC المستقرة عبر إحدى الشبكات المعروضة عند الدفع. تمسح رمز QR بالمبلغ الدقيق معبأً مسبقًا — لا حاجة لبطاقة ولا لربط محفظة.
يُرصد الدفع على السلسلة ويُطابق مع طلبك عبر مبلغه الفريد. بعد اكتمال التأكيدات يُولَّد مفتاح الترخيص وتُجهَّز نسختك من المنتج؛ وتتحدث صفحة الطلب من تلقاء نفسها.
لا. تدفع مرة واحدة بعملة مستقرة مقابل ترخيص لمدة 31 يومًا بحصة طلبات ثابتة. لا يوجد تجديد تلقائي — لمواصلة الاستخدام تشتري مرة أخرى ببساطة.
تتضمن كل باقة عددًا ثابتًا من الطلبات لفترة الترخيص. وهناك هامش صغير إضافي؛ وعند استنفاده تتوقف الطلبات حتى شراء ترخيص جديد.
نعم. يعمل كل ترخيص في نسخته المعزولة الخاصة مع مجلد بيانات خاص — لا يتشارك العملاء النسخة ولا البيانات أبدًا.
مدفوعات السلسلة لا تضيع أبدًا. احتفظ برقم طلبك وتواصل مع الدعم؛ يمكن دائمًا مطابقة الدفع مع طلبك.
يُبنى كل منتج لسوقه المستهدفة ويستخدم لغتها؛ وهذه الواجهة متاحة بتسع لغات.

منتجات ذات صلة