Asal mula kartu kuning dan merah berasal dari ide seorang wasit Inggris, Ken Aston, yang kebingungan saat memberikan hukuman kepada pemain yang menggunakan bahasa berbeda dari dirinya.
Ide tersebut berawal dari keributan hebat pada pertandingan yang mempertemukan tim dari Chile dan Italia pada Piala Dunia 1962. Kala itu Ken Aston akan mengeluarkan pemain dari Italia, Giorgino Ferrini sebagai bentuk hukuman atas pelanggaran yang dia buat. Namun, perintahnya yang disampaikan dalam bahasa Inggris tidak dipahami oleh Ferrini sehingga dia tetap berada di lapangan dan bermain dengan lebih arogan. Hingga, akhirnya seorang polisi dilibatkan untuk mengeluarkan Ferrini dari lapangan hijau.

Suatu hari, Ken Aston berhenti di perempatan jalan dan melihat ke arah lampu lalu lintas. Lalu, ide itu pun muncul. Ia memberi usul agar wasit dibekali kartu kuning dan merah. Kartu kuning artinya adalah mendapatkan sanksi ringan atau peringatan kepada pemain yang melakukan pelanggaran untuk berhati-hati agar tidak membuat kesalahan lagi dalam pertandingan. Sedangkan kartu merah artinya pemain yang melakukan pelanggaran mendapatkan sanksi berat serta harus keluar dari lapangan.
Ide soal wasit dibekali dua buah kartu sakti tersebut diterima FIFA dan pertama kali digunakan pada Piala Dunia 1970. Pada tahun 1997, Aston mendapat penghargaan Member of the Order of the British Empire (MBE) atas sumbangsihnya terhadap sepakbola.
Meskipun ide dua buah kartu sakti itu datang dari wasit asal Inggris, negeri tersebut tak serta merta menerapkannya di kompetisi mereka. Kartu kuning dan merah baru digunakan di kompetisi sepak bola Inggris pada 1976.
Dua buah kartu sakti yaitu kartu kuning dan merah ternyata sempat dihentikan penggunaannya. Penggunaan dua buah kartu sakti itu sempat dihentikan pada tahun 1981 dan 1987. Penghentian tersebut dikarenakan pada waktu itu wasit terlalu mudah mengeluarkan kartu sakti saat pertandingan berlangsung, sehingga banyak pemain yang melakukan protes. Kendati demikian, hingga kini dua buah kartu sakti itu dipakai lagi dalam berbagai pertandingan sepak bola.