事故を起こさない人間と同じように判断するには
認知の次は判断になる。判断とは、認知の結果から、次に実行するべき行動を決定することである。たとえば、路上駐車の向こう側に歩行者を検出したら、一旦停止するか徐行に切り替えて注意深く走行するという判断が求められる。
こういった判断はまさに人工知能の世界になるのだが、現在の多くの自動運転技術は「ルールベースシステム」という古典的な手法を用いている。これは「AならばB」というような明確なルールを数多く用意し、判断の基準とするものである。実社会でも交通ルールがあるため、ルールベースシステムは比較的相性の良いアプローチといえる。
しかし、運転の快適さを追求するには不十分であり、近年ではそれを補完する技術として行動解析や機械学習など、「データ」に基づくアプローチに注目が集まっている。上手な運転者のデータ（アクセル、ブレーキ、操舵など）とその時の周囲環境のデータ（画像、3次元地図など）を集めて解析することで、「各々の状況でどういう判断をすればよいのか」をモデル化できる。ルールベースシステムと相互補完するように組み合わせるのが得策であるが、まだ研究段階にあるといえる。
認知と判断を終えたら、最後は操作を行う。操作とは、認知と判断の結果から、自分が走行すべき軌道を算出し、その軌道に沿ってクルマの走行を制御することである。この制御は、完全自動運転と半自動運転で求められる要素が大きく異なるが、完全自動運転においては、如何に乗っている人に負荷をかけないで走行できるかがポイントとなる。
グーグルは５月、ハンドルやアクセルがない自動運転車を製作していることを発表（GOOGLE/CAMERA PRESS/AFLO）
たとえば、車線変更や交差点右左折の状況においては、一定の速度と一定のハンドル回転で描ける軌道（クロソイド曲線）に沿って走行を制御することが好ましい。また、判断との兼ね合いもあるが、路上駐車の近くを走行する場合や、見通しの悪い交差点を走行する場合には、予めある程度のリスクを予測し、可能な限り安全な軌道を描いて制御することも重要である。
また、自動車は他車の割込みによる「外乱」や急には反転できないといった「制約」の多い制御対象であり、予め制御対象の挙動を予測し、それを考慮したうえで最適制御を行うモデル予測制御という技術にも注目が集まっている。
